Alibaba出左一系列Qwen 3 models

大棍巴 2025-04-29 05:26:57

https://qwenlm.github.io/blog/qwen3/
0.6B dense到235B-A22B MoE都有，benchmark好強

天才小釣手 2025-04-29 06:27:59

DeepSeek玩Moe咁成功

LLaMa 4又跟住玩MoE(不過好似柒撚咗?)
Qwen 3又玩MoE

大棍巴 2025-04-29 06:50:23

Meta Llama 4唔大唔細，廢之餘俾人踢爆操控LMArena個分，變左地底泥

debugger; 2025-04-29 07:15:11

30b-a3b 直接解放一般電腦既戰力

最有睇頭係佢，求其兩條ddr5 eval已經12-18tok/s

殺賊 2025-04-29 07:33:22

A3b 係咪只要正常3b model用既vram?

己攵口羊女子 2025-04-29 07:36:52

撤回咗
因為太聰明，突破到中共censor

六環彩大師 2025-04-29 07:44:46

14b 16gb vram 玩唔玩到

殺賊 2025-04-29 09:07:03

試左都係LOAD晒19GB落VRAM

支共就係國難 2025-04-29 13:23:35

有冇人用緊？使用體驗點？

大棍巴 2025-04-29 14:06:30

launch左冇一日，等下Aider同Livebench

大棍巴 2025-04-29 14:07:58

MoE model都係要load哂成個model，只係 inference嗰陣gen token用細 model size (快好多)

大棍巴 2025-04-29 14:27:25

玩到
14B,
8 bit around 15-16 GB RAM
4-bit around 8-9 GB RAM

六環彩大師 2025-04-29 14:28:57

啱啱返工玩過235B-A22B廢撚到仆街完全唔撚聽人講野

問條好簡單既Linux command 得佢錯求其4o grok perplexity gemini flash deepseek r1是撚但都答啱

3HongKong 2025-04-29 14:29:50

新手上路, 搵張4060 8GB 試, 食左7GB vram

不過好似回答問題正常左, 唔會答答下變左殘體字

支共就係國難 2025-04-29 14:31:34

我都發現佢幻覺超多

大棍巴 2025-04-29 14:47:17

尤其啱MacBook用

debugger; 2025-04-29 15:46:32

唔係，係快到好似3b咁，但用vram量係30b

殺賊 2025-04-29 15:49:31

用N卡既話本身都好快

debugger; 2025-04-29 16:17:25

eval睇v)ram速度，兩條ddr5最盡得100gb/s，n卡張張都500 600，3090 4090去到1000，5090去到1800，緊係快

debugger; 2025-04-29 16:18:50

fyi macbook m4 pro/max係273/546，所以mac好岩行llm

港女洋腸夢 2025-04-29 16:23:39

我部MacBook pro m4 pro 24gb ram淨係玩到14B模型

大棍巴 2025-04-29 16:25:53

30B-A3 4-bit?

兼職陰陽師 2025-04-29 16:35:24

128 m4max留名

鄉廣史文 2025-04-29 16:37:24

做緊免費仔, 用緊2.5版本

其實好用過官網 DEEPSEEK
有14蚊玩, 但要電話注冊
大約有3.5百萬Token

大棍巴 2025-04-29 17:01:20

諗住用邊個model?
似乎235B-A22B都可以用4-bit來行？