砌機行deepseek 671b

1.
epyc genoa (9654), 12*48g rdimm, 461gb/s
$40k hkd
q4_k_m, eval 20t/s, output 7.5t/s, ctx增加後未知

2.
mac studio m2 192gb*3, 800gb/s
$150k hkd
預測output最多14t/s

3.
xeon 6 + 12x mrdimm 8800, 845gb/s
200-300k hkd?
預測output 15t/s

4.
8-10張3090 48g
150k hkd up
預測output 30t/s以上

5. 3-4部nv project digits
100k hkd up
預測output 4t/s

5.
租cloud用api算啦..

performance src for 1:
https://m.youtube.com/watch?v=FzCEoTiqP7I&pp=ygUQZXB5YyBkZWVwc2VlayB2Mw%3D%3D

你自己砌梗係唔夠人哋data centre咁cost-efficient㗎

點樣駁3部mac studio一齊run 一個model？

電費?

參考mac mini cluster llm

cpu only solution應該用300-400w
10x 3090應該裝三相電

3部project digits應該500w左右，詳情未知

6. 直接課金俾deepseek 算，$5美金有排玩

人哋純粹想自己上手試下啫

自己砌機行係咪就可以冇censor？

617b真係call api算
我咁支持self host都咁話

671b*

可能人地公司用呢

6. 等n記部digit

考慮埋1.58b quant

1. 一張mi300x
2. 一部mac studio m2/m4 ultra
3. 兩張A100 80g
4. 192gb ram電腦加張gpu做offload

真

搞咁多野，都不如買service

一早課左openrouter
但一直想心思思整個全Local對話型廣東話ai

連登仔都係唔想你嘥埋啲冤枉錢啫

逐隻GPU獨立供電得啦
洗咩三相電
不過就唔可以用同一way電
點樣供電又唔影響運算
唔需要同一隻牛做晒

本身都想replace屋企部壞左既xeon e5v3

你堆spec會比你想像中行得快
我部M1 Max 64GB 48GB vRAM 行70B都比想像中行得順

可以睇埋哩個：
https://unsloth.ai/blog/deepseekr1-dynamic

下個月我地部4*A6000 ADA應該行到，1.73 bit似乎已經唔錯。

問左有人m2 ultra 192g行1.58b，13.5tok/s

*原來已經提過，不過條link都幾多嘢，可以望下。