https://www.reddit.com/r/LocalLLaMA/s/DrZzCcFDi9
Epyc 9374F, 12x32GB RAM, that's 384GB of RAM so DeepSeek V3 just barely fits quantized to Q4_K_M.
TG ~ 7-9
認真，大陸 AI 真係頂爛市 OpenAI 好難鬥
天蠍座
394 回覆
37 Like
445 Dislike
見Reddit開始有人試CPU inference，不過正如你講未有guff，同llama.cpp都未有support。
https://www.reddit.com/r/LocalLLaMA/s/DrZzCcFDi9
TG ~ 7-9
https://www.reddit.com/r/LocalLLaMA/s/DrZzCcFDi9
TG ~ 7-9
雖然肯定佢偷gpt 資料嚟訓練慳左唔少，但佢真係證明咗LLM 同gen 圖一樣本身個模型architecture同parameters都有壓縮空間，走向應該同gen 圖相似嚟講會有更加多細模型出現 
比想像中慢左好多
可能要dual先得
可能要dual先得
有上過少少AI basic 堂，應該都會知data 會一分為二，一份用黎train, 一份用黎validate, 用一個已用training data train 好既model 又train 一個model 出黎又有咩效果
其實最有資格屌人抄野嗰個係google 
出得paper都係想大家進步，但第一個屌人抄野既人真係好樣衰，擺到明sam哥被人斷米路先搲爛塊面
xeon 6980p + 12x mrdimm 8800
分分鐘做到14t/s
分分鐘做到14t/s
但大陸呢個用左幾百張h100去train一個月
成本500萬美金
自己train要幾耐先train完
成本500萬美金
自己train要幾耐先train完
gpt既training token咪又係openai開一堆scrapper刮晒成個互聯網憑實力偷返黎，但轉頭被人偷就搲爛塊面，真係好樣衰
1.58b bitnet同meta新既blt都未用
1.58b bitnet同meta新既blt都未用
train又唔同inference，train一次性燒錢，inference成本可以愈黎愈低，bottleneck係ram容量同bandwidth
遲人咁耐玩條毛喇，依家已經 o3，你追到人地 o1 又點，同晶片情況一 9 樣，真係唔使咁高階既晶片做乜搞咁多走私
真心好撚抵玩
我呢兩日用黎做翻譯 用左450k token 只係用左我 ¥4.5 人民幣，痴線
我呢兩日用黎做翻譯 用左450k token 只係用左我 ¥4.5 人民幣，痴線
咁係咪呢堆open source weight就已經等同甚至勁過人哋chatgpt嗰個model？
樓主聲稱佢訓練嘅時候需要嘅算力係十分之一，如果係咁嘅nvidia股價咪要暴跌？用普通gpu都可以訓練到啦
係咪偷偷地用咗pretrained model呀？我玩過類似嘅project，用pretrained model中間可以skip大量冤枉路
但問題咁樣就會dependent on個pre-train model，唔係話睇死大陸一定係做假，但都係費事跟車太貼
樓主聲稱佢訓練嘅時候需要嘅算力係十分之一，如果係咁嘅nvidia股價咪要暴跌？用普通gpu都可以訓練到啦
係咪偷偷地用咗pretrained model呀？我玩過類似嘅project，用pretrained model中間可以skip大量冤枉路
但問題咁樣就會dependent on個pre-train model，唔係話睇死大陸一定係做假，但都係費事跟車太貼
o3要超級電腦燒電train燒電行
ds v3用1/10成本train，train完放出黎，有心砌部epyc genoa都行到
你覺得分別係邊？
ds v3用1/10成本train，train完放出黎，有心砌部epyc genoa都行到
你覺得分別係邊？
打錯 想講450萬
LM睇樓主反駁
不過我反而有個問題，點解中國既ai咁勁但係喺chatgpt出世之後先勁既？
點解唔係文心一言出世先到chatgpt?
不過我反而有個問題，點解中國既ai咁勁但係喺chatgpt出世之後先勁既？
點解唔係文心一言出世先到chatgpt?
連登仔:reddit唔計
唔好以為彈啲backend api terms 就係AI engineer 啦
扮識仲衰過唔識
扮識仲衰過唔識睇埋我之後個留言啦 柒頭
只可以講呢到啲人立場行先
同openai有親咁 同出面睇法完全係平行世界
同openai有親咁 同出面睇法完全係平行世界
你想accuse deepseek v3係某個model既finetune？係既話份paper仲有份wor
係既話份paper仲有份wor你想accuse deepseek v3係某個model既finetune？咁係咪呢堆open source weight就已經等同甚至勁過人哋chatgpt嗰個model？好大機會佢個backend其實偷偷地連去出面啲api佢成個weight係到，你自己可以down落黎試wor，連乜野出面api呢
講到尾 係咪軟體版本嘅漢芯
https://huggingface.co/deepseek-ai/DeepSeek-V3/tree/main
樓主聲稱佢訓練嘅時候需要嘅算力係十分之一，如果係咁嘅nvidia股價咪要暴跌？用普通gpu都可以訓練到啦
係咪偷偷地用咗pretrained model呀？我玩過類似嘅project，用pretrained model中間可以skip大量冤枉路
但問題咁樣就會dependent on個pre-train model，唔係話睇死大陸一定係做假，但都係費事跟車太貼
樓主聲稱話算力只需要十分之一
如果真係由零做到嘅
nvidia股價一定要暴跌
但至今我仍然未睇到
市場永遠是對的
你真係識嘅 就用技術層面去駁斥我
如果真係由零做到嘅
nvidia股價一定要暴跌
但至今我仍然未睇到
市場永遠是對的
你真係識嘅 就用技術層面去駁斥我