https://www.reddit.com/r/selfhosted/s/Fj4RoDY4J7
中文譯文(廣東話連登版):
我用咗DeepSeek R1喺自己台機運行 —— 完整安裝教學同個人評測(本機免費版OpenAI o1替代品?有冇可能?)
**編輯:**我再檢查過Ollama個model card(https://ollama.com/library/deepseek-r1)先發現原來metadata入面真係寫住DeepSeek R1 Distill Qwen 7B。即係話呢個model其實係distilled版本。但老實講,咁都已經好犀利喇!
我頭先先發現DeepSeek R1,搞到我依家幾興奮。唔知大家知唔知,呢個其實係新出嗰種開源AI模型,數學、編程同推理上可以同OpenAI o1同Claude 3.5 Sonnet差唔多。
你可以上Reddit睇下其他人點評DeepSeek R1同OpenAI o1、Claude 3.5 Sonnet之間嘅比較。就我嚟講,DeepSeek R1真係幾唔錯,可以拎出嚟同嗰兩個model比較都唔失禮。
而且最好玩嘅就係:呢個model可以喺你台機度本地運行,私隱度爆燈,而且100%免費!
我已經喺自己機度運行咗陣,玩咗一陣覺得幾正。依家就分享下我點setup,好容易跟:
(提一提:雖然我用緊Mac, 但Windows同Linux用法都一模一樣*! 👌)*
1)安裝Ollama
先簡單介紹下Ollama:佢係一個可以喺本地跑AI模型嘅工具,去呢度下載就得: https://ollama.com/download
2)之後,你要拉(pull)DeepSeek R1個模型落嚟本地跑。
Ollama 有唔同model size —— 基本上,model越大=AI越聰明,但你塊GPU就要勁啲。官方列咗呢幾個:
1.5B version (最細):
ollama run deepseek-r1:1.5b
8B version:
ollama run deepseek-r1:8b
14B version:
ollama run deepseek-r1:14b
32B version:
ollama run deepseek-r1:32b
70B version (最大/最勁):
ollama run deepseek-r1:70b
你可以考慮先試個細size,測下水溫,打開你個terminal然後打:
ollama run deepseek-r1:8b
一pull完之後,model就會直接喺你台機度跑,真係好簡單!
註:嗰啲大隻model(好似32B同70B)要幾恐怖嘅GPU先頂得住。所以大家記住要睇自己硬件夠唔夠先慢慢升級!
3)安裝Chatbox —— 一個勁好用又強大嘅AI模型前端
再簡單介紹下Chatbox:佢係免費、界面乾淨、功能強大嘅桌面介面,幾乎啲model都通用。我都做咗佢兩年side project。佢好注重私隱(所有數據留喺本地),安裝又勁容易 —— 完全唔駛Docker乜鬼複雜步驟。去呢度download就得: https://chatboxai.app
喺Chatbox度,入去設定(settings)度,將model provider改去Ollama。因為你本地跑緊model,咁基本上可以唔理雲端AI嗰邊,唔駛乜license key或者付款!
之後再set個Ollama API host —— 預設http://127.0.0.1:11434應該已經即插即用。搞掂後揀返個model,save就得。然後你就可以即刻喺Chatbox度同本地版Deepseek R1吹水啦!🚀
希望可以幫到大家!有咩問題都可以話我知。
呢度就有幾個我用本地DeepSeek R1測試嘅例子(順帶一提,我好鍾意Chatbox個artifact preview功能)👇
解釋TCP:
老實講,照計算只有8B model,能有呢個表現都算唔錯。
整個Pac-Man遊戲:
睇落幾正,但實際上我試唔到去玩。我懷疑嗰程式有少少bug要調整下。(順帶一提,因為我部Mac塞唔落DeepSeek R1 70b個最大model,所以做Pac-Man個demo其實唔係本地跑,係用雲端model嚟測。)
老實講,最近都見到好多過度吹捧嘅post,所以我一開始都幾戒心。但自己試完之後,DeepSeek R1真係幾solid,雖然唔係話可以完全取代OpenAI或者Claude,但以一個可以本地運行嘅model嚟講,已經夠晒驚喜。最緊要係免費又可以離線用,真係唔錯。
你哋覺得點?好想聽下你哋真心意見。