reddit鬼佬教大家裝deepseek r1

https://www.reddit.com/r/selfhosted/s/Fj4RoDY4J7


中文譯文（廣東話連登版）：

我用咗DeepSeek R1喺自己台機運行 —— 完整安裝教學同個人評測（本機免費版OpenAI o1替代品？有冇可能？）

**編輯：**我再檢查過Ollama個model card（https://ollama.com/library/deepseek-r1）先發現原來metadata入面真係寫住DeepSeek R1 Distill Qwen 7B。即係話呢個model其實係distilled版本。但老實講，咁都已經好犀利喇！

我頭先先發現DeepSeek R1，搞到我依家幾興奮。唔知大家知唔知，呢個其實係新出嗰種開源AI模型，數學、編程同推理上可以同OpenAI o1同Claude 3.5 Sonnet差唔多。

你可以上Reddit睇下其他人點評DeepSeek R1同OpenAI o1、Claude 3.5 Sonnet之間嘅比較。就我嚟講，DeepSeek R1真係幾唔錯，可以拎出嚟同嗰兩個model比較都唔失禮。

而且最好玩嘅就係：呢個model可以喺你台機度本地運行，私隱度爆燈，而且100%免費！

我已經喺自己機度運行咗陣，玩咗一陣覺得幾正。依家就分享下我點setup，好容易跟：

(提一提：雖然我用緊Mac， 但Windows同Linux用法都一模一樣*！ 👌)*

1）安裝Ollama

先簡單介紹下Ollama：佢係一個可以喺本地跑AI模型嘅工具，去呢度下載就得： https://ollama.com/download

2）之後，你要拉（pull）DeepSeek R1個模型落嚟本地跑。

Ollama 有唔同model size —— 基本上，model越大＝AI越聰明，但你塊GPU就要勁啲。官方列咗呢幾個：

1.5B version (最細):
ollama run deepseek-r1:1.5b

8B version:
ollama run deepseek-r1:8b

14B version:
ollama run deepseek-r1:14b

32B version:
ollama run deepseek-r1:32b

70B version (最大／最勁):
ollama run deepseek-r1:70b

你可以考慮先試個細size，測下水溫，打開你個terminal然後打：

ollama run deepseek-r1:8b

一pull完之後，model就會直接喺你台機度跑，真係好簡單！

註：嗰啲大隻model（好似32B同70B）要幾恐怖嘅GPU先頂得住。所以大家記住要睇自己硬件夠唔夠先慢慢升級！

3）安裝Chatbox —— 一個勁好用又強大嘅AI模型前端

再簡單介紹下Chatbox：佢係免費、界面乾淨、功能強大嘅桌面介面，幾乎啲model都通用。我都做咗佢兩年side project。佢好注重私隱（所有數據留喺本地），安裝又勁容易 —— 完全唔駛Docker乜鬼複雜步驟。去呢度download就得： https://chatboxai.app

喺Chatbox度，入去設定（settings）度，將model provider改去Ollama。因為你本地跑緊model，咁基本上可以唔理雲端AI嗰邊，唔駛乜license key或者付款！

之後再set個Ollama API host —— 預設http://127.0.0.1:11434應該已經即插即用。搞掂後揀返個model，save就得。然後你就可以即刻喺Chatbox度同本地版Deepseek R1吹水啦！🚀

希望可以幫到大家！有咩問題都可以話我知。

呢度就有幾個我用本地DeepSeek R1測試嘅例子（順帶一提，我好鍾意Chatbox個artifact preview功能）👇

解釋TCP：

老實講，照計算只有8B model，能有呢個表現都算唔錯。

整個Pac-Man遊戲：

睇落幾正，但實際上我試唔到去玩。我懷疑嗰程式有少少bug要調整下。（順帶一提，因為我部Mac塞唔落DeepSeek R1 70b個最大model，所以做Pac-Man個demo其實唔係本地跑，係用雲端model嚟測。）

老實講，最近都見到好多過度吹捧嘅post，所以我一開始都幾戒心。但自己試完之後，DeepSeek R1真係幾solid，雖然唔係話可以完全取代OpenAI或者Claude，但以一個可以本地運行嘅model嚟講，已經夠晒驚喜。最緊要係免費又可以離線用，真係唔錯。

你哋覺得點？好想聽下你哋真心意見。

Bookmark 先 睇下有無機會用到

DeepSeek = 低成本版OpenAI

我教大家裝deepseek r1 (DISTLLED llama/qwen)
唔洗用command，亦唔洗裝十鳩幾樣嘢

1. 去download
LM Studio https://lmstudio.ai/

2. 正常裝咗佢

3. 左邊column揀discover, search keyword "deepseek r1"
4. 揀Qwen(阿里巴巴)或者llama(朱西伯格)
5. Down完load model然後搞掂

btw
如果你係中東油王，有H100喺手，可以直接揀Deepseek R1 非distill version

要幾多vram先run到?

同新版mac機內置果個chatgpt有咩分別

大部份MODEL,
LM Studio SEARCH名, 揀下, DOWNLOAD, 就攪掂啦

distilled Qwen = Qwen fine tuned on Deekseek knowledge
本質上都係Qwen 7B 可以有幾勁

好老實 7b 基本上都係垃圾
個人用又唔介意比老共/美帝攞data嘅話
比少少錢subscribe 又好 api call又好
應該仲平過你長run localLLM用嘅電費
local LLM嘅最主要優勢係piracy

屌LM STUDIO 唔太支援4K MON，成個UI不停又矇又清又矇又清咁

其實ai有咩用

將人類變蠢失去思考

試GPT4ALL?

可唔可以download 落嚟後，叫佢自己上網教自己？

應該用在軍事上。

佢會唔會自動自己上網學野？

有無試用vscode 行deepseek?
係Terminal ollama run deepseek好正常
但係vscode 用extension cline行就唔知做乜問非所答
重要一路打萬字文唔識停

直接'LM Studio' windows app就install到

lm

用緊open web ui
唔錯