reddit鬼佬教大家裝deepseek r1

牛軍已掠地

25 回覆
5 Like 14 Dislike
牛軍已掠地 2025-01-26 20:03:51
https://www.reddit.com/r/selfhosted/s/Fj4RoDY4J7


中文譯文(廣東話連登版):

我用咗DeepSeek R1喺自己台機運行 —— 完整安裝教學同個人評測(本機免費版OpenAI o1替代品?有冇可能?)

**編輯:**我再檢查過Ollama個model card(https://ollama.com/library/deepseek-r1)先發現原來metadata入面真係寫住DeepSeek R1 Distill Qwen 7B。即係話呢個model其實係distilled版本。但老實講,咁都已經好犀利喇!

我頭先先發現DeepSeek R1,搞到我依家幾興奮。唔知大家知唔知,呢個其實係新出嗰種開源AI模型,數學、編程同推理上可以同OpenAI o1同Claude 3.5 Sonnet差唔多。

你可以上Reddit睇下其他人點評DeepSeek R1同OpenAI o1、Claude 3.5 Sonnet之間嘅比較。就我嚟講,DeepSeek R1真係幾唔錯,可以拎出嚟同嗰兩個model比較都唔失禮。

而且最好玩嘅就係:呢個model可以喺你台機度本地運行,私隱度爆燈,而且100%免費!

我已經喺自己機度運行咗陣,玩咗一陣覺得幾正。依家就分享下我點setup,好容易跟:

(提一提:雖然我用緊Mac, 但Windows同Linux用法都一模一樣*! 👌)*

1)安裝Ollama

先簡單介紹下Ollama:佢係一個可以喺本地跑AI模型嘅工具,去呢度下載就得: https://ollama.com/download

2)之後,你要拉(pull)DeepSeek R1個模型落嚟本地跑。

Ollama 有唔同model size —— 基本上,model越大=AI越聰明,但你塊GPU就要勁啲。官方列咗呢幾個:

1.5B version (最細):
ollama run deepseek-r1:1.5b

8B version:
ollama run deepseek-r1:8b

14B version:
ollama run deepseek-r1:14b

32B version:
ollama run deepseek-r1:32b

70B version (最大/最勁):
ollama run deepseek-r1:70b

你可以考慮先試個細size,測下水溫,打開你個terminal然後打:

ollama run deepseek-r1:8b

一pull完之後,model就會直接喺你台機度跑,真係好簡單!

註:嗰啲大隻model(好似32B同70B)要幾恐怖嘅GPU先頂得住。所以大家記住要睇自己硬件夠唔夠先慢慢升級!

3)安裝Chatbox —— 一個勁好用又強大嘅AI模型前端

再簡單介紹下Chatbox:佢係免費、界面乾淨、功能強大嘅桌面介面,幾乎啲model都通用。我都做咗佢兩年side project。佢好注重私隱(所有數據留喺本地),安裝又勁容易 —— 完全唔駛Docker乜鬼複雜步驟。去呢度download就得: https://chatboxai.app

喺Chatbox度,入去設定(settings)度,將model provider改去Ollama。因為你本地跑緊model,咁基本上可以唔理雲端AI嗰邊,唔駛乜license key或者付款!

之後再set個Ollama API host —— 預設http://127.0.0.1:11434應該已經即插即用。搞掂後揀返個model,save就得。然後你就可以即刻喺Chatbox度同本地版Deepseek R1吹水啦!🚀

希望可以幫到大家!有咩問題都可以話我知。

呢度就有幾個我用本地DeepSeek R1測試嘅例子(順帶一提,我好鍾意Chatbox個artifact preview功能)👇

解釋TCP:

老實講,照計算只有8B model,能有呢個表現都算唔錯。

整個Pac-Man遊戲:

睇落幾正,但實際上我試唔到去玩。我懷疑嗰程式有少少bug要調整下。(順帶一提,因為我部Mac塞唔落DeepSeek R1 70b個最大model,所以做Pac-Man個demo其實唔係本地跑,係用雲端model嚟測。)

老實講,最近都見到好多過度吹捧嘅post,所以我一開始都幾戒心。但自己試完之後,DeepSeek R1真係幾solid,雖然唔係話可以完全取代OpenAI或者Claude,但以一個可以本地運行嘅model嚟講,已經夠晒驚喜。最緊要係免費又可以離線用,真係唔錯。

你哋覺得點?好想聽下你哋真心意見。
鳩吹 2025-01-26 20:12:29
Bookmark 先 睇下有無機會用到
支那武肺 2025-01-26 20:38:18
DeepSeek = 低成本版OpenAI
守門員汽水_ 2025-01-26 21:02:37
我教大家裝deepseek r1 (DISTLLED llama/qwen)
唔洗用command,亦唔洗裝十鳩幾樣嘢

1. 去download
LM Studio https://lmstudio.ai/

2. 正常裝咗佢

3. 左邊column揀discover, search keyword "deepseek r1"
4. 揀Qwen(阿里巴巴)或者llama(朱西伯格)
5. Down完load model然後搞掂
守門員汽水_ 2025-01-26 21:04:05
btw
如果你係中東油王,有H100喺手,可以直接揀Deepseek R1 非distill version
全倉TQQQ教眾 2025-01-26 21:07:45
要幾多vram先run到?
真係唔 2025-01-26 21:09:59
同新版mac機內置果個chatgpt有咩分別
何不採花?? 2025-01-26 21:13:13
大部份MODEL,
LM Studio SEARCH名, 揀下, DOWNLOAD, 就攪掂啦
殺手麵包 2025-01-26 21:35:04
distilled Qwen = Qwen fine tuned on Deekseek knowledge
本質上都係Qwen 7B 可以有幾勁
殺手麵包 2025-01-26 21:53:18
好老實 7b 基本上都係垃圾
個人用又唔介意比老共/美帝攞data嘅話
比少少錢subscribe 又好 api call又好
應該仲平過你長run localLLM用嘅電費
local LLM嘅最主要優勢係piracy
全倉NVDA 2025-01-26 21:55:29
守門員汽水_ 2025-01-26 22:05:57
2025-01-26 22:45:37
不如打和啦super 2025-01-28 11:01:47
屌LM STUDIO 唔太支援4K MON,成個UI不停又矇又清又矇又清咁
Oldagedelderly 2025-01-28 11:03:49
其實ai有咩用
三鋒 2025-01-28 11:13:17
將人類變蠢失去思考
守門員汽水_ 2025-01-28 11:16:53
試GPT4ALL?
バケラッタ 2025-01-28 11:22:37
可唔可以download 落嚟後,叫佢自己上網教自己?
バケラッタ 2025-01-28 11:33:40
應該用在軍事上。
バケラッタ 2025-01-28 11:55:38
佢會唔會自動自己上網學野?
Dell滑鼠 2025-01-28 22:39:21
有無試用vscode 行deepseek?
係Terminal ollama run deepseek好正常
但係vscode 用extension cline行就唔知做乜問非所答
重要一路打萬字文唔識停
GNUELYC 2025-01-28 22:41:00
直接'LM Studio' windows app就install到
熱檸茶少甜 2025-01-28 22:45:08
老貓再世_ 2025-01-29 22:31:45
lm
托德華納 2025-01-30 00:13:03
用緊open web ui
唔錯
吹水台自選台熱 門最 新手機台時事台政事台World體育台娛樂台動漫台Apps台遊戲台影視台講故台健康台感情台家庭台潮流台美容台上班台財經台房屋台飲食台旅遊台學術台校園台汽車台音樂台創意台硬件台電器台攝影台玩具台寵物台軟件台活動台電訊台直播台站務台黑 洞