話說最近真係將self hosted AI帶入工作上

我自己會用 Cursor 加 Markmap。好多 Xmind 之類嘅軟件，其實整個 Mindmap 出嚟好易，但真係畫 Mindmap 嘅人都知，其實有好多嘢要繼續寫落去、改...Ai Mindmap 都唔方便。

作為新手，我都好想試下self Hosted Ai，可唔可以講多小小方向，比你再攪多次，你會買咩硬件? (屋企乜都無)

4部Mac Mini ? 定係正經正經買GPU PC?

做文職野如果搞到個RAG 就爽啦

我用continue

一張或兩張3090／4090

一張3090行到32B Q4
兩張3090行到70B Q4

3090可以執二手
一張3090好多itx箱都裝到 我自己係用formd t1
兩張3090我都唔識砌 應該要出動pcie riser/splitter

host係邊

自己機 其實自己用domain都唔駛

我都係買cursor算數 幾十蚊唔洗煩 用曬就加錢買prompt
啱啱仲要出咗agent

有claude 90%功力

Alibaba 又有新model玩
類似Deepseek r1同ChatGPT o1嘅reasoning model

https://www.reddit.com/r/LocalLLaMA/s/BJFtmKD3KF

屌打哂 meta d open source models
咁多制裁限制下都做到咁其實幾癲

係班鬼佬收收埋埋，淨係俾私人公司獨大，
外國open-weight model得返Meta同Mistral叫有竟爭力

反而個封閉同多科技嘢embargo嘅共剷黨，可以拎得出最好嘅open-weight model

呢個係咪純for chat（冇得fim）?

冇check，我估冇。
FIM你用Qwen 2.5 Coder 7B/14B做返就得，唔洗同個main model一樣。

除左私隱問題我都諗唔到有咩原因要selfhost

32B open source 已經直逼美國佬啲 close source
唔怪得老美咁大危機感

私隱第一
第二應該係 high usage 會平啲？

RAG，或者學下佢點set
門檻其實唔高，你有用電腦打機，有張16HB GPU，或者有部16GB Apple Silicon mac都已經可以玩下。

另外有啲automation，例如每日summerize某個網頁，又或者本身有書要翻譯，哩啲效能唔係1st priority，但volume大嘅嘢，Local做長遠應該會慳到唔少。

其實佢呢個"reasoning"有冇學名？本質同o1個chain of thought係同一樣野？

性能同價錢差左幾級
冇安全私隱考慮可以出返去先

學名我都唔熟，感覺哩種model上未有特定叫法。
或者可以歸類做chain-of-thought+RLHF 嘅model

學術討論一下
真係認為而家LLM真係有 "reasoning" ?

首先我只係user，唔係哩個field嘅researcher，我都係道聽塗說

我自己會傾向於用測試嘅方法去睇，即係類似Turing test咁。如果個model做到近似，甚至超越人類嘅reasoning capabilities，佢本身點做到咁，係咪同人類同一個approach並唔重要。我會覺得佢有reasoning。

但個問題正正係，應該點去evaluate先準確？
冇錯o1-preview已經可以答到好多高中，甚至大學研究生都唔識嘅數學問題，但同時又可以答錯好多簡單如strawberry數r咁嘅問題，或者number of sister 哩種(上面條Reddit link有講，QwQ好似答到)。
暫時我覺得好多logical reasoning 都係train出來，去解答部份有代性嘅問題，未去到一個有general logic嘅地步。

要scale up個capability等佢可以更general，唔知仲可以依賴增加parameter幾耐，都有好多跡象顯示LLM個發展已經開始慢落來。將來要再有突破，或者需要一個replace到transformer嘅architecture。

有啦 你問佢個啲要推理無得背嘅IQ題
o1 真係推到答案出嚟
唔係靠背出嚟 呢啲咪就係 reasoning

點分辨佢係pattern recognition 定reasoning

eg 點分辨佢training data 有無被evaluation data set pollute 咗

eg 最近有個新既MathEval evaluation set 令top tier models 連20% accuracy 都無

我估你講緊呢個：
https://www.reddit.com/r/singularity/s/XxFj9D6c7F
份paper就係透過將原本嘅fixed question set (GSM8K)改成一份template，再改左啲value，發覺同一個math logic問題，啲LLM可以差左。類似方法應該可以避免到contamination。

我覺得要講到一個LLM到有reasoning，真係要到佢可以general咁，完全唔受改下template/variable影響先算。至少份paper入面嗰種改法唔會影響到正常人類嘅判斷，個evaluation結果正常應該冇太大變化先係。