搞一大輪野先用到AI
其他國家上個網就搞掂
話說最近真係將self hosted AI帶入工作上
極北鷲
252 回覆
79 Like
40 Dislike
陰鳩公
搞一大輪野先用到AI
其他國家上個網就搞掂
搞一大輪野先用到AI
其他國家上個網就搞掂
你個model好大？
3080得10 GB VRAM好易爆，一爆就落CPU用RAM，自然慢好多。
3080得10 GB VRAM好易爆，一爆就落CPU用RAM，自然慢好多。
7B算唔算好大
coder直接用github copilot 算, openai就係個外國server setup個webui可以直連
self host 如果多人用, 張卡再勁都頂唔順
self host 如果多人用, 張卡再勁都頂唔順
有諗過好似樓主咁自己整llm
不過計埋gpu,電費
都係正正經經call open ai api算
不過計埋gpu,電費
都係正正經經call open ai api算
我用緊openai api key
frontend用gradio，得幾行code，host用heroku 7蚊美金
frontend用gradio，得幾行code，host用heroku 7蚊美金
lm
如果多人用既話可以試下vLLM做backend
我理解 佢係specifically designed for multi user workload而且唔會爆VRAM 同埋自己識去queue request
我呢個都係自私用，講錢既話就肯定唔值的，但都叫學到野
我理解 佢係specifically designed for multi user workload
而且唔會爆VRAM 同埋自己識去queue request我呢個都係自私用，講錢既話就肯定唔值的，但都叫學到野
我自己係用continue 冇用過cline其實唔知cline work唔work
其實唔知cline work唔work唔關事，係LocalLLM本身就有其他use case，例如行RAG，或者本身要handle sensitive information。
唔大，7B你行Q8應該都fit到落10GB，再唔係試下Q6/Q4。
計cost一定係用OpenRouter平
點解唔直接用cursor
langchain同vector datastore
BTW其實有冇人試過用付費AI service做autocompletion?
就我理解 要autocomplete得好既前提係個model係有train for FIM (fill-in-middle)
咁代表左autocomplete model唔係有大揀大，有時較細既model更適合做autocomplete
（不過當然較大既model更適合做chat）
Qwen2.5 coder就同時勝任到chat同autocompletion
就我理解 要autocomplete得好既前提係個model係有train for FIM (fill-in-middle)
咁代表左autocomplete model唔係有大揀大，有時較細既model更適合做autocomplete
（不過當然較大既model更適合做chat）
Qwen2.5 coder就同時勝任到chat同autocompletion
成本要幾多？
最低限度建議一張3090，二手6-7千左右。
想平唯有唔玩local，用OpenRouter行API可以做到類似用途，0.2 USD/M input/output token。
想平唯有唔玩local，用OpenRouter行API可以做到類似用途，0.2 USD/M input/output token。
二手3090 我個時係買左7000港紙（好似係）
你肯搏既話 ebay應有更平
之後仲有機箱 CPU之類 加埋都至少10k
但部野除左行AI之外仲有其他用途，例如sunshine gaming server同埋web server
你肯搏既話 ebay應有更平
之後仲有機箱 CPU之類 加埋都至少10k
但部野除左行AI之外仲有其他用途，例如sunshine gaming server同埋web server
咁我地都可以直接上Qwen,文心一言個網
仲有總部喺中国香港嘅商湯科技嘅商量
人地緊係有特別原因(上唔到網/怕資料外洩)先揀localhost llm
人地share下
你就走入嚟踩港😅
仲有總部喺中国香港嘅商湯科技嘅商量
人地緊係有特別原因(上唔到網/怕資料外洩)先揀localhost llm
人地share下
你就走入嚟踩港😅
LM
local run 比訂閱既成本好高
同埋model 更新速度無咁快 要等
除非好私人野想做
長期用搞唔掂
好似係
同埋model 更新速度無咁快 要等
除非好私人野想做
長期用搞唔掂
好似係
成本高 -> true, high initial hardware cost
更新速度冇咁快 -> 唔一定，你去reddit r/localllama睇下，出新野既頻率其實唔低，例如近幾日deepseek好似話會出新野，又聲稱勁過qwen2.5
長期用搞唔掂-> 唔評價，睇你住咩地方，電費貴唔貴
btw買隻GPU又唔淨止得AI可以行既，我自己係用佢做Sunshine server，想打機時，去大廳大電視開Moonlight駁佢去打機，真係正
更新速度冇咁快 -> 唔一定，你去reddit r/localllama睇下，出新野既頻率其實唔低，例如近幾日deepseek好似話會出新野，又聲稱勁過qwen2.5
長期用搞唔掂-> 唔評價，睇你住咩地方，電費貴唔貴
btw買隻GPU又唔淨止得AI可以行既，我自己係用佢做Sunshine server，想打機時，去大廳大電視開Moonlight駁佢去打機，真係正
香港地做IT就係咁撚on9
樓主好心分享下自己研究既野
勁多人出來厭三厭四
又唔見佢地有咩好野拎到出來
樓主係香港搞呢D真係浪費哂
hknoit
樓主好心分享下自己研究既野
勁多人出來厭三厭四
又唔見佢地有咩好野拎到出來
樓主係香港搞呢D真係浪費哂
hknoit
會唔會打算分享下點樣一步步set up？
多謝樓主
btw, 最近copilot 開放左sonnet 可以試用，去github setting 開返就會見到
btw, 最近copilot 開放左sonnet 可以試用，去github setting 開返就會見到