話說最近真係將self hosted AI帶入工作上

完全唔識

要有人地api既peformance可能每月電費都唔只幾千usd

終於有Qwen 2.5 VL
我地institute 可能會deploy佢

https://www.reddit.com/r/LocalLLaMA/s/OKkUEcySOn

自己部電腦最高只可以run 到14b model 直接課金Cody 最抵，9美金無限call claude 3.5

當然依家仲有另外一個選擇就係deepseek r1, cline + continue 都係非常之平

deepseek r1做到autocomplete/fill-in-middle?
我自己未試玩，但睇人講佢唔係specialized in fill-in-middle，想autocomplete就繼續用qwen coder

未試過用R1，但試過用v3 ，但係有啲慢，autocomplete 唔使用大model，個人覺得3b / 7b qwen 2.5 coder效果已經好好

其實呢d multimodal model用咩backend行？定直接call python script?

多9如
有openAI又驚人地知道你d野
唔L好用gmail唔L好用iphone啦
Apple知你d野呀

Self host多舊魚

我都未run過multimodal LLM，不過應該都係咁run?
主要視乎個frontend點feed，我估Cline呢啲將來會support到。

我見deepseek個janus都係直接call python script

係cline 用R1, 佢會不停loop死自己同自己係咁講, cline會收唔到個結果

竟然係咁，係咪淨係cline 用r1先有呢個問題？嗰陣我用V3個體驗還可以就係佢嗰個context length 64k真係少左d

可能冇train到tool calling，Cline要有fine tune過一堆function先會work。通常遲啲都會有人搞，當然如果自己有(足夠)GPU都可以自己搞。

有關VLM model hosting:
https://www.reddit.com/r/LocalLLaMA/s/R90YbCJMWR

cline 正

不過 RooCode 更加正

用法：
首先 Architect Mode 用 OpenRouter 嘅 DeepSeek R1 先問問題
出 Idea + Plan

之後 Code Mode 用 VsCode LM API 嘅 Sonnet 食 之前嘅結果
出 code

咁樣嘅話應該係最平，出嚟嘅結果都係最好

===============

不過有冇人知道如果有 UI design 的話 (figma / image)
點樣畀 AI 寫好 ?

Alibaba QwQ 32B full release
https://x.com/Alibaba_Qwen/status/1897361654763151544

幾啱self host