話說最近真係將self hosted AI帶入工作上

留明得閑玩下

係meta 佢分開llama-instrcut 同codellama

llama-instruct係問問題gen code 同鳩噏
codellama 係tab suggestion, 個call叫fill in the middle (FIM).

你用twinny, continue 定其他

我好日都唔上下軟件台都嚇親

連登係咁，個個鐘意做another brick in the wall，唔好搞咁多野

良氣風氣由我地創造去改變返佢地

可以唔洗call 出街
攞黎寫in house doc 都唔驚leak出街

FIM 呢種未試過
之後再試下

open source嚟講qwen真係好用
不過連登就一定話垃圾

一個普通連登仔會覺得open source野都可以監控佢既

其實都係睇咩卡同用咩model
4070ti flux s gguf 4steps幾秒出一張都得

我得返張3060 Ti (8GB) 可以用黎行gen圖我諗我都係用sdxl算

local llm 30B樓下都係垃圾
除非你fine tuned on特定task/domain knowledge
否則正正經經call chatgpt api好過
呢加有4o-mini真係玩爛市
而且openai自己都support fine tune

Open-source 又唔等於一定安全，亦不一定個個有能力自己去audit啲code(而家你可以用LLM)。
但self-hosted就可以完全自己check佢啲network activity，或者鎖佢做VPN/LAN-only。

我覺得對共剷黨嘢有戒心係應該，但要明白箇中原理，唔好因為不必要嘅原因而喪失可利用嘅資源。哩方面中國佬做得好好多，幾憎美國佬都好，唔會逢美必ban來懲罰自己。

open source + self host冇理由屌啦咁

open source LLM 其實有咩問題

佢講完你都唔明
唔係用唔用到問題
係安全問題

其實唔關係咪IT事
成個香港都係咁
香港人就係有種否定自己人嘅性格

自己host 嘢都係自娛享受過程
帶返公司就多咗
況且正常公司唔會畀咁做
連公海host 嘅基本上都要禁
啲人淨係用嚟做翻譯同文章生成都已經將公司啲內部資料送晒出海

downloadable weight唔等於 open source
你要有堆training data, training methodology, the model architecture, the code to train先係open source

試問你download左隻game,想改下入面嘅code,但係你手上得個exe file, 你點樣改？

根本唔可以同其他open source project比較，你只可以信alibaba冇加料係堆weight 入面

咁驚擺隻opnsense mon住啲traffic囉

請問俾用copilot有啲乜嘢好處，係唔係淨係唔使畀錢

咁樣係重複緊90年代嘅freeware vs antivirus, 例如QQ vs 360 安全衛士

我覺得LLM重係唔太成熟，千祈唔好同依家open source嘅standard比較