話說最近真係將self hosted AI帶入工作上

啲公司未必想 d data send 去 3rd party

https://www.newmobilelife.com/2024/12/31/nvidia-chat-with-rtx-download/

NVIDIA 最近推出免費下載的技術展示工具「Chat with RTX」，首次將基於 NVIDIA RTX 的生成式人工智能引入本地 Windows PC，實現快速、定制化的聊天機器人體驗。

本地生成式 AI 的技術突破
Chat with RTX 使用 NVIDIA TensorRT-LLM 軟件和 RTX 加速技術，結合檔案檢索增強生成（RAG），讓用戶在本地 PC 上運行生成式人工智能應用。只需一張 GeForce RTX 30 系列或更高型號的顯示卡，且配備至少 8GB 的顯示記憶體（VRAM），即可啟用這一功能。

之前去華碩個AI event試過下, 似係現成software既wrapper黎
冇咩亮點 唔知而家仲係唔係咁

是, 只係wrapper 幫你download model 同 run in UI
但你都識玩到自己host, 仲洗鬼靠佢個wrapper

Docker host Openwebui n8n

Free API key:
X-ai US$25 credit per month
Self host G4F
Deepseek-for-free

已經滿足大部分工作須要

google gemini 都會用你 data
啲人都根本無理過
得openai有得簡唔比佢train

到頭來都係講個信字，比得佢地access到，都唔好諗住有咩data security可言。

其實VPN已經可以用ChatGPT 4o
唔明樓主點解要搞咁多嘢

https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips

128GB unified memory，好似好勁
先至3000USD

佢vram 速度同apple機差幾多？

好似好正, 不過香港一定買唔到
diu 好想要

唔明但好似好勁

on 撚9 ,邊有人打工好似你咁撚白痴自己貼埋錢架

你以為自己好專業咩? sor9ry, 其他人冇人會理你點做, 你IT狗個project 幾時用得呀?

未講，用LPDDR5X, 希望有500GB/s

仲有一點係，新野support fp4
我唔熟 但好似話可以再進一步降vram usage

自己host 可以去到邊個version ?

Deepseek R1好似好勁，至少個價真係做爛OpenAI個市
https://www.reddit.com/r/LocalLLaMA/s/SEYSqsJLQB

https://www.reddit.com/r/LocalLLaMA/comments/1i5s74x/deepseekr1_ggufs_all_distilled_2_to_16bit_ggufs/?share_id=YVtSOsWGQ4QHreJX_oe1x

Ho L din

等佢出coding fine tune版

可以睇下佢 distilled Qwen Aider leaderboard之後點，我估已經會幾勁

R1已經好接近o1

其實ROI黎講值唔值，至少幾千USD先run到咁上下大既model，仲可能慢

Call api based on usage 先幾十USD / month

工作實際上有咩作用?

利伸：完全唔信