家用NAS/Server/Homelab集中討論區(7)

淘其實有賣家係專賣S記兼容硬件，RAM好卡好你search「群暉兼容」就無死
而隻918的確應該買火牛盡力救
就算你之後加DS1625+，過data嗰時有晒兩隻響度行緊會鬆動d (假設你同時換碟加碟)
而隻918之後做副機 / backup target仲有用

咁又唔得
但多一部NAS你可以用佢去test野，或者兩部NAS分開角色擺唔同files，甚至擺918去屋企人第二間屋去做offsite online backup target

哩set咁砌有冇問題？
會用來玩localLLM，行Qwen 2.5 72B Q4，諗住俾最多十個人同時用。揀A6000Ada主要係想VRAM大啲，context window以及玩RAG都可以鬆動少少，以至將來玩其他model都可以。
主要擔心都係行一隻1600W夠唔夠，哩邊用唔到2200W嗰隻PSU。

嘩屌






J撚死人的

邊到買a6000 一萬唔洗

似係ChatGPT轉currency搞錯，原本跟Yen計，1.2M yen一張。

修正返，ChatGPT計數真係check少次都嘔血

自己野定公司野？

之前我開過po 不過沉左
但老實講 我自己都淨係識setup 試下寫prompt咁
但冇深入研究過其他玩法 e.g. RAG, fine-tuning

我都係上開r/localllama學嘢，不過so far都係得個睇字，未認真set個OS專去做inference 。

我地應該最多都係做埋RAG，embed下啲code base同documents，唔會走去fine tune個model。就咁Qwen 2.5都好似好夠用。

短期內想做到嘅係set個local server，等我可以喺個IDE直接用到部server，好似用Claude API咁來幫手寫code。
之後會想搞下啲automation，例如每日自動download新paper，再summarize下咁。

等睇你搞我主要係唔知點入手 網上太多material

其實我本身係想喺入呢堆之前玩返熟先，不過太多嘢做冇時間。可能拎張陳年Radeon VII試下啲嘢點set先

set 左個 ollama, 淨係識用黎 gen 下甜故...

其實我公司做緊openai api project
我地寫到個prompt好詳細，每一步要做乜都寫出黎
我比個.docx佢，叫佢係個file入面搵特定資訊出黎，然後比返固定格式既json。之後又比成堆.docx佢，叫佢幫手做comparison/ranking，然後又比返另一款固定格式既json。我食個json再係backend process

OpenAI叫呢種固定格式json玩法做"structured output"或"function calling"（兩者其實唔同，但佢地都係做到比固定格式json你）。

我記得llama 3.1開始support function calling, 又識去call brave web search同wolfram alpha計數可以研究下
利申冇玩過llama 3.1

我地應該主要都係打code，計數同改下文。
計數方面本身LLM都幾易錯，所以想研究下點樣integrate LLM同Lean，等佢可以check下數
https://arxiv.org/abs/2404.12534

另外一樣可能已經off-the-self有，純粹我冇玩過API唔識。點樣可以令LLM可以自己run埋個Python/Julia kernel，等佢可以自動check output，改code，試到work為止

想問下UPS係咪一定要香港買？
呢D美馬/集運應該都唔會送？淘寶唔知

已經第三隻死雞 ironwolf 出 bad sector..
試下轉用 toshiba mg...

淘寶買應該直送平過集運

toshiba 真係幾耐用.. 我2019 24x7 到呢家
不過我用黎backup.

之前仲要有一隻係死到隻nas 響alarm, 連隻碟都認唔到 叫死雞真係無錯。

中概用左幾多年？