家用NAS/Server/Homelab集中討論區(5)

快過年了，不要再討論什麼NAS、HTPC、OpenWRT了。 你帶你的大機箱回到家並不能給你帶來任何實質性作用，朋友們兜里掏出一大把錢吃喝玩樂，你默默的在家裡擺弄你的破群暉。
親戚朋友吃飯問你收穫了什麼，你說我組了一個​RAID ​0的All-in-One，親戚們一臉茫然，你還在心裡默默嘲笑他們，笑他們不懂你的刮削器，不懂你的Auto Backup，也笑他們看Netflix還要忍受廣告。
你父母的同事都在說自己的子女一年的收穫，兒子買了個房，女兒買了個車，你的父母默默無言，說我的兒子裝了個黑盒子，開起來嗡嗡響、家裡電錶走得越來越快了。

入黎求助既人請讀
呢個post鼓勵討論或發問,但希望大家:

1. 試下自己Google左先.
如果Google中文Keyword搵唔到答案,試下用英文Keyword.
(個人體驗：Google英文Keyword通常最易搵到答案)

2. 發問前搜集/提供更多資料
一個理想既發問通常有以下內容:
- 詳細描述問題
- 你期望既結果係咩
- 做左咩步驟令個問題發生
- 附上Error Log(如有)
提供愈多資料,就愈有可能搵到人幫你.
淨係放低一句「安裝唔到XXX,求教」既話好難幫你.

3. 就算問左都未必有人答到你.
冇計呢個興趣算小眾,而且牽涉既範疇非常廣,冇人係咩都識曬.
如果呢到冇人答到你,不妨去其他論壇(如HKEPC/Reddit)發問.
如果用緊品牌機既話，可以寫Email或去品牌官網搵support渠道。
Synology技術支援：
https://account.synology.com/support

普通家用NAS常見問題

1. 買邊個牌子好?
如果冇特別偏好既話,建議Synology(群輝),原因如下:
- UI人性化,易用,易Setup
- 官方教學文檔內容齊全
- 最多人買,社群大,有問題都易搵答案
- 相對其他大牌子(如QNAP)冇咁多Security問題
Synology機既缺點係硬件性價比差(2024年了都仲係1Gbps).
如果識野/想學野既話,可以考慮自組(後面討論).
Synology NAS選擇器： https://www.synology.com/zh-tw/support/nas_selector

2. QNAP好似經常出事(如勒索軟件),係咪唔買得?
唔係.如果你部機唔放出街既話,其實部部機都差唔多咁安全.
想要保障自己數據既話,做好以下既野:
- 重要數據做好備份(3-2-1法則: 3份數據,2種儲存媒介,1份存於異地). 可以先從外置HDD或雲端存儲入手
- Router取消UPnP
- Router取消任何Port Forwarding
- NAS取消Quickconnect/MyQnapCloud
- 如NAS支持,定期為數據做唯讀既快照(Snapshot)
注意RAID並非備份,且不能取代備份.重要數據一定要做好備份.

延伸閱讀 (Why is raid not a backup?)
https://serverfault.com/questions/2888/why-is-raid-not-a-backup/

3. 點樣「放部NAS出街」?
我地話放NAS出街,即係比你屋企網絡外既人主動access你部NAS上面既service (e.g. SMB, Plex/Jellyfin).
最常見方法有以下:
- VPN (最推薦)
Tailscale最簡單,無需做Port Forwarding,亦唔需要Public IP, Synology/QNAP亦有Package, 對新手黎講係最好選擇.
識玩既可以自己setup Wireguard(易Setup+極低overhead).再唔係就OpenVPN,好多家用Router都有支持.
注意: Synology DSM個Linux底太舊, Kernel入面冇Wireguard, 所以係DSM上面行Wireguard會比新版Linux上面行慢.
- Cloudflare Tunnel (推薦)
經Cloudflare放Service出街，無需做port forwarding.
唔洗比錢都用到, 但你要有一個Nameserver係cloudflare既domain先得.
支持用第三方auth,例如用Google,咁可以指定某D特定gmail account先access到你D野.
注意:你要信Cloudflare,呢個算係Man-in-the-middle,佢有方法睇到曬你D traffic.
- Port Forwarding (「放Port」), 要係Router到做
- QuickConnect/MyQnapCloud或類似服務
注意： 正常咩都唔做既話外人係冇辦法主動去掂你屋企網絡中既機器 （除非你屋企有部機中左毒）

Synology Tailscale教學
https://tailscale.com/kb/1131/synology

4. 放部NAS出街時,要點保障自己?
- 用VPN並確保VPN版本更新,只放VPN一個service出街.除非真係要放比街外人用,否則盡可能VPN.
- 開個權限唔多既User account比自己平時用,非必要唔用Admin/Root account
- 重要數據做好備份
- Firewall/NAS封鎖Inbound中國及俄羅斯IP,或直接Block香港以外所有IP
- 唔好用常見既Port(如22,80,443,445,3389),用D怪數字
- 如有VLAN-aware Switch及勁少少既Firewall(如pfSense)： 鎅個VLAN做DMZ, 將需要放出街既Service全部放入去, 並嚴格限制其對其他VLAN既存取權
小知識: Port Forwarding本身並無任何風險,所有風險都係來至你Forward出去既Service本身既安全性強弱

唔注意安全既後果
https://lih.kg/zHjwGFX

5. 有冇得加RAM?要買邊條?
睇返你想買個隻Model個Spec,正常有寫有冇得加.
Spec上面會寫最多加幾多,但通常可加更多 (我部DS220+加左16GB)
至於RAM選擇係玄學,可以有兩個人用同一部NAS同一型號RAM,但一個加完Boot唔到,另一個Boot到咁既情況.
買之前最好上網Google下其他人買左咩型號咩Size既RAM,起碼成功率大D.
如果肯定要佢Work,咁要買返Synology既RAM,但又貴又細

6. HDD買邊隻?
名牌廠商既CMR NAS Drive, 如Seagate, WD/HGST, Toshiba等廠.
注意唔好買SMR HDD.
可以買唔同牌子既HDD溝埋用,理論上咁做係安全過全買單一型號.
我揀HDD既準則係大牌子,CMR,然後就係每TB愈平愈好.
要格價請去Price.com; Amazon等外國網站有時都有特惠.
HDD遲早會壞, 做好備份先係最實際.

7. 咩係轉碼(Transcoding)?
一個媒體播放器(如你部電視個Browser)通常唔係支持所有媒體格式(影片格式、音頻格式、字幕格式等).
如果播放器支持你想播條片既格式,咁部NAS直接經網絡餵條片比個播放器就得(即Direct Play),咁樣部NAS唔洗點做野.
但如果格式不合,咁有兩個選項:

NAS轉碼
你部NAS要將條片先轉碼做合適既格式,再餵比播放器.咁樣會燒部NAS隻CPU.
如果你隻NAS有Hardware encoder+decoder既話,部NAS就會將轉碼工作掉比佢地去做.
通常大牌子NAS既Intel CPU都有內顯,或者獨立顯示卡,佢地都有Hardware encoder+decoder.
咁樣NAS既CPU既負荷(相比冇顯示卡既情況)會大大降低,唔會因為播片而卡死部NAS.(而且通常可以同時間轉碼多過一條片)
小知識: 將片轉做唔同畫質(例如4K轉去1080p)都係轉碼既一種，如果想係街到用流量睇屋企4K片既話有用

換媒體播放器
例如買隻機頂盒(如Apple TV/Chromecast/Roku/Firestick/Nvidia Shield等，或專買隻Mini PC行Plex/Jellyfin),插上電視轉Input source,等隻機頂盒做播放器.
機頂盒通常支持更多檔案格式. 買邊隻請自行做Research或呢到討論.
另外: 如果你用緊PC/手機Browser睇片唔work既話，可以裝VLC試下。

小知識：你D片既Format(MP4/MKV/WebM)其實係Container format黎，佢地入面裝住左Video/Audio/Subtitle.
轉碼其實就係將你條原片既Video/Audio/Subtitle Decode去Raw format，再Encode去你媒體播放器指定既format，最後再將成品經網絡比個媒體播放器。
所以你NAS/轉碼器要有你原片Audio/Video既Decoder及媒體播放器指定既format既Encoder.
(如果Video/Audio某一part唔需要轉碼既話就唔需要對應既Encoder/Decoder)

延伸閱讀 (Jellyfin Codec Support)
https://jellyfin.org/docs/general/clients/codec-support/

8. (2024年1月) Synology Plus系列買咩Model好?
現時最新出左224+, 423+, 723+, 923+.
買邊隻視乎你想要轉碼還是10G網絡.
723+及923+用AMD CPU,冇Hardware transcoder, 但可以加購10G卡, 配合NVMe SSD使用可以做到高速大量傳輸.
224+及423+用Intel CPU,有內顯,比AMD既Model更適合做轉碼.

Docker常見問題

1. Docker係咩黎?有咩咁勁?
Docker可以將唔同既程式連埋所需既野一次過打包做一舊，然後你禁幾粒掣or行幾條Script就可以用佢，可以當係App Store既App咁.
冇Docker之前同一部機想行唔同程式可能遇到相容性問題(例如兩個程式要用同一款但又唔同版本既Library，又或者Synology DSM自帶個library version太舊). Docker完美解決左呢個問題, 成件打包用就得.
注意其實Docker做到既野VM都做到，不過VM比Docker燒CPU/RAM.
另外要玩Docker的話強烈建議加RAM.

2. 咩機支持Docker?
Synology既話Plus系列或較新既Non Plus機種都有支持:
https://www.synology.com/zh-tw/dsm/packages/ContainerManager
注意只有Plus系列先有得加RAM(玩Docker點都要加D). 此外Non Plus機種用ARM CPU未必支持到全部Docker Image.
其他牌子請自己Google

3. 用Docker要注意D咩?
盡量避免用Root行Docker.
By default Docker係以Root身份行container. 咁既話出現container escape時隻container就可以對你部機為所欲為.
最好起一個user專用黎行Docker野, 並起個folder比呢個user用, 其他野有需要先比佢掂,
然後Docker --user flag選擇呢個user既userid:groupid去行.

小知識: Red Hat有個Default non-root既Docker代替品叫Podman, 有興趣可以睇下.

4. Docker有咩好玩?
-自製Netflix (Plex/Jellyfin/Emby, Sonarr/Radarr/Prowlarr, Qbittorrent/Deluge/Transmission, Overseer/Jellyseer)
Selfhost圈子入面最熱門既內容。
用家先係Sonarr/Radarr/Overseer/Jellyseer指定想睇咩片，佢地去唔同網站撈seed，
然後Qbittorrent/Deluge/Transmission收到就去download。Download完就可以係Plex/Jellyfin/Emby睇。

Synology Docker Media Server Setup教學
https://trash-guides.info/Hardlinks/How-to-setup-for/Synology/

-全家Adblock (AdguardHome/PiHole)
DNS level過濾廣告，同時亦可做Parental control (Block你指定既網頁).
只要係Router到set個DNS server做佢, 咁成個home network所有devices都會過濾到廣告.
另外可以考慮setup埋DNS-over-HTTPS或DNS-over-TLS,，咁你既網絡供應商就睇唔到同改唔到你既DNS query.

-Game Server
https://github.com/GameServerManagers/docker-gameserver
唔洗點介紹啦,想同Friend圍內打機既話可以研究下.
如果玩家人數太多, 你部NAS可能Handle唔到, 咁可以開始考慮自組server了.
可以host既game有: Minecraft, L4D2, ARK, Barotrauma, CS:GO, Factorio, Terraria等等, 大量不能盡錄.

-ChatGPT/Midjourney翻版
有兩款: Gen圖AI同文字AI(即LLM: Large Language Model).
自己Host既原因: 無Censorship (可以任Gen色圖; LLM既話問佢點整炸彈都照答你) 、唔洗VPN、保障私隱.
行AI你先要下載個Model,再host個行AI model既software:
Gen圖用： https://github.com/AUTOMATIC1111/stable-diffusion-webui
LLM用： https://github.com/oobabooga/text-generation-webui
LLM既話唔洗GPU都行到, 只要RAM夠既話純CPU都得(關鍵字: llama.cpp).
不過唔洗旨意你隻NAS行到AI, 老老實實自組Server先玩到.

有用網站
https://github.com/ggerganov/llama.cpp
https://civitai.com/ (AI Gen圖Model下載)
https://www.reddit.com/r/LocalLLaMA/ (Self host LLM討論區)
https://huggingface.co/TheBloke (LLM Model下載)

其他有趣Software:
Smart Home (HomeAssistant)
將得USB連接既Printer/Scanner變成Wifi可用 (CUPS/Scanservjs)
電子書下載及管理 (LazyLibrarian/Readarr, Calibre, Calibre-web)
Airdrop翻版 (PairDrop)
Google Photo翻版(Immich/Photoprism)
翻牆工具 (V2Ray/XRay)
偵測特定網頁更新 (Changedetection.io)
自製記帳app (FireflyIII/ActualBudget)
自製筆記app (Joplin/Trilium/Logseq)
自製Cloud/Sync (Nextcloud/Syncthing)
各類Discord/Telegram Bot
自動Steam掛卡(Archisteamfarm)
Grammarly翻版(Languagetool)

延伸閱讀 (Github selfhosted software list)
https://github.com/awesome-selfhosted/awesome-selfhosted

自組NAS/Server常見問題

1.點解要自組?自組有咩好/壞處?
優點:
- 硬件性價比可以大幅拋離任意大牌子NAS(講緊係同性能下可以平40%或以上)
- 硬件選擇自由 (例如可以用舊機既料砌,或可根據自己需求購買各類零件,M.2 10G網卡聽過未)
- 可以學野 (Sysadmin或Networking功夫,市場對呢D技術有需求)
缺點:
- (通常)體積大, 耗電大
- 要學勁多野(唔係講笑)，Setup麻煩，一定要識英文
- 維護靠自己(不過通常係第一次Set完後就唔洗點理)

2.硬件邊到黎?
舊電腦/Laptop,Raspberry Pi或類似產品,二手市場,淘寶/Amazon等.
部分硬件只可能搵到淘寶/國產貨(或外國只有高價代替品),如各式軟路由工控機/細NAS機箱等.
NAS機箱有外國貨(如Fractal Design既Node系列, Antec P101),不過通常偏大部/貴,想要細部或平D就要淘寶(注意散熱).

3. 買Hardware有咩要注意? Intel T字尾CPU係咪慳電D?
- 買CPU之前要預計下個Server既workload. 例如大部分人個server其實85%時間都係idle,
咁樣既話你買CPU唔係睇peak consumption而係idle consumption.
就我所知: 絕大部分monolithic CPU(如Intel及AMD G系列APU)既idle consumption相當低, chiplet CPU(如AMD非G系列)就idle耗電較高.
但如果係常時都high workload既話, chiplet CPU既peak consumption會比monolithic(尤其是Intel)低.

- Intel T字尾CPU係for散熱差既迷你機用,出廠就限左TDP.
但如上所述,絕大部分情況server都係idle,而idle下兩者相差不大.
而且non-T既CPU係BIOS set功耗牆之後理論上可以做到類似T CPU既效果.
(戴定頭盔:我本人冇T字尾CPU,以上都係我網上research出黎既結論)

T vs non-T i5-8500 power draw:
https://www.reddit.com/r/homelab/comments/189vkss/intel_t_processors_power_consumption_tests/

- Motherboard有分CPU PCIe lane同Chipset lane.
CPU lane上面既hardware直接同CPU溝通,效能最高.
Chipset lane上面既hardware要同CPU溝通就先要經過一條"橋" (Intel叫佢做DMI).
呢條橋既Bandwidth有限,例如你係chipset上面裝三條NVMe SSD一齊傳輸file,咁就會有bottleneck.
如果你需要超高傳輸速度既話要注意下.

- 如果你想用Hypervisor/行VM的話, 需要注意Motherboard既IOMMU grouping.
因為如果你想將Host既Hardware passthrough入去VM既話, 就要將一個IOMMU group既所有hardware一次過pass曬入去.
例如你PCIe 1槽同SATA controller係同一IOMMU group, 咁你想pass個插左PCIe 1槽既device(e.g. GPU)入VM,就要連SATA controller都送埋入去.
其實有方法呃個Kernel,令佢以為全部hardware都係自己一個IOMMU group (關鍵字: ACS patch). Proxmox係Kernel command line加一行就可以用到呢個patch. 注意用呢個patch有安全性風險.

- Intel CPU既iGPU可以用SR-IOV(12代或以後)或GVT-G(5至10代CPU)方法令Host同VM都用到同一隻iGPU,唔洗額外買隻獨立GPU.
唯獨係11代冇.如果你有Pass iGPU入VM既需求 (e.g. Host靠iGPU著Mon,但VM行Jellyfin要iGPU做Transcode)既話要注意.
12代或更新CPU之SR-IOV方法: https://github.com/strongtz/i915-sriov-dkms

4.用咩OS?
VM Hypervisor: Proxmox(推薦), VMWare ESXi, Microsoft Hyper-V, XCP-NG
NAS OS: TrueNAS Core/TrueNAS Scale, Xpenology(黑群輝), Unraid(要比錢), OpenMediaVault
Server OS: Debian, CentOS/RHEL(有No-cost subscription), Home Assistant OS. Windows Server...
Router/Firewall OS: pfSense/OPNSense, OpenWrt/DD-WRT (Consumer Router專用)

5. 咩係Hypervisor? 點解要用佢?
Hypervisor即專用黎行VM既OS. 上一點提及既Hypervisor全部都係Type 1, 有接近Bare metal既performance.
用Hypervisor既好處:
- VM Snapshot/Rollback (極有用)
- 成個VM backup/restore
- 容許將來有需要時加VM
- (Proxmox) 有Web UI, 易管理
- 視乎你既硬件, Reboot VM可能比Reboot bare metal host快勁多
咁多好處下,就算你只會用一個VM,都可以考慮下用Hypervisor OS.

小知識: Linux真正既Hypervisor係QEMU/KVM, Proxmox其實只係Debian上面裝左QEMU/KVM加佢自己既config同個web UI.
如果你平時都用Linux既話,可以用QEMU/KVM將GPU passthrough比隻Windows VM,然後係入面打機.Performance同樣接近Bare metal,無明顯Latency. (利申用緊)

6. LXC係咩黎?同Docker有咩唔同?
LXC雖然都係"Container",但佢概念上比較接近VM, 係VM既輕量級代替品.
同VM相似,係LXC上面你可以手動裝十幾廿個Service並同時間行. 另外兩者都支持Snapshot/Rollback及Backup/Restore.
LXC同VM唔同既係LXC會同個host共用Kernel (VM有自己Kernel), 所以資源消耗較低, 相對地Security冇VM咁強.
Docker同LXC唔同既係Docker通常一個image淨係會行一隻service, 但LXC你可以係一隻上面裝十幾廿個service同時行.
Docker係app level container:一隻app,一個image. LXC係OS level container: 佢只係一個平台(同VM相似),你要自己係上面裝野行.

7. 咩係IPMI?有冇代替品?
IPMI係Remote management solution. 同平時Remote Desktop/VNC唔同既係佢可以係最低層控制個server.
你可以用佢remote開/關機,改BIOS,重裝OS等等. 非常適合Server係Remote或難搬地方既人.
Intel有個類似solution叫VPro,需要CPU同motherboard都支持先用到.
另一個相對易入手既alternative係PiKVM, 需要你自己買件DIY, 或者買作者成set件砌. 想平D既話可以去淘寶搵翻版(北力電子/同伴科技). PiKVM甚至可以配合特定KVM switch一下控制多部機.

8. 用咩硬件去加HDD port數?
LSI HBA card, ASM/JMicron HDD controller, 淘寶買

Recommended Controller for Unraid
https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/

TrueNAS reflash LSI card教學
https://www.truenas.com/community/resources/detailed-newcomers-guide-to-crossflashing-lsi-9211-9300-9305-9311-9400-94xx-hba-and-variants.54/

9.CPU冇內顯/用AMD,N卡/A卡又貴,買咩卡用黎做Transcode?
Intel Arc系列平價Transcode神卡, 又有AV1 encoding support, 1000蚊樓下買到, 超強
如唔需要AV1,可以考慮二手workstation Nvidia卡,詳情可以睇下面延伸閱讀部分.

延伸閱讀:
Media Capabilities Supported by Intel Hardware:
https://www.intel.com/content/www/us/en/docs/onevpl/developer-reference-media-intel-hardware/

Nvidia Video Encode and Decode GPU Support Matrix:
https://developer.nvidia.com/video-encode-and-decode-gpu-support-matrix-new

Plex Media Server Hardware Transcoding Cheat Sheet
https://www.elpamsoft.com/?p=Plex-Hardware-Transcoding

Nvidia-patch (移除Nvidia GPU既同時間Transcode片數上限)
https://github.com/keylase/nvidia-patch



更多討論區/資源

HKEPC (有NAS同Networking討論區)
https://www.hkepc.com/forum/

Reddit
https://www.reddit.com/r/synology/
https://www.reddit.com/r/selfhosted/
https://www.reddit.com/r/homelab/
https://www.reddit.com/r/DataHoarder/

司波圖(大陸人，專講NAS/Networking，有教學片)
https://www.youtube.com/@SpotoTsui

Nascompares (大牌子NAS及硬碟選擇教學)
https://nascompares.com/

ServeTheHome (Homelab新聞/硬件review網頁)
https://www.servethehome.com/

TechnoTim/Lawrence Systems (Homelab頻道，涉及範疇較廣)
https://www.youtube.com/@TechnoTim
https://www.youtube.com/@LAWRENCESYSTEMS

尋晚寫到而家,肯定有錯 有指正訓先

強po 留命

辛苦巴打

隔離devops post無人答，唔知呢到有無人識。

有冇人試過係k3s cluster上去裝GitLab agent，然後用self host GitLab ci去control返個cluster？遇到個問題fix唔到想睇下有冇師兄有經驗

gitlab runner你要set個ci runner pod嘅service account畀用cluster-admin (或者自己寫rbac roles再限住個namespace/access scope)先 然後kubelet應該可以用https://kubernetes嚟access你嗰cluster
我唔明點解你要咁做？你係咪想做啲deployment operation？係我就強烈建議用Argo Workflows同Argo CD算

岩岩訂左隻PN42, 等佢ship 黎再試下pve

唔係gitlab runner既問題，我本身已經有用緊既gitlab runner去run我d job，我係setup GitLab agent既時候出問題，gitlab agent係佢地出既component黎比GitLab可以直接control Kubernetes cluster，然後我點搞都出下面個error

{"level":"error","time":"2024-01-15T04:55:29.991Z","msg":"Failed to register agent pod. Please make sure the agent version matches the server version","mod_name":"agent_registrar","error":"rpc error: code = Unavailable desc = connection error: desc = \"transport: Error while dialing: failed to WebSocket dial: expected handshake response status code 101 but got 400\""}

然後我咁做既目的純綷係自學平時都無咩機會要用gitlab agent去control k8s

補充多句，已verify agent同server version係match

opnsense

切咩機

opnsense 加多個
插滿哂10g 卡 switch 都慳返

用 software router 做埋 switch？個 performance hit 唔係好勁架咩

暫時還好 宜家d appliance 個bandwidth 仲未chur 盡個cpu 隻nas 都chur 唔盡條10g
用緊部optiplex 4代機做

巴打想問你opnsense有冇用zenarmor？見佢話係取代到pfblockerng

https://github.com/apernet/OpenGFW
host your own 防火長城 at home