家用NAS/Server/Homelab集中討論區(8)

極北鷲

922 回覆

1 Like 1 Dislike

極北鷲 2025-07-01 01:59:07

home assistant就冇玩過
但諗住遲D用kokoro同whisper-fast整個real time AI chatbot

係game voice chat到用
不過完全唔識搞

大棍巴 2025-07-01 02:17:43

本身都諗住自己script哂，不過如果佢個open-source framework做得好，都慳返好多功夫。

極北鷲 2025-07-01 02:30:03

想知你點自己script
text to speech我明但點樣將你既speech轉做實際既command?

極北鷲 2025-07-01 02:30:29

有冇人玩過local voice-based home assistant?

有部Jetson Nano Super放左喺度，8GB VRAM+102GB/s+1024 CUDA cores，應該夠快realtime行Gemma 3n E4B Q4 + Kokoro TTS。
大概會做返Alexa做嘅嘢，開關電器/燈，問各種問題，例如下週天氣，又或者做下Google search(用Google API free tier好似每日有100個query)等等。之後可能做埋video face detection (要upgrade hardware，當phrase 2)。

而家用緊部M1 Mac玩下，俾啲mock up weather information佢，再問返佢下週天氣，適唔適合某種户外活動等，佢都答得幾好，成件事感覺上可行。

睇返好似已經有啲software 做到(e.g. Home Assistant/openHAB)。
有冇Ching玩緊類似嘅嘢
home assistant就冇玩過
但諗住遲D用kokoro同whisper-fast整個real time AI chatbot係game voice chat到用
不過完全唔識搞
本身都諗住自己script哂，不過如果佢個open-source framework做得好，都慳返好多功夫。
想知你點自己script
speech to text我明但點樣將你既text轉做實際既command?

品客薯條 2025-07-01 02:34:18

我用緊張舊嘅4080super 行ollama serve 緊個gemma3 12b

另外行whisper medium.en 做stt
tts就用edge-tts

Endpoint之前用過藍牙喇叭做wyoming satellite收得麻麻
而家買左home assistant voice pe好似個咪收得好啲

Home assistant 同堆ai野係兩部VM

個ai除左home assistant 我另外仲有open webui可以日常用嚟幫我debug啲code

24k context window都做到6x t/s

品客薯條 2025-07-01 02:35:17

Tool calling，用人地啲open source code或者自己寫

大棍巴 2025-07-01 02:39:46

我其實未試個pipeline，以上係純text嘅test。
不過唔可以STT，然後text當prompt俾個LLM咩？

再者，Gemma 3n勁在本身可以做埋STT，我估應該可以做到直接出返text。

大棍巴 2025-07-01 02:48:59

想知個voice chat成個turn around，做唔做到接近realtime ？
我想佢夠快，所以都係target緊1-4B models
(Jetson Nano Super應該做20 tps以上，不過要test埋Prompt processing)。

品客薯條 2025-07-01 02:52:42

唔得，因為佢要gen晒段字先開始tts，你預兩三秒
不過佢至小會gen左tool call先gen reply

所以啲燈基本上即刻開/熄
問佢屋企溫度就預左要等兩三秒先有回覆

大棍巴 2025-07-01 03:06:00

應該可以做streaming? 即係個LLM一路出text，個TTS model就從有嘅text開始講，不過可能就冇左個語氣。
So far我都係aim緊50-100 tps，希望可以做到更接近realtime。

品客薯條 2025-07-01 03:14:31

Home assistant要用佢個pipeline，改嘅話好似好大工程

voice pe最大好處係有micro wake word可以hey siri咁叫佢做野，esp32自己就做到唔洗用server resources
Open webui個voice chat就好似可以stream tts不過我好少用

大棍巴 2025-07-01 03:28:12

多謝詳盡嘅分享，我再研究下。
Home assistant如果限制比較大，我逐樣gadget program返都問題不大，主要想optimize到latency 。

Llsudhejsidbejd 2025-07-01 15:40:29

Minisforum N5 NAS -US

Equipped with AMD Ryzen™ 7 255
5 HDD bays 丨3 M.2/U.2 SSD| PCIe x16 slot
Maximum 96GB DDR5 memory
10Gb+5GbE LAN | Pre-installed MinisCloud OS
Docker single key installation | OCuLink compatible

Type:
Barebone + 64GB SSD $583.00 USD
16G DDR5 + 64GB SSD $631.00 USD

Minisforum N5 Pro NAS -US

Equipped with AMD Ryzen™ AI 9 HX PRO 370
5 HDD bays 丨3 M.2/U.2 SSD| PCIe x16 slot
Maximum 96GB DDR5 ECC memory (N5 Pro only)
10Gb+5GbE LAN | Pre-installed MinisCloud OS
Docker single key installation | OCuLink compatible

Barebone + 64GB SSD $1,039.00 USD
16G DDR5 + 64GB SSD $1,079.00 USD
48G DDR5 ECC + 64GB SSD $1,311.00 USD
96G DDR5 ECC + 64GB SSD $1,583.00 USD

要食ssd骨