大棍巴
2025-05-22 13:12:49
哩啲係local LLM,通常都係32B或以下嘅細model,一張3090都用得到,一般唔會攞來同SOTA closed model直接比較。出面嗰啲大model通常講緊幾百甚至上千B parameters,遠比起細model有優勢。
細model通常都係用來俾人加domain knowledge/做RAG/fine tune/local agent來用。攞來駁VSCode做pair programming,哩類local model都可以幫手debug。