LLaMA.cpp又一突破：用6GB RAM就run到媲美GPT-3嘅30B LLaMA model

https://github.com/ggerganov/llama.cpp/pull/613
https://twitter.com/JustineTunney/status/1641881145104297985
痴撚線
原本要用40GB GPU RAM再加64 GB system RAM嘅30B model
（30B model亦都係Facebook原本份paper話同GPT-3一樣performance嘅model）
宜家唔使用GPU不突止，重要普通system RAM淨係要用6GB就得


事件證明：
1. 各大企業嘅ML researcher其實唔識傳統programming所要求嘅efficiency
2. 所謂large language model要用成個數據中心嘅硬件先run到可能其實只不過係多年來嘅extremely poorly optimised code嘅後果

jart嚟架大佬

lm

lm

陣間用IBM 5100

gameboy帶係coding嘅模範

同jart呢啲痴線佬比根本唔公平

叫GPT 5.0自己optimise 自己最好

民間發展AI比企業快，絕對係好事

https://github.com/ggerganov/llama.cpp/pull/613

睇翻原作者comment, mmap目前係CUDA/TPU未有類似功能

應該係DeepML長期依賴GPU運算, 所以對CPU專用功能視而不見

唔通我已經入錯線，所以個世界先至會打仗？

新聞標題：研究人員都唔知AI做緊乜

仲有 gpt4All

真啊，做FAANG，睇住啲ML engineers寫啲code真係差到，然後啲build target bloat到一個點，我都鬧做幾年，都係冇咩改善

GPT4All講真嘛嘛，因為佢無filter走GTL-3.5-Turbo嗰啲好常見嘅「唔好意思我作為AI唔可以答呢個問題」嘅道德審查答案，搞到個finetune都成日有呢個問題。
呢個啱啱有個anon post嘅，唔錯：
https://rentry.org/nur779#gpt4-x-alpaca-13b-quantized-4-bit-weights-ggml-q4_1-from-gptq-with-groupsize-128
佢係用LLaMA 13B做基礎，再用Alpaca個dataset finetune，再用GPT-4嘅對答output finetune，再用GPTQ方法去quantise，再convert去llama.cpp嘅ggml格式。

麻瓜學野
llama.cpp係咪做唔到output寫code同出excel表個類功能

咁optimise有咩意思
man power 唔係錢呀
咁叻你一個library都唔好call
全部from scratch 用C寫最efficient.

work左就冇人optimise

真 work 左邊個會take 個 risk 去 optimise

個model train 嘅data 量同chat gpt 比應該差好遠?