時間線:
2月24號:Meta/Facebook發佈LLaMA[1],一個只要有打機GPU(20GB VRAM)就run到同GPT-3一樣質素output嘅Large Language Model(相比起GPT-3要用幾個資料中心級A100同時運行,屋企無可能run到),但係要學術研究註冊先可以下載嘅model試用,而且個model淨係識得output文字,未識得好似ChatGPT咁對答,但有個特點係個model冇被道德審查過:佢唔會拒絕output一啲所謂政治敏感嘅答案
3月3號:有人將LLaMA嘅model整咗個BT檔擺上4chan
3月6號:有人成功將LLaMA嘅VRAM要求減半但keep同樣質素嘅output[2]
3月10號:有人成功將LLaMA由Python改編到C++,用CPU去run,名為llama.cpp(即係連打機GPU都唔使就已經run到) [3]
3月12號:有人成功將C++版嘅llama.cpp喺Raspberry Pi到run [4]
3月13號:有人成功用電話PIxel 6去run llama.cpp [5]
3月13號:史丹福大學一班人成功將LLaMA個model微調到識得好似ChatGPT咁同人對答,名為Stanford Alpaca,但係個model又係唔公諸於世(因為要道德審查) [6]
3月14號:有人跟住Alpaca份paper自己用LoRA去train個model出嚟,並公諸於世,名為Alpaca-LoRA [7]
3月17號:有人將Alpaca-LoRA同llama.cpp結合,成為alpaca.cpp,令到凡人都可以用普通CPU就run到無道德審查嘅問答式Chat AI [8]
[1]: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
[2]: https://github.com/qwopqwop200/GPTQ-for-LLaMa
[3]: https://github.com/ggerganov/llama.cpp/
[4]: https://t.co/XDbvM2U5GY
[5]: https://t.co/JjEhdzJ2B9
[6]: https://crfm.stanford.edu/2023/03/13/alpaca.html
[7]: https://github.com/tloen/alpaca-lora
[8]: https://github.com/antimatter15/alpaca.cpp/
=======================================
示範(全部18禁):
問有關警察4P死人案:
問有關碎屍案:
叫佢寫一段習近平口爆林鄭月娥嘅故事:
問佢點樣無痛自殺:
問佢如何促進歧視中國移民:
個program(alpaca.cpp)只係用咗4GB RAM同個CPU就gen到呢啲答案出嚟,而且每秒幾隻英文字,絕對唔會話太慢。