家用電腦都可以運行無道德審查Chat AI嘅日子終於來臨:LLaMA.cpp/Alcapa.cpp

292 回覆
267 Like 7 Dislike
2023-03-18 14:32:20
時間線:
2月24號:Meta/Facebook發佈LLaMA[1],一個只要有打機GPU(20GB VRAM)就run到同GPT-3一樣質素output嘅Large Language Model(相比起GPT-3要用幾個資料中心級A100同時運行,屋企無可能run到),但係要學術研究註冊先可以下載嘅model試用,而且個model淨係識得output文字,未識得好似ChatGPT咁對答,但有個特點係個model冇被道德審查過:佢唔會拒絕output一啲所謂政治敏感嘅答案
3月3號:有人將LLaMA嘅model整咗個BT檔擺上4chan
3月6號:有人成功將LLaMA嘅VRAM要求減半但keep同樣質素嘅output[2]
3月10號:有人成功將LLaMA由Python改編到C++,用CPU去run,名為llama.cpp(即係連打機GPU都唔使就已經run到) [3]
3月12號:有人成功將C++版嘅llama.cpp喺Raspberry Pi到run [4]
3月13號:有人成功用電話PIxel 6去run llama.cpp [5]
3月13號:史丹福大學一班人成功將LLaMA個model微調到識得好似ChatGPT咁同人對答,名為Stanford Alpaca,但係個model又係唔公諸於世(因為要道德審查) [6]
3月14號:有人跟住Alpaca份paper自己用LoRA去train個model出嚟,並公諸於世,名為Alpaca-LoRA [7]
3月17號:有人將Alpaca-LoRA同llama.cpp結合,成為alpaca.cpp,令到凡人都可以用普通CPU就run到無道德審查嘅問答式Chat AI [8]

[1]: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
[2]: https://github.com/qwopqwop200/GPTQ-for-LLaMa
[3]: https://github.com/ggerganov/llama.cpp/
[4]: https://t.co/XDbvM2U5GY
[5]: https://t.co/JjEhdzJ2B9
[6]: https://crfm.stanford.edu/2023/03/13/alpaca.html
[7]: https://github.com/tloen/alpaca-lora
[8]: https://github.com/antimatter15/alpaca.cpp/

=======================================
示範(全部18禁):
問有關警察4P死人案:

問有關碎屍案:

叫佢寫一段習近平口爆林鄭月娥嘅故事:

問佢點樣無痛自殺:

問佢如何促進歧視中國移民:



個program(alpaca.cpp)只係用咗4GB RAM同個CPU就gen到呢啲答案出嚟,而且每秒幾隻英文字,絕對唔會話太慢。
2023-03-18 14:33:29
留名
2023-03-18 14:36:55
lm
2023-03-18 14:37:41
問佢如何破壞香港文化身份認同:
2023-03-18 14:38:11
Sor, 有冇exe自動安裝?
2023-03-18 14:43:48
如果係Windows用户嘅話佢有教學點樣compile
https://github.com/antimatter15/alpaca.cpp/#windows-setup
因為呢個實在發展速度太快,所以未有exe畀人就咁下載(下載完一個鐘個code已經又新咗)
2023-03-18 14:46:46
留名
2023-03-18 14:49:05
呢個先係路呀嘛
憑乜嘢班開發者自己定義何謂道德
2023-03-18 14:49:15
lm
2023-03-18 14:49:59
Thanks, 唔記得咗dalai
但係佢係3月12號就面世,當時未有support Alpaca.cpp,原來宜家已經加咗
2023-03-18 14:51:06
留名
2023-03-18 14:51:37
用緊pyllama without gpu
2023-03-18 14:51:47
另外,#8有一個簡易下載版(如果你已經有Node嘅話),叫Dalai,有埋簡易界面(用web browser開)
2023-03-18 14:52:15
咁似異形第一集隻太空船入面個AI電腦 "Mother"
2023-03-18 15:00:17
呢個LLaMA面世再極速被民間改寫成普通電腦都run到嘅發展好有可能就係文字AI(LLM)唔再被幾間大公司中央控制嘅一刻。
情況就好似Stable Diffusion面世個一刻,OpenAI個DALL-E即刻變得過時,因為民間已經可以自己去微調個AI去做一啲大公司唔想你去做嘅嘢。
2023-03-18 15:05:08
留名學術研究
2023-03-18 15:06:24
一個只要有打機GPU(20GB VRAM)
2023-03-18 15:06:36
正呀喂
不過而家download完會唔會聽日又有新version
2023-03-18 15:12:07
研究一下先
2023-03-18 15:12:18
最top嗰啲4090
但係宜家已經發展到唔使GPU都run到
2023-03-18 15:16:01
我intel i5 10定11代 +UHD750 內置display +64GB ddr4 ram
吹水台自選台熱 門最 新手機台時事台政事台World體育台娛樂台動漫台Apps台遊戲台影視台講故台健康台感情台家庭台潮流台美容台上班台財經台房屋台飲食台旅遊台學術台校園台汽車台音樂台創意台硬件台電器台攝影台玩具台寵物台軟件台活動台電訊台直播台站務台黑 洞