Facebook出左llama 2 除大公司外可免費商用

... 你不如明下llm點works先
llm嚟講hallucination根本無得避
你想無hallucination應該用prompt engineering去避 (CoT, ReAct, RAG)
之所以話llama無limitation係因為無censorship 你對隻llm做咩都得
例如你癲喺上嚟用llama叫佢扮8歲細路女嚟玩erp佢真係會扮

我意思係咩topic都可以講
好似chatgpt唔肯講trump 但又肯講biden
llama一代已經有人整到完全無限制既model

唉屌啦星 望番個username醒起係條死傻鳩
答完都無撚用 睇死下次又再會問埋啲濕鳩無腦問題講埋啲無謂野

有冇人覺得GPT-4 弱智過舊版?
- 分享自 LIHKG 討論區
https://lih.kg/bxCiyfV
Bard依家唔比我入，你地有無咁既情況？
- 分享自 LIHKG 討論區
https://lih.kg/3405718
請問Midjourney點用
- 分享自 LIHKG 討論區
https://lih.kg/3356274
如果Bing佢自己同我講
- 分享自 LIHKG 討論區
https://lih.kg/3415394
OpenAi check得太能過嚴喇
- 分享自 LIHKG 討論區
https://lih.kg/3444746
Codespace Hugging Face Replit
- 分享自 LIHKG 討論區
https://lih.kg/3431890
AutoGPT宜家仲有無無限loop?
- 分享自 LIHKG 討論區
https://lih.kg/3426357

已經有人從pretrain version finetune左個uncensored既chat model出黎 可用llama.cpp行
https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GGML

網上聽到好似仲弱雞過GPT3.5，唔知係咪真？

係弱過佢 冇佢咁大model size同咁強既hardware

3090 24gb啦

ching
有冇諗住開返homelab post

開左好耐啦你睇下我開po歷史

其實我到依家仲未明白佢係度玩緊乜

M2 pro / max 夠唔夠train

Llama2好似唔系大模型？

你連self-hosted都要問人點解
其實呢到個個一早都知你乜柒都唔明

https://ai.meta.com/blog/large-language-model-llama-meta-ai/
LLaMA (Large Language Model Meta AI)唔係large language model
多謝提供笑話一則

想請教高人 我睇緊3060Ti同4060Ti
如果4060Ti係stable diffusion同setting下gen圖快過3060Ti
咁係咪代表佢係LLM既text gen速度都會快過3060Ti

On9 仔

我睇緊有個paper叫QLoRA
https://github.com/artidoro/qlora
可以將quantized（大幅減少VRAMrequirement 但減perplexity）既model去做training 你個GPU塞得曬個quantized既model既話就可以直接train
例如LLAMA 13B-4bit塞得落3060(12GB) 咁你同時都可以用3060去train呢個model
我冇理解錯既話 姐係第時出左LLAMA 2 34B-4bit 塞得落一張3090/4090既話 就可以用一張3090/4090黎train
唔知apple野有冇support 你可以睇下

感謝

會唔會"一定"快過 我唔太肯定答到你
不過考慮上3060ti得8gb vram
我依加行隻llama2 13b gptq都已經用咗10~11gb vram
你如果買3060 ti就要offloading先玩到13b
而同時係買4060ti 16g vram就唔洗offloading 咁所以假設行13b一定4060ti快啲
而如果你話想玩llama 7b就不如玩llama.cpp ggml算
另外7b gptq本身token/s我個張都係around 20t/s
快少少慢少少你stream住睇都唔會感覺到個分別
所以如果我係你我會買4060ti

我咁問係因為4060ti bus width細左但cache大左
遊戲方面甚至某d情況會比3060ti差
所以想知對ai有冇影響

文科仔係咁

強帖留名

直接一問，係咪可以訓練到佢寫咸故?
如果可以我即刻學習

可唔可以唔自己切機，用cloud既GPUrun自己整既Llama2?

可以 但我冇實例比到你

可以我地上面咪討論緊4060 Ti