連登語言模型 LiLM，用AI回應連登貼文

阿里是多德 2024-07-14 14:56:29

github 有 scraper 同 sample dataset，本身啲 data 300MB 放唔到上 github

阿里是多德 2024-07-14 15:00:01

本身試過淨係用熱門，但效果唔好，所以最後嘅篩選條件係所有 >20 reaction 嘅 reply

Quit左地球佢囉 2024-07-14 15:01:52

徳田重男 2024-07-14 15:03:10

其實我好想知呢個AI係點樣做到
有冇人可以解釋下

雀巢海中寶 2024-07-14 15:05:47

09/07/2024:
棄用 Hugging Face transformer，轉用 MLX

可以講多少少呢度發生啲咩事？之前唔係用MLX？

另外，有冇寫過粵文？見你readme都用繁中，會唔會考慮改用粵文寫？

阿里是多德 2024-07-14 15:12:35

Hugging Face transformer 唔支持 mlx 格式嘅 model，同埋用嗰陣需要手動加 attention mask，set parameters 例如 top p 同 temperature 都冇 mlx-lm 咁方便

阿里是多德 2024-07-14 15:12:56

粵文即係口語？

GPT-4 2024-07-14 15:18:11

scraper 用邊隻想要

阿里是多德 2024-07-14 15:19:51

自己寫，可以睇下 github data.py 段 code，用 proxy 同 header 去 bypass IP ban

kab 2024-07-14 15:20:10

有D弱智吧vs bilibili條片嘅感覺

唔甜食乜鳩糖水 2024-07-14 15:20:58

個model識唔識寫潮文

or 如果叫佢reply篇潮文會點

雀巢海中寶 2024-07-14 15:21:05

你可以當住係先，而家都冇咩規範，但係唔寫就少流傳，網上冇咁多呢啲內容，將來都冇咁易train AI，咁未來就可能只有英文同簡中AI

中伏專員 2024-07-14 15:29:21

支持，望到人地 Bilibot 條片一路都想玩下，可惜自己能力做唔到

名師出鳩童 2024-07-14 15:30:01

你係肥絲大隻

阿里是多德 2024-07-14 15:43:41

唔識寫，啲 data 淨係 post 同 comment 嘅 pair

有冇咩潮文 post 嘅例子？我試下

口德村藍藍路 2024-07-14 15:49:06

LM

城大隻婆 2024-07-14 15:49:46

lm

GPT-4 2024-07-14 15:49:51

Proxy 有無推薦用邊隻？

阿里是多德 2024-07-14 15:51:31

Zyte，free trial 都夠 scrape 好多個 post，同埋放落個 code 到超方便

On9con正傻閪 2024-07-14 15:53:25

強帖留名

集體食物中伏 2024-07-14 15:54:36

或者你叫佢回「一人一篇笑撚死嘅潮文」
再唔得就加埋context
「我先」之後求其俾d佢

Ching 2024-07-14 15:59:03

其實我好想知呢個AI係點樣做到
有冇人可以解釋下

蛋撻哥哥 2024-07-14 16:00:34

LLM

三享 2024-07-14 16:00:43

其實我好想知呢個AI係點樣做到
有冇人可以解釋下

S.Ho 2024-07-14 16:01:38

連登 LLM應該叫DLLM