蘋果發佈可直接在裝置運行的開源 LLM AI 模型 OpenELM

好開始

但performance 同7b 比都係差好遠

直接用llama 3啦
依家先研究點都追唔到龍頭架啦

AI好食ram，無論SD定係LLM，AIGC模型推理對RAM需求都好高，而且參數量越多越勁越食RAM

Apple仲諗緊點樣on device行AI，而可以盡量慳買ram嘅錢

https://www.techbang.com/posts/112207-apples-paper-revealed-that-large-language-models-can-be

llama 3 大約用30GB

一部iPhone 15 128GB升級完OS,裝llm加幾個app同1000張相，輕鬆打爆128GB storage

而且舊iPhone 有啲係得64GB storage
黎緊嘅iOS升級應該好精彩

人地話8GB夠用

你覺得舊iPhone會俾用？