一粒M2 ultra AI能力等於8張rtx 4090 ,apple 屌打nvidia

有講過咩?

本身4090都唔係設計來跑AI 點比

講緊PCIe 4.0 x16 bandwidth已經去到單條DDR4-3000嘅level
你用消費級底板如果插多路就只可以分到x8甚至x4咪bottleneck
如果專業級多路底板有多路x16, 幾多塊4090就有幾多個x16

有一集有輕輕提過係香港，呢集佢食個包零食好似就係yuu 牌

唔會長期留香港係我個人估計，佢有個女，為咗佢個女長遠發展，最後應該都會走，同埋佢個專業要走唔難

之前Twitter 都有follow 開啲內地IT專才，好多黎左香港幾年後，最後都係走左去歐美/澳洲

你知唔知咩係arm

CUDA係底層嘢，AI幫唔到你
最多可以寫套嘢出嚟，用OpenCL去做CUDA做嘅部份

chip-to-chip都係64GB/s 唔係問題 H100就唔會有NVLink

吾知，你講解下

理論上每個token 生成都讀成個模型一次，130gb 除64 ，8張4090識飛都好都只係每秒兩個tokens

香港只係留到磚才

買Mac studio 頂幾張

問題係A100唔止行LLM

Mac仲可以剪片

好撚尷尬

你而家買電腦定買期貨？

M2 ultra 都唔只行LLM ,

業餘玩下ai 姐，又唔係玩高精度hpc

慳電

個channel 原本都係nv 教嫁喎

bandwidth 之外重要講 latency ....

你仲撚尷尬啦
你嘅世界只係得打機？

業餘會買a100

職業都唔會用自己錢買

https://buzzorange.com/techorange/2021/04/06/ai-memory-wall-bair/

搵左成日仲係無實戰benchmark係度講理論
你引篇文咪講
>在頻寬受限的問題上， CPU 的性能要比 GPU 好得多，但是與 GPU 相比， CPU 的峰值計算能力要小一個數量級左右。

E家m2u同4090比咪同一個情況
佢都唔敢講明邊樣快D
你仲1打8當自己ip man?