一粒M2 ultra AI能力等於8張rtx 4090 ,apple 屌打nvidia

170 回覆
18 Like 200 Dislike
2023-07-04 13:11:03
有講過咩?
2023-07-04 13:13:26
本身4090都唔係設計來跑AI 點比
2023-07-04 13:25:45
講緊PCIe 4.0 x16 bandwidth已經去到單條DDR4-3000嘅level
你用消費級底板如果插多路就只可以分到x8甚至x4咪bottleneck
如果專業級多路底板有多路x16, 幾多塊4090就有幾多個x16
2023-07-04 13:45:53
有一集有輕輕提過係香港，呢集佢食個包零食好似就係yuu 牌

唔會長期留香港係我個人估計，佢有個女，為咗佢個女長遠發展，最後應該都會走，同埋佢個專業要走唔難

之前Twitter 都有follow 開啲內地IT專才，好多黎左香港幾年後，最後都係走左去歐美/澳洲
2023-07-04 13:48:46
你知唔知咩係arm
2023-07-04 14:10:23
CUDA係底層嘢，AI幫唔到你
最多可以寫套嘢出嚟，用OpenCL去做CUDA做嘅部份
2023-07-04 14:10:27
chip-to-chip都係64GB/s 唔係問題 H100就唔會有NVLink
2023-07-04 14:16:08
吾知，你講解下
2023-07-04 15:00:04
理論上每個token 生成都讀成個模型一次，130gb 除64 ，8張4090識飛都好都只係每秒兩個tokens

2023-07-04 15:01:45
香港只係留到磚才
2023-07-04 15:03:17
買Mac studio 頂幾張
2023-07-04 15:21:44
2023-07-04 15:27:59
問題係A100唔止行LLM
2023-07-04 15:40:11
Mac仲可以剪片
2023-07-04 15:42:13
好撚尷尬

你而家買電腦定買期貨？
2023-07-04 16:20:02
M2 ultra 都唔只行LLM ,

業餘玩下ai 姐，又唔係玩高精度hpc
2023-07-04 16:24:05
慳電
2023-07-04 16:25:40
個channel 原本都係nv 教嫁喎
2023-07-04 16:26:04
bandwidth 之外重要講 latency ....
2023-07-04 16:29:03
你仲撚尷尬啦
你嘅世界只係得打機？
2023-07-04 16:35:36
業餘會買a100

職業都唔會用自己錢買
2023-07-04 17:00:15
2023-07-04 17:46:42
https://buzzorange.com/techorange/2021/04/06/ai-memory-wall-bair/

2023-07-04 18:03:31
搵左成日仲係無實戰benchmark係度講理論
你引篇文咪講
>在頻寬受限的問題上， CPU 的性能要比 GPU 好得多，但是與 GPU 相比， CPU 的峰值計算能力要小一個數量級左右。

E家m2u同4090比咪同一個情況
佢都唔敢講明邊樣快D
你仲1打8當自己ip man?
吹水台自選台熱　門最　新手機台時事台政事台World體育台娛樂台動漫台Apps台遊戲台影視台講故台健康台感情台家庭台潮流台美容台上班台財經台房屋台飲食台旅遊台學術台校園台汽車台音樂台創意台硬件台電器台攝影台玩具台寵物台軟件台活動台電訊台直播台站務台黑　洞