[Mac撚] 用家/買機集中討論(110) 8GB袋底送別區 暨 M3/M3 Pro苦主安慰區

1001 回覆
7 Like 1 Dislike
2024-11-05 20:52:23
48GB呢?
2024-11-05 20:59:58
手邊得一部24GB m2 mba, 冇得再試上去
48GB 理論上行33B 應該會鬆動d
2024-11-05 21:08:10
裝iStat Menus睇吓chok響邊,可能唔夠RAM
你RAW幾多MP,同埋全部嘢用內置SSD行?
2024-11-05 21:12:58
諗緊買m4定24定32gb先夠
2024-11-05 21:43:31
行LLM留意三點
1. VRAM size,決定你可以放幾大嘅model,以及行幾高quantization。Apple Silicon unified memory哩點有優勢
2. GPU speed,決定prompt processing (PP),等幾耐個model先會開始覆你。
3. Memory bandwidth,決定token generation (TG),大約每秒出到幾多隻字。

Mac雖然VRAM夠多,但M4 Max嘅memory bandwidth都只係去到5xxGB/s,比3090慢一倍。M4 Pro就得返一半,273 GB/s,M4就得1/4,120 GB/s。
Apple Silicon行LLM更大問題係PP好慢,基本上Max都慢3090 4-5倍,即係大model+long context,你可能要等幾分鐘先有嘢出。

可以參考下:
https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference

我覺得新chips要上到M4 Max先夠快行到下32B Q4嘅model。暫時打code真係好有用,都要去到Qwen 2.5 32B。
2024-11-05 21:49:45
個人覺得Mac 行LLM係有性價比,唔駛出到3090價錢都已經用得下
而且夠慳電
2024-11-05 22:00:30
主要睇你在唔在意個速度。我自己覺得用來行Cline/Continue呢類AI-assisted IDE,太慢都會等得幾辛苦。
2024-11-05 22:10:38
有冇用過codestral 22b? 岩岩係部mac 試, 雖然個model得13 GB, 但係memory stress直接紅哂,而且係一段段咁紅,基本上unusable,懷疑ram 都係唔夠用

都係估唔到係因為ram 定係bandwidth 問題
你話prompt speed 我自己覺得10T/s 都夠用,唔強求咁多
2024-11-05 22:19:09
Space Gray用家表示想要Space Black多啲
2024-11-05 22:20:27
冇試過Codestral。你用咩software行?
Mac好似要set啲嘢先會放到啲RAM俾LLM用,雖然13GB應該就點都夠。我暫時得部M1 MacBook Pro 16GB,冇玩過大model,最盡只玩到Qwen 2.5 14B Q4。
Desktop GPU就得張3070
之後應該會買5090去玩下

IDE而家我通常用OpenRouter行Qwen 2.5 72B
2024-11-05 22:37:13
冇野了,岩岩係ollama console行冇事
原來係continue 個config 要set 返contextLength 先唔會慢

turn out 有6T/s, 用緊22W左右,係慢左D 但係起碼叫用到先
2024-11-05 22:53:33
好 遲啲Download黎睇下先
宜家放左係external ssd,run到27xx mb/s速
raw就61MP
2024-11-05 23:05:02
但個LR catalog同preview係響內置? M2 Pro配16GB佢唔係好勁但應該又未至於窒
雖然61MP RAW的確係大咬
2024-11-05 23:05:05
你用咩tools lag? 如果太多brush, 用full resolution preview 兼60MP+ lag係正常。 你換機都唔會太大分別。

同埋你library size都好重要。如果你諗住一個library儲晒你啲raw,當你個library接近1萬甚至過萬, 就算比EPYC + 512GB ram 你都會lag.

用lightroom 要定好workflow, project base 開唔同library.
如果你要一個library 管理晒啲相,夾埋Adobe Bridge用會好啲.
2024-11-05 23:25:49
呢個LR缺點
想順D Library跟file Folder走
Max 500 raw file
2024-11-05 23:33:53
不過多過一個cat就好難/做唔到全面cloud sync
另外我就係懷疑緊佢個cat係跟咗RAW擺埋去外置
佢話有2700MB/s但呢個只係sequential,事實上外置係有latency問題同埋random QD都應該唔會高,擺database係唔適合
除非佢個cat同previewdb大到唔擺出去唔得
2024-11-05 23:37:55
mac pro都 Lag.....
2024-11-06 00:05:37
你係咪十年無用過LR定係聽返嚟?
我main緊一個過十萬嘅cat,set好tune好workflow係唔會因為個lib太巨而被拖
個樽頸似係響其他位
2024-11-06 02:54:45
冇用五年
2024-11-06 10:27:26
請教下而家用緊MacBook pro m3 18gb
如果想買部Mac mini 放係屋企

如果係屋企MacBook 用WiFi 6 remote Mac mini 用Lightroom classic執下相,同輕度剪下片會唔會唔順?
2024-11-06 10:29:56
如果揀隻ssd+盒仔俾袋底mini你地會點揀
2024-11-06 10:32:52
請問有無Mac嘅casual user係Mac Mini駁電視/projector用?想知顯示出嚟嘅畫面係會唔會裁邊
2024-11-06 10:40:16
用緊 ACASIS TB3 enclosures + WD SN850x 8TB NVME
淘寶幾百蚊。 幾快.
2024-11-06 10:46:04
我以為會用tb4盒仔
2024-11-06 10:48:24
係 我個cat 放埋係外置
試下放番內置先
Lag主要係加得多brush同ai subject mask果陣

E家係一個旅行既相一個cat
試緊揀好哂相先入落lightroom 減少相既數量睇下會唔會好啲
吹水台自選台熱 門最 新手機台時事台政事台World體育台娛樂台動漫台Apps台遊戲台影視台講故台健康台感情台家庭台潮流台美容台上班台財經台房屋台飲食台旅遊台學術台校園台汽車台音樂台創意台硬件台電器台攝影台玩具台寵物台軟件台活動台電訊台直播台站務台黑 洞