佬们,想入收台m2 max 96g的mac,能帮忙分析一下嘛,现在就特别的上头

huogo 2026-06-23 16:34 1

最近对消融版模型挺感兴趣的，现在用的是 M1 Pro 32G，正在跑千问 3.6 35B 消融模型。想请教一下，如果换成 96G 内存的话，目前本地能跑的效果最好的消融版模型大概是哪一个？

另外我看闲鱼上 96G 的机器现在大概 1.6 万左右，这个价格值得换吗？主要想知道相比 32G，实际体验提升大不大，是否值得为了本地跑大模型升级

最新回复 (19)

yricky 06-23 16:36

1楼

个人观点，现在所有mac跑大模型都是玩具，上下文一长ttft根本无法接受
rainchan 06-23 16:38

2楼

个人觉得旧架构的CPU不一定能高效运行新的模型，也许租卡才是更好的办法
带珍珠耳环的少女 06-23 16:40

3楼

我脚得，没必要，不如老老实实订阅，自己的小机器，能比得上云资源集群么？
YUhome 06-23 16:41

4楼

自从没有了公益站，一切ai 工具都歇菜了，人也停工了哈哈哈
huogo 楼主 06-23 16:42

5楼

感谢佬们,感谢L站，为我省下了1.6w ^-^
EVELance 06-23 16:44

6楼

买M5Max可解 ^-^

M5Max的GPU里加了tensor单元，大幅优化了TTFT

老的M芯片确实不行，自己玩玩图一乐就行了。我现在M1Pro 32G跑的 Qwen3 4B，用来给STT润色
huogo 楼主 06-23 16:44

7楼

不过话说回来，之前我用codex接本地消融模型，一个指令给我打开个8个涩涩网站，我大受震撼
yricky 06-23 16:45

8楼
另外，关于能跑什么大模型，有一个相对通用的计算方式：
1. 模型尺寸+10G < 你的显存（统一内存）体积，基本就能跑起来
2. 显存带宽/模型激活参数占用的体积 ≈ 每秒Token数量
skytoup 06-23 16:45

9楼

我有台M2 128GB, 跑LLM有点慢
huogo 楼主 06-23 16:49

10楼

我去，还有128g的啊，还以为96g的就是上限了
huogo 楼主 06-23 16:50

11楼

好滴好滴学习啦学习啦感谢佬的分享
huogo 楼主 06-23 16:51

12楼

指令就是：用谷歌浏览器打开8个色色网站，我要起飞（确真）
信 06-23 16:52

13楼

我的建议是保持现状，把省下来的钱一大半拿来买token，一小半拿来spa，让工作和生活双重开花
skytoup 06-23 16:55

14楼

M2内存最高配记得是150+GB把
huogo 楼主 06-23 16:56

15楼

哈哈哈哈信佬中肯买了这台mac 我得省吃俭用好几个月
huogo 楼主 06-23 16:56

16楼

我去我得好好研究一下这台性价比实在是太高了又上头了哈哈哈
十万大山的山大王 06-23 16:57

17楼

Abliterated 版的选择 Huihui-AI 的或者 Heretic 的。其他的就不用看了。
M 保姆大人 06-23 16:57

18楼

为了跑本地模型不值当当做玩具罢了能跑但是不代表你能接受速度
CzbCoco 06-23 16:59

19楼

???什么指令，交出来