目前本地运行最合适的模型是哪个

Mjy713 2026-06-25 07:03 1

刚看到一篇帖子,说在macmini上跑glm5.2,3-9tok/s,几乎不能用。所以哪个模型是本地跑最有性价比的,速度可以在20-30之间,又不至于太拉胯。

最新回复 (2)
  • BOM 06-25 07:20
    1

    那得看机器啥配置吧。不过,Mac mini 最大内存也才 64G,根本跑不了 GLM-5.2 吧,哪怕是量化版。

  • HeriX 06-25 07:28
    2

    macmini上还能跑GLM5.2? 这可是700多B的大模型

    本地可以试试qwen3.6 27B, 或者gemma4 31B

    看你的内存显存而定, 如果追求速度可以试下qwen3.6 35B A3B

* 帖子来源Linux.do
返回