2. Linux.do
  3. m4 air 32g部署qwen什么水平

m4 air 32g部署qwen什么水平

advent 2026-08-24 22:07 1

主要是一些对话场景或者轻度agent场景（写一些python之类的小脚本），想部署qwen3.8 27b。有佬试过吗？什么方案比较好？

最新回复 (7)
  • Scheme 08-24 22:08
    1楼

    100%烧大腿的水平

    慎用 ^-^

    得买pro


    而且27b老慢了

  • Lockboy 08-24 22:08
    2楼
  • 大馒头 08-24 22:08
    3楼

    24g的试过ollama，有点不够。整机卡卡的。32g应该强不少。

  • 4aiur 08-24 22:14
    4楼

    可以去hugging face上下载带mtp的mlx或者omlx的4bit量化试试。

  • advent 楼主 08-24 22:27
    5楼

    或者大家有什么其他推荐部署的本地模型也行～

  • 落寞书生 08-24 22:30
    6楼

    qwen3.6 35b a3b试下,速度应该不错,性能要差一点

  • lcpcsky 08-24 22:52
    7楼

    32G内存可以跑27b了，不过不管9b还是27b都烫得要命，不能放在腿上跑 ^-^

    区别主要是内存占用和吐字速度，9b的 25 tokens每秒，27b的大概 8 tokens每秒


    可以试试我搞的这个dsh和本地推理打包的开源项目：https://github.com/liangchen-harold/local-dsh

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐