2. Linux.do
  3. 一般的开发电脑，用Qwen 3.8 27B跑编程，是不是不用想了

一般的开发电脑，用Qwen 3.8 27B跑编程，是不是不用想了

Nebula75 2026-08-18 04:34 1

比如我这台MacBook Pro是M4 Pro 24GB内存

如果首字上下文是20K，预计要等3分钟?

正常在100K左右上下文，速度也就10-15tokens/s?

总上下文设个128K

最新回复 (5)
  • 忘言 08-18 04:37
    1楼

    实测一下不就知道了，量化后是可以塞进你的设备的

  • helloergou 08-18 04:40
    2楼



    M5MAX 128GB Q8 这个速度

  • Nebula75 楼主 08-18 04:41
    3楼

    那肯定最高也就是个 Q4 啊，再低的话，感觉就打折的有点厉害。

  • Henry 08-18 04:44
    4楼

    统一内存的还是等MoE的模型吧，稠密模型跑着确实慢

  • enget 08-18 05:00
    5楼

    不用想了，看我的速度测试吧。m5max 顶配拿来跑 qwen-3.6-35b-a3b 都不行，速度非常慢，到后续 tps 只有 5，prefill 也 100 不到，没办法用的。


    https://linux.do/t/topic/2760506


    想爽用得买个 4090/5090 来。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐