2. Linux.do
  3. 想部署qwen3.8 27b，大佬们推荐个版本，dell7920工作站，RTX3090 24G*2，内存128

想部署qwen3.8 27b，大佬们推荐个版本，dell7920工作站，RTX3090 24G*2，内存128

wind 2026-10-01 10:42 1

部署qwen3.8 27b，大佬们推荐个版本，dell7920工作站，RTX3090 24G*2，内存128，单卡时候45-50t/s，双卡上下文256k了，速度还是50-60ts没啥提高，这咋办？画个鹧鸪骑自行车，5分钟以上，效果可以。用的q4 kvq8-0,有什么好办法提升速度吗？没有nvlink

最新回复 (7)
  • HogskinKitty 10-01 11:05
    1楼

    开MTP没有？我单卡V100-32G的Q4_K_M，kv-cache也是用的q8_0，开启MTP，256k上下文，速度也有45tok/s

  • 天天开心 10-01 11:06
    2楼

    让astra给你优化，我昨晚把qwen3.8-flash丢给他优化效果很不错

  • wind 楼主 10-01 11:06
    3楼

    开了呀，让ai部署的

  • wind 楼主 10-01 11:08
    4楼

    有astra，佬，既不本地部署了。囊中羞涩呀

  • leioukupo 10-01 11:19
    5楼

    hyperqwen这个部署框架不错


    我单3090也能跑一个不错的质量

  • W1nge 10-01 11:33
    6楼

    要不然研究一下Strata这个项目

    佬这个配置都可以直接部署 Qwen3.8 flash next Q6 了


    如题
    Reddit 老哥给 Qwen3.8 flash next 开发了一个专用推理引擎 Strata
    在同样的 5070 12G + 64G 5600内存 + 六核 7600 CPU 配置下能够跑到
    Q2_0 → 65.1 tps decode + 543 tps prefill
    IQ2_XS → 52.0 tps decode + 472 tps prefill
    IQ3_XXS → 44…
  • W1nge 10-01 11:35
    7楼

    当然如果只编程的话 可能还是27b要好一些。

    但同Q6下面 27b的Kv cache会比较受限

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐