2. Linux.do
  3. RTX3080 20G部署qwen3.8-flash-next-iq2_xs

RTX3080 20G部署qwen3.8-flash-next-iq2_xs

重度粉毛厨 2026-10-21 22:13 1



?!强强!?


等我晚上下载个IQ3_XXS试试咸蛋，感谢论坛各位佬此前的教程

最新回复 (14)
  • lemos 10-21 22:15
    1楼

    速度一般吧。

  • 重度粉毛厨 楼主 10-21 22:17
    2楼

    decode速度在100tps左右已经很强了吧

  • 小黄 10-22 10:26
    3楼

    哇靠？

    20G就能部署iq2？

    那我这96G显存，昨天跑了iq4占用70多G的显存，是有什么优化方案吗？

  • Ljj 10-22 10:28
    4楼

    他这个是正常的，他就是会把里面东西都塞满，能塞满的都塞满，它的 20G 显存之所以能跑是因为把模型分散到了其他地方，而你就是尽可能放在显存，还是要看速度

  • 小黄 10-22 10:31
    5楼

    原来如此！昨天看了，都在显存的话，速度28 token/s ~ 35 token/s 体验还不赖呢

  • Ljj 10-22 10:42
    6楼

    这么低吗那可能有点问题，我这边 48g 加 64 内存跑 iq4 有 140 左右

  • Ljj 10-22 10:42
    7楼

    用 strata 的吗

  • 小黄 10-22 10:43
    8楼



    害，这卡的cuda就6144，凑合能用

  • Ljj 10-22 10:43
    9楼

    我是 4090 48g 哈哈哈，挺爽的

  • 小黄 10-22 10:44
    10楼

    我看Codex直接给我用llama跑的？这是啥另外一种部署方式是吗？

  • Ljj 10-22 10:46
    11楼

    你直接问他就行，和他说查一下qwen3.8Flashnext 的 strata 是什么让他挑选合适的部署就好

  • 小黄 10-22 10:46
    12楼

    晚点我去试试，谢谢佬友的科普哇～

  • 中国人会飞 10-22 10:47
    13楼

    羡慕显存大的，我只能9060XT 50token/s在那里苟着了

  • fromxiaobai 10-22 10:48
    14楼

    这个量化，智商咋样

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐