2. NodeSeek
  3. 中午回家给2个2080ti加了nvlink

中午回家给2个2080ti加了nvlink

dtfour09 2026-09-29 13:50 1

速度起飞了，之前qwen3.8 q8 只有20多现在直线到了50+ 了。


开mtp到70+了。


但是丢到 + 5070ti 和 另外一张x4的2080ti 速度就下去了。

最新回复 (5)
  • 九月 09-29 13:55
    1楼

    2个2080ti听说很能打

  • Arson3997 09-29 13:57
    2楼

    可以

  • dtfour09 楼主 09-29 13:59
    3楼

    --ctx-size 131072

    --parallel 1

    --device CUDA0,CUDA1

    --split-mode tensor

    --gpu-layers auto

    --batch-size 1024

    --ubatch-size 256

    --flash-attn on

    --cache-type-k f16

    --cache-type-v f16

    --reasoning on

    --spec-type draft-mtp

    --spec-draft-n-max 3

    --spec-draft-type-k f16

    --spec-draft-type-v f16


    有佬看看哪些参数可以优化的吗

  • wzx 09-29 14:37
    4楼

    魔改22g显存吗？两个就是44g

  • dtfour09 楼主 09-29 14:38
    5楼

    @wzx #4 是的

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐