2. NodeSeek
  3. 我的5070ti + 2080ti 22g qwen3.8 27b只有50~70ts。

我的5070ti + 2080ti 22g qwen3.8 27b只有50~70ts。

dtfour09 2026-08-24 11:23 1

是不是因为开了512k上下文的缘故。


还有一个更重要的缘故，pcie插槽没办法拆分成4.0 x 16 x 2 ，只能3.0 x 16 x 2，因为还有一个pice 3.0x 16 转成了 8 x m2硬盘位置。 ^-^ ^-^

最新回复 (23)
  • lomi113 08-24 11:24
    1楼

    大概率是

  • dtfour09 楼主 08-24 11:26
    2楼

    @lomi113 #1 如果是中文速度还得慢一半。 ^-^

  • jahguleth 08-24 11:27
    3楼

    还能两个显卡一起助力？

  • dtfour09 楼主 08-24 11:28
    4楼

    @jahguleth #3 额。

  • jahguleth 08-24 11:28
    5楼

    @dtfour09 #4 发布于2026/8/24 11:28:01

    @jahguleth #3 额。


    我不太懂啊 ^-^

  • dtfour09 楼主 08-24 11:30
    6楼

    @jahguleth #5 我也不太懂，看看论坛有没有大佬。我的梦想是12通道 eypc + 一张a100 80g + 512gddr5

  • JH-hhh 08-24 11:33
    7楼

    512k上下文？我20g显存只能开26k上下文，40ts

  • dtfour09 楼主 08-24 11:35
    8楼

    @JH-hhh #7 我是俩卡，16g + 22g

  • megatron 08-24 11:35
    9楼

    dflash2 开了试试？

  • dtfour09 楼主 08-24 11:36
    10楼

    @megatron #9 没开。中午回家试试看看。

  • 江郎才尽 08-24 11:38
    11楼

    512太高了吧


    我发现好多拿2080ti部署的，这卡这么吃香了

  • dtfour09 楼主 08-24 11:41
    12楼

    @江郎才尽 #11 因为2080ti 是比较便宜的22g，不需要魔改驱动。

  • 挪威norway-4498 08-24 11:42
    13楼

    上下文的问题。

  • jahguleth 08-24 11:44
    14楼

    @dtfour09 #6 发布于2026/8/24 11:30:34

    @jahguleth #5 我也不太懂，看看论坛有没有大佬。我的梦想是12通道 eypc + 一张a100 80g + 512gddr5


    我本来有个7642epyc 256ddr4 3200 一张3090 ^-^

  • dtfour09 楼主 08-24 11:46
    15楼

    @jahguleth #14 有试过大模型的速度咋样吗

  • jahguleth 08-24 11:47
    16楼

    @dtfour09 #15 发布于2026/8/24 11:46:09

    @jahguleth #14 有试过大模型的速度咋样吗


    内存涨价 我就卖了 ^-^

  • dtfour09 楼主 08-24 11:53
    17楼

    @jahguleth #16 赚啊。 ^-^

  • dtfour09 楼主 08-24 13:38
    18楼

    @megatron #9 效果不太明显，中文输入的时候提高了2-3ts

  • megatron 08-24 17:58
    19楼

    @dtfour09 #18 MTP 有比较过 这两个的差距嘛？ MTP 和 DFlash2 . 你用的是 z-lab 的 draft model 嘛？

  • dtfour09 楼主 08-24 18:00
    20楼

    @megatron #19 原因是pcie 3.0 x 16的通道

  • asasxixi 08-24 18:02
    21楼

    哪个量化，什么推理框架？

  • megatron 08-24 18:09
    22楼

    @dtfour09 #20 pcie3.0 确实速度不够快

  • dtfour09 楼主 08-24 19:05
    23楼

    @megatron #22 拆分不了了，不拆成3.0 x 16 不识别第二张卡，板子的问题。

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐