缓存命中太大了,导致首Token很慢怎么办

ShawnZhong 2026-07-03 14:09 1

此贴不含任何推广信息




自己组的池子,为什么首字Token这么慢,是提高VPS还是应该加强CF?

最新回复 (7)
  • arcovery 07-03 14:12
    1

    改成流式,ws 估计你是同步模式 首字token计算错误吧

  • HeriX 07-03 14:13
    2

    什么叫 缓存命中太大了?

    缓存命中高只会提高首字速度,因为模型不需要重新计算这部分的kvcache

    你的问题应该是上下文太长了

    http请求需要比较久才能发完

  • ShawnZhong 楼主 07-03 14:32
    3

    那必须用的是ws,这上面的都是流式输出

  • ShawnZhong 楼主 07-03 14:40
    4

    那是不是我应该提高一下服务器的配置,比如加一下内存,或者是提高一下带宽?

    烦请佬友指教

  • HeriX 07-03 14:44
    5

    主要应该是带宽吧, 如果你的上游也是其他第三方, 多次中转效率会更低, 而且相互连接的速度就不是你自己VPS能决定的

    如果中间有网络不好的需要tcp重传的就更慢了

    可以试一下新开会话看看短上下文首字速度怎么样

  • 老饼 07-03 14:47
    6

    kiro以前不是没缓存吗 现在有了?

  • Max Verstappen 07-03 14:47
    7

    你这是中转别人的话可以自己直连那个中转试试,看看首字久不久,久的话就是上游问题不是你vps问题

* 帖子来源Linux.do
返回