2. Linux.do
  3. 缓存命中太大了，导致首Token很慢怎么办

缓存命中太大了，导致首Token很慢怎么办

ShawnZhong 2026-07-03 14:09 1

此贴不含任何推广信息




自己组的池子，为什么首字Token这么慢，是提高VPS还是应该加强CF？

最新回复 (7)
  • arcovery 07-03 14:12
    1楼

    改成流式,ws 估计你是同步模式 首字token计算错误吧

  • HeriX 07-03 14:13
    2楼

    什么叫 缓存命中太大了?

    缓存命中高只会提高首字速度,因为模型不需要重新计算这部分的kvcache

    你的问题应该是上下文太长了

    http请求需要比较久才能发完

  • ShawnZhong 楼主 07-03 14:32
    3楼

    那必须用的是ws，这上面的都是流式输出

  • ShawnZhong 楼主 07-03 14:40
    4楼

    那是不是我应该提高一下服务器的配置，比如加一下内存，或者是提高一下带宽？

    烦请佬友指教

  • HeriX 07-03 14:44
    5楼

    主要应该是带宽吧, 如果你的上游也是其他第三方, 多次中转效率会更低, 而且相互连接的速度就不是你自己VPS能决定的

    如果中间有网络不好的需要tcp重传的就更慢了

    可以试一下新开会话看看短上下文首字速度怎么样

  • 老饼 07-03 14:47
    6楼

    kiro以前不是没缓存吗 现在有了？

  • Max Verstappen 07-03 14:47
    7楼

    你这是中转别人的话可以自己直连那个中转试试，看看首字久不久，久的话就是上游问题不是你vps问题

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐