2. Linux.do
  3. 想问下各位佬怎么提高模型的速度

想问下各位佬怎么提高模型的速度

5seacoffee 2026-09-26 09:31 1

和其他佬拼车的Pro20X，通过SUB2连接到我的ccswitch，平常是通过CodeX桌面版使用，我发现一个问题：对话刚开始很快，但第一次compact还没有进行的时候，可能上下文达到一半左右，首字就开始变得很慢。平常首字大概有40秒


我让AI查了一下，它说这很正常。但我感觉，总不可能一次还没有压缩、上下文也没有很长的时候，首字就已经变得这么慢吧



想问一下各位大佬，怎么可以自查一下，或者解决一下这个问题？还是说这是正常现象

最新回复 (2)
  • 還sんì吥懂 09-26 10:02
    1楼


    佬友看看我这个 ^-^ 完全是夹缝中求生存 （Astra都没怎么上过40tps，都是15-35之间徘徊）说是websocket会提高性能，好像也没啥区别


    我看看sol，好像稍微快一丢丢

  • linmao 09-26 10:04
    2楼

    6 astra一直都是这个速度，最多也就是30左右TPS

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐