2. Linux.do
  3. 求助佬友们，sub2api的首token延迟怎么优化呀

求助佬友们，sub2api的首token延迟怎么优化呀

show me ur beauty 2026-08-06 11:39 1

自己在公司搭了一个sub2api，给自己和认识的3个同时一起拼车用pro20x，服务器直接用的公司电脑，走公司内网，出口用的公司的wifi，大概120M，然后节点用的idc上买的一个美西节点


现在使用就是这里显示ttft很高，然后看使用记录里面，首字也正常，就是会波动，这是节点的问题吗，还是sub2api没配置好呀



最新回复 (4)
  • cc 08-06 11:46
    1楼



    节点问题。本身gpt有的上下文大就会占用带宽，你这还是拼车的，虽然是三网优化线路

  • Programmeray 08-06 11:49
    2楼

    把sub2api的TTFT的告警阈值调高一点 ^-^

  • bluesky600 08-06 12:21
    3楼

    把subapi部署到美西服务器上，然后用三网优化拉

  • eggman 08-06 12:23
    4楼

    节点问题占大头，拼车的话带宽分摊下来更紧张。要么换专线要么部署到美西，内网转发延迟太高了

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐