sub2api 负载均衡会导致缓存命中下降吗?

布洛妮娅总裁 2026-06-26 15:02 1

如图,假如 sub2api 里加了两个 codex 账号,默认的调度方式是什么(只在 codex 里使用的话)?


假如一个号满了切换到另一个号的这一次调用会有缓存命中吗?


有什么方式优化缓存命中问题吗

最新回复 (6)
  • Aerxz 06-26 16:22
    1

    插眼,好问题。我也想知道这个,等一个大佬解答

  • 睡小觉 06-28 17:33
    2

    设计上会实现尽可能不切号的目的,毕竟切换到另一个号就没有缓存命中了

  • sparky 06-28 18:08
    3

    默认是自动跟随上一个调用的号,在使用记录里可以看缓存输入大小

  • wjy 06-28 18:09
    4

    sub2api是粘性路由


    但如果一个号的额度耗完了,切另一个号缓存就没有了

  • 行思渐远 06-28 18:19
    5

    下载项目,让ai给你分析下sub2api的缓存逻辑。


    有几点你是要先清楚的

    1.缓存不是永久有效,以claude为例,有5分钟和1小时滚动缓存,什么叫滚动缓存,就是随着时间推移,新内容进来旧内容会丢失,缓存重新生成然后计费。


    2.缓存优化一般就是给聊天生成一个唯一标识,与账号绑定,能在第一点的基础上,尽可能将会话在之前绑定的账号上继续。


    3.当缓存超过时间百分百确定会失效的情况下,调度到哪个账号都无所谓了,一样的初始化创建成本。


    4.如果时间赶的非常巧,一个账号额度不足以支持继续聊天,不想被阻断就只能切换账号,这种会相比一个账号付出额外的缓存初始化操作,优化的方向也就是减少在滚动缓存有效时间内切换账号次数更靠谱。


    其它就自己研究吧,中转都大差不差,缓存这东西也能随便造假,要是中转站之间对比都不一定是真的

  • Astralyn 06-28 18:46
    6

    OpenAI 的缓存似乎是可以跨账号进行的,重点是看缓存内容的哈希值,不过缓存机制本身也不能保证时效(

* 帖子来源Linux.do
返回