sub2api 负载均衡会导致缓存命中下降吗？

插眼，好问题。我也想知道这个，等一个大佬解答

设计上会实现尽可能不切号的目的，毕竟切换到另一个号就没有缓存命中了

默认是自动跟随上一个调用的号，在使用记录里可以看缓存输入大小

sub2api是粘性路由

但如果一个号的额度耗完了，切另一个号缓存就没有了

下载项目，让ai给你分析下sub2api的缓存逻辑。

有几点你是要先清楚的

1.缓存不是永久有效，以claude为例，有5分钟和1小时滚动缓存，什么叫滚动缓存，就是随着时间推移，新内容进来旧内容会丢失，缓存重新生成然后计费。

2.缓存优化一般就是给聊天生成一个唯一标识，与账号绑定，能在第一点的基础上，尽可能将会话在之前绑定的账号上继续。

3.当缓存超过时间百分百确定会失效的情况下，调度到哪个账号都无所谓了，一样的初始化创建成本。

4.如果时间赶的非常巧，一个账号额度不足以支持继续聊天，不想被阻断就只能切换账号，这种会相比一个账号付出额外的缓存初始化操作，优化的方向也就是减少在滚动缓存有效时间内切换账号次数更靠谱。

其它就自己研究吧，中转都大差不差，缓存这东西也能随便造假，要是中转站之间对比都不一定是真的

OpenAI 的缓存似乎是可以跨账号进行的，重点是看缓存内容的哈希值，不过缓存机制本身也不能保证时效（