2. Linux.do
  3. 公益网站轮动和自动排障思路参考

公益网站轮动和自动排障思路参考

Gary_AI-user 2026-09-18 09:14 1

比如Any/公益站这一类，假设有多个key，如何让各个key之间根据短时故障重试，长故障自动冻结，支持自动清理故障状态，支持手动解除故障状态（防止程序误判），支持手动冻结。切换key还要考虑工具调用和缓存命中，同话题尽量不切key。切换不能被故障状态锁死，上游故障要强行切换。要检查余额信息，低余额要减少权重，0余额要自动冻结不参与工作。


有没有比较成熟的程序可以参考？目前git上面很多都是只根据余额情况或者更简单的轮询。

最新回复 (6)
  • luotaylor 09-18 09:20
    1楼

    之前跟cpa提过类似意见，结果石沉大海，甚至连优先级高的使用完直接报错无法使用优先级低的上游都没有解决

  • 卡布奇诺 09-18 09:24
    2楼

    也许可以用那些中转网关的轮询和模型回退逻辑来改?例如9router和litellmproxy之类的

  • unreal233 09-18 09:26
    3楼

    Axonhub作为网关你说的大部分都能实现，小部分例如余额设置的二开一下就行了

  • Gary_AI-user 楼主 09-18 16:39
    4楼

    感谢佬的信息，我先研究一下人家的成熟经验。要是能做成一个模块让各种hub调用就好了。


    参考网页：


    axonhub/docs/zh/guides/load-balance.md at unstable · looplj/axonhub


  • I_Love_AI 09-30 17:52
    5楼

    佬，看下CCS的故障处理也许更成熟：

  • PennyGregory 09-30 17:53
    6楼

    这种感觉比较简单吧，ai随便整下就行

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐