自建 AI 网关将 api key 聚合成一个有用吗

Sky390 2026-08-18 12:17 1

如题,看到佬友的 All API Hub 上有个统一 API 设置,想问问自建 AI 网关将 api key 聚合成一个有用吗,会不会掉速?我用的大部分都是中转站。

最新回复 (11)
  • 𝓫𝓪𝓷𝓵𝓪𝓷 08-18 12:19
    1

    做一个调度策略,该降级降级,该冷却冷却,应该就行了吧,只不过别把能力差太大的聚合到一起 ^-^

    比如ccload

  • Sky390 楼主 08-18 12:21
    2

    需要放服务器上面吗?可以在本地跑吗

  • Scheme 08-18 12:21
    3

    我不喜欢这样 我就喜欢一个好用的渠道猛猛用,然后知道自己在用什么渠道


    不过你可以有个这样的网关,就算是手动切换也是不错的

  • 𝓫𝓪𝓷𝓵𝓪𝓷 08-18 12:21
    4

    都可以啊,就你自己用的话下个可执行程序在本地用就行了

  • Sky390 楼主 08-18 12:24
    5

    还想问问比起散渠道有啥优势啊。

  • 拓真 08-18 12:26
    6

    只会增加点延迟 好处就是你策略写的好可以做到负载均衡 不间断的蹬

  • 𝓫𝓪𝓷𝓵𝓪𝓷 08-18 12:27
    7

    你如果想很多个渠道很多个模型都用的话,可以整个网关路由到一起。

    只有一个渠道的话,你想看一些更详细点的日志分析的话也可以放到网关用

    路由到一块的模型能力差距不要太大了,不然用起来也挺难绷的(神区二相性)

  • icheer 08-18 12:28
    8

    我也不想混合不同渠道暴露相同模型,这样感觉很黑盒。所以我的new-api用tencent/deepseek-v4-flash || nvidia/deepseek-v4-flash 这样的{渠道id}/{模型id} 来做重定向,使用的时候也知道自己正在用哪个渠道的模型

  • 诸葛御风 08-18 12:33
    9

    new-api能自动冷却和熔断及重试吗?

  • jue 08-18 12:37
    10

    好用啊,cliproxyapi呗,我还以为谁都会搞一个呢,好处就是token统计、还有方便管理。

  • icheer 08-18 12:47
    11

    每个渠道是支持"自动禁用"的 (上游特定状态码时触发自动禁用,应该就是你说的熔断), 但一旦禁用似乎并不支持自动启用了 (禁用就是禁用,除非手动启用);


    系统设置里支持"重试次数";

* 帖子来源Linux.do
返回