【喵喵公益站】新增网关处理空回复等功能

喵喵喵丶喵星人 2026-06-30 17:45 1


站点:https://new-api.rugao.me
共享渠道:渠道共享
加入映射了,可能要重新配置



增加了灰度测试(先插入了50个key进行测试),参考大佬叫我小杨同学的帖子,增加了英伟达网关


网关功能:




  1. 把 NVIDIA Key 统一接到一个网关里



    • 50 个 NVIDIA Key 不再直接分散在 New API 渠道里跑。

    • 现在通过渠道 英伟达网关灰度nvidia-api-gateway

    • New API 只看到一个灰度渠道,后面由网关负责调度这些 NVIDIA Key。




  2. 降低单 Key 并发,减少空回复/卡死概率



    • 单 Key 并发降到 1

    • 关闭代理池,直接用当前香港服务器连 NVIDIA。

    • 保留重试机制:失败会换 Key/重试,避免某个 Key 或某次上游异常直接把请求打死。




  3. 拉长等待时间,适配慢模型



    • 请求超时、流式空闲超时都拉长到 1800 秒

    • 首包等待是 45 秒

    • New API 和 Nginx 也配了更长的流式超时,减少 client_gone




来几个大佬进行测试一下吧,有啥问题提出来,我这边在进行修改

最新回复 (14)
  • dfeiwej 06-30 17:50
    1

    非常感谢提供公益站,晚点回去试一试

  • zariba 06-30 17:52
    2

    感谢佬,已经给群机器人用上了,比之前自己一个key接老黄稳多了

  • sinaparker 06-30 17:56
    3

    佬行动好快,我要不要再加几个key支持下,话说我昨天提交的,今天再提交为什么提示我已达当日最大提交次数,是时区问题吗?

  • 喵喵喵丶喵星人 楼主 06-30 17:57
    4

    为什么提示我已达当日最大提交次数



    我这边看下共享渠道,感觉是有点问题

  • 喵喵喵丶喵星人 楼主 06-30 18:04
    5

    已经处理好了,当前默认的最大提交次数是10次,后台提交key的时候NVIDIA 验证超时/失败几次,算提交几次,所以才会报这个错误,已经处理好了

  • 叫我小杨同学 06-30 18:05
    6

    怎么样了,测试结果,是否能够转发

  • sinaparker 06-30 18:05
    7

    好的,我晚点再提交几个老黄的,让佬们猛猛淦起来

  • 喵喵喵丶喵星人 楼主 06-30 18:06
    8

    我这边自己测试的,挺不错的,dsv4pro在5s内,可能用的人少,等明天看下各位佬的问题,如果没有问题我这边所有的key都走网关策略了

  • sinaparker 06-30 18:13
    9



    啊,又来这个了了,是哪里要改吗?

  • 喵喵喵丶喵星人 楼主 06-30 18:18
    10

    共享渠道 Key 失效,我加一个策略吧,403直接跳过

  • sinaparker 06-30 18:21
    11

    好的,这个报的概率我这边挺高的,还有个疑问,站里面有缓存命中这个吗?我看日志都显示160一样

  • xiaobao 06-30 18:21
    12

    (帖子已被作者删除)

  • ooii 06-30 19:07
    13

    我这里的ds好慢,是需要重新配置key吗,请问

  • ooii 06-30 19:15
    14



    猫猫老师,现在deepseek有点慢哦,不知是怎么会是

* 帖子来源Linux.do
返回