大家现在 AI Agent 都是怎么管理多个大模型的?

EDDYANNNG 2026-07-02 17:32 1

大家好,我是 ZGI 的产品运营 Eddie 。


最近我们把 ZGI 开源了,正在继续打磨里面的一些企业 AI 运行能力。
我自己最近比较关注一个问题:当一个团队同时用 GPT 、Claude 、DeepSeek 、Qwen 、Gemini 这些模型时,到底应该怎么管理?


一开始可能没什么感觉,大家各用各的 API Key 、各接各的平台。
但项目多了以后,问题会慢慢出来:


API Key 到处散落;
谁在用哪个模型不清楚;
Token 花在哪不好统计;
高阶模型谁能用、谁不能用也不好管;
想切模型或者统一调用入口,也会变得很麻烦。


我们在 ZGI 里做了一个 Model Gateway ,想把多模型接入、调用、权限、Token 统计这些放在一起处理。
但说实话,这块我们也还在持续优化,所以很想听听大家真实的使用经验。


想请教几个问题:


你们现在是怎么管理多个模型的?
API Key 一般放在哪里?
Token 成本会做统计吗?
团队里会限制谁能用 GPT / Claude 这类高阶模型吗?
有没有遇到过模型切换、账单归因、权限管理方面的坑?


如果你也在做 Agent 、RAG 、工作流、多模型接入这类东西,欢迎一起交流。
不一定要夸,也非常欢迎直接拍砖。哪些地方设计得不合理、哪些功能看起来没必要、哪些文档看不懂,都可以直接反馈给我。


我更希望能和大家深度聊聊:企业里的 AI Agent 到底需要什么样的运行环境,才是真的能长期用下去。


如果有人感兴趣,我可以在评论区放一下 ZGI 的 GitHub 和官网地址。

最新回复 (1)
  • zisen 07-02 19:48
    1
    我用 cpa 或者 axonhub 的时候,如果 claudecode cli 更新了或者 provider 更新了,就会导致暂时的不可用
* 帖子来源V2EX
返回