GPT-5.6 出来后,我更关心的是:企业 AI 应用怎么快速接新模型?

EDDYANNNG 2026-07-12 13:45 1

周末浅浅谈一下~


GPT-5.6 的更新挺有意思。


这次不只是“模型更聪明”这么简单,像 Sol / Terra / Luna 分层、ultra mode 、subagents 、computer use 、coding / research 能力增强,其实都在说明一个趋势:大模型正在从单次问答,往更复杂的任务执行和 Agent 协作方向走。


但我自己在做企业 AI 应用相关项目时,感受比较明显的是:模型能力越强,企业侧反而越需要一个稳定的“接入层”。


因为真实项目里很少只用一个模型。


今天可能用 GPT-5.6 做复杂推理,明天用 Claude 做长文本分析,后天又想接一些开源模型、本地模型,或者把 Skills 、RAG 、Agent workflow 接进来。
如果每个业务应用都单独对接一遍 API ,后面维护会很痛苦。


我觉得企业 AI 应用真正麻烦的地方,通常不是“能不能调通模型”,而是这些问题:



  • 多模型怎么统一管理?

  • GPT 、Claude 、开源模型怎么快速切换?

  • 不同任务能不能走不同模型?

  • Token 用量和成本怎么统计?

  • Agent 执行过程怎么留日志?

  • RAG 召回和工作流怎么接在一起?

  • 权限和私有化部署怎么处理?

  • 后续模型升级时,业务应用能不能少改代码?


这也是我们最近在做 ZGI 的原因。


ZGI 已经开源两周左右,目前 GitHub 有 200+ Stars ,Gitee 也同步上线了。它不是一个单纯的聊天机器人壳子,更像是一个企业 AI 应用基础设施,主要做几件事:




  1. 知识库 / RAG
    把企业文档、知识库、召回链路接入 AI 应用。




  2. 可视化工作流
    把 Prompt 、知识检索、工具调用、条件判断、模型推理串起来,少写一些重复胶水代码。




  3. Agent 执行和运行日志
    Agent 不只是能调用工具,也需要知道它做了什么、哪一步出错、怎么回溯。




  4. 模型网关
    统一接 GPT 、Claude 、开源模型和私有模型。后续像 GPT-5.6 这种新模型,也可以通过模型网关更快接入,而不是每个应用都改一遍。




  5. 私有化部署与权限控制
    企业内部使用 AI ,很多时候数据安全、权限隔离、成本统计比 Demo 效果更重要。




我现在比较想听听大家的真实看法:


如果你们公司要接 GPT-5.6 / Claude / 开源模型,会倾向于每个应用自己接,还是统一走一个模型网关?
做企业 AI 应用时,你觉得最卡的是模型能力、RAG 效果、工作流,还是私有化部署?


ZGI 现在可以在 GitHub / Gitee 查询到,也欢迎直接提 Issue 或拍砖。我们现在最需要的不是夸,而是真实开发者反馈。

最新回复 (9)
  • EDDYANNNG 楼主 07-12 14:08
    1
    如果提 issue ,我们会有开发者小福利的,一些 token
  • JasonYip 07-12 14:22
    2
    网关层有没有脱敏的功能?比如对 prompt 里面的敏感数据自动脱敏 还能尽量不影响缓存命中
  • 111111111111 07-12 14:40
    3
    可以理解为一个 web 版的 agent 平台么,我也有类似的想法,正在使用 fastapi + acp + claude 手撸

    看来一下 github ,好像是自己实现了一个 agent runtime ,对 skill 、mcp 这些支持程度程度没看到,比大厂开源的 agent 有什么优势吗

    cloud.zgi.ai/login 没有提供账号也不允许注册,本来像预览一下的
  • wikisu 07-12 14:59
    4
    模型的话,我觉得用类似于 new-API 深度对接到系统里面,做好权限区分和隔离。这一套完全自己手搓的话,也太重了。这个如果只是 runtime 的话,市面上已经有其他很多 Agent 框架了,和这些功能都是重叠的吧? op 这个有什么群组或者联系方式吗?我最近也在搞类似的东西,可以一起交流下。
  • isSamle 07-12 15:02
    5
    从开发角度来讲,通常是会有一个对应的供应商和模型配置管理功能,所有的接入,监控,管控通过模型管理模块实现,然后在执行任务时,由用户自由切换,或者配置一个主管模型进行智能调度
  • yjxjn 07-12 17:22
    6
    这个本来不得先做 Gateway,然后模型路由么?然后 gateway 负责管理整个 app。向不同 app 分发么?包括用量,审计日志,权限,等等。
  • xiaoheicat 07-12 20:02
    7
    企业级还是会优先考虑 AI 网关的,这个日志审计,权限管控,费用预算,结构兼容都做的挺好,下游应用只管按 sdk 接入就行了
  • foxio2 07-13 07:02
    8
    大企业合规找戴尔,存储也搞定了
  • skuuhui 07-13 09:34
    9
    用阿里云自带的。
* 帖子来源V2EX
返回