《为什么现在很多AI系统都开始做“模型路由层”?》

NeoAI 2026-07-04 09:15 1

最近在做多模型调度的时候,一直在思考一个问题:

为什么现在越来越多系统不直接调用单一模型,而是做“路由层”?

我理解的大概是这样:

传统方式:

用户请求 → 直接调用某个模型

现在方式:

用户请求 → 路由判断 → 选择最合适模型 → 返回结果

路由层的核心价值:

① 成本控制

不同模型成本差异很大

② 稳定性

某个模型挂了可以自动切换

③ 性能优化

简单问题用快模型,复杂问题用强模型

本质变化:从“用模型” → 变成“调度模型”

目前还在继续研究这块,有进展再更新。

最新回复 (2)
  • shaolonger 07-04 10:13
    1

    因为从工程的角度来说,可以分开维护,不同领域解耦。

  • sv6cr 07-04 10:19
    2

    以下都是我瞎猜的


    因为能使AI更聪明


    这是经验主义得出的结论


    至于为啥能使AI更聪明?


    连AI本身就是玄学炼丹,你还指望有啥理由吗,没有理由,经验主义走到死吧

* 帖子来源NodeSeek
返回