2. Linux.do
  3. 佬们你们有实现编程CLI智能路由吗?有什么方案

佬们你们有实现编程CLI智能路由吗?有什么方案

Haku271 2026-06-15 08:37 1

我想通过一个模型去根据用户问题判断难度然后分配模型,主要还是puls额度太低了.


ai给出了几种方案

一种是CPA + Judge转发


还有一个复杂的是

入口：Caddy

路由服务：FastAPI 或 Go

模型网关：LiteLLM Proxy

状态：Redis

判断模型：GPT-5.4 nano

疑难复核：GPT-5.4 mini

OpenAI调用：转发 Codex ChatGPT认证

其他模型：独立 API Key

路由策略：三档模型 + reasoning_effort

会话策略：首次判断，整段任务固定


想问问佬们有没有有搞过这方面的

最新回复 (6)
  • NumPy 06-15 08:53
    1楼

    这样折腾怕不是体验不好，又要花掉更多token

  • Huagnqf 06-15 08:59
    2楼

    这样的话，应该没有什么缓存吧，那岂非更贵

  • Ricardo H. 06-15 09:12
    3楼

    几个问题，5.4nano 好像没了？然后我记得 littlellm 好像更合适那种本地部署的模型拿出来用 api 的情况，如果你是纯 api 的情况其实用 newapi/sub2api 等项目更合适，然后就是资费问题，切模型没有缓存，感觉好一点的解决方案是 subagent 用 deepseek

  • raythunder 06-15 09:18
    4楼



    之前用 grok 调研的

  • scvxzf 06-15 09:20
    5楼

    其实已经有了，举个栗子就是让gpt5.5xh带着子代理推进任务，开出来的子代理基本上都是5.4/5.4mini，由主模型主观判断

  • lydqmf 06-15 09:21
    6楼

    我也试过这样，缓存是一点都没有的

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐