想做一个模型自动路由的工具 大家有什么建议吗？

现在这种工具很多, ccswitch, opencodex, codex++ 等等等

之前日本有个所谓的“SOTA模型”好像就是这种，他的路由都是经过专门训练的

我记得ccs好像没有这个功能吧。

ccswitch我用过，但是似乎没法做到我想要的根据场景自动切换模型，比如简单问题调用低级模型，复杂问题调用更强的模型

不同大厂也有类似的模型路由工具，但一般只限于一部分模型（比如字节的auto），我想做一个可以覆盖市面大部分主流模型的工具并平衡模型的成本，响应速度和回答质量。并且在不同使用场景下自动调用合适的模型。大家有什么建议吗？

你需要的是一个routerllm或者训练一个encoder only的小模型来干这个事情，自动路由目前确实体验都挺一般的

对的，我目前思路就是用小模型来自动路由

感觉省不了多少，用最强的就是最省我觉得

缓存命中怎么解决呢？换模型会导致缓存清空吧。

支持，我也有这样的想法，之前看了很多模型路由的例子和使用场景，要做这个还是要考虑很多，我也在想应该怎么做，做成什么样，应用人群是哪些，如何控制成本，如何在不同模型之间进行无损切换？缓存价格如何收取？

一个思路，分别用Qwen-2B/0.8B模型训练，最后添加一个自定义的Routing Head，最后一曾hidden state接一个MLP然后输出weak/Strong,然后用2B模型做教师模型蒸馏优化0.8B模型，最终把0.8B作为路由模型

你说的是cursor aotu吗

在这种场景中，上下文不是割裂的，上游模型收到的还是完整的信息，只是由路由模型判断将当前的上下文发给哪个模型上游。路由模型只做强弱判断，不做处理

这种工具意义不大，因为你要判断任务的难易你肯定要接一个审核模型，这个审核模型如果选择智商高的，那么它的思考时间就长，所以你每发一条命令，其首字响应时间都会很长。而你如果选择一个快速模型，它的智商又不高，那它的判断能力就又很差，到时候乱路由

你说的这个方案， cloudfare好像是有路由的设置，我之前劈到过一眼，不知道是否有类似的功能

我是直接把ros的ssh账号密码丢给ai接管。

爱快做多线多拨，op做出国，ros做爱快下游和管理ap。

舒服稳定。张张嘴就搞定了，然后飞牛用来玩各种docker，那些。在弄个德班12和乌班图。齐活了。

你说的路由是ccs吗？我理解错了

如果从服务提供商的角度出发我认为 模型路由不是什么好事。

简单说， 用户选择了这个模型来回答特定问题，而你却给路由到了某低思考模型。

路由模型本身不是通用模型，是利用路由数据训练的单独模型，不是通过大模型来判断下一跳

你看看题主的需求，他似乎就是想做一个智能判断下一跳的工具

对啊，就是路由模型，你可以看一下关于SWE-Router、RouterAgent相关的文章，是挺有意思的研究，我个人认为很有价值，特别是模型这东西边际效应明显