做了个本地 LLM 网关,多渠道自动挑便宜又快的那个用,已开源

milkleeeeee 2026-07-15 00:00 1

Github: https://github.com/GetOptaris/optaris-desktop


我是个中转站重度用户,使用过程中发现没有哪一家能保证持久稳定,所以注册了很多家,而且由于怕跑路所以每一家都不敢充太多,我估计 v2 里也有人跟我一样。


我一开始使用 CC Switch 来管理我注册过的所有中转站,CC Switch 也带有一个本地网关,但是我用起来有几个问题:



  1. 它的路由是一个简单的顺序路由,从上往下这种,而我是希望能综合多种数据(价格、首 token 响应时间、token 生成速度等)来自动判断某个中转站的质量,然后自动路由至这个中转站

  2. 偶尔卡住,或者是 AI 模型抽风(比如我自己经常遇到 Opus 答非所问,v2 里也经常看到大家吐槽)的时候,我就很想看看请求是什么样的,到底是中转站的问题还是模型本身有问题,但 CC Switch 不提供这个功能。


于是,我自己动手做了一个本地网关,我给它取名叫 Optaris 。开源,macOS / Windows / Linux 都有安装包。macOS 还没做 Apple 公证,首次打开要运行一行命令( README 有写)。

最新回复 (3)
  • JarvisLee 07-15 00:33
    1
    https://www.v2ex.com/t/1227176
    那你今天可能会用到掺水的
  • HFX3389 07-15 01:55
    2
    `中转站重度用户` `自动判断某个中转站的质量` `自动路由至这个中转站`...

    大哥,你确定中转站给你的模型都是真的?光`价格、首 token 响应时间、token 生成速度`而已吗...换个模型这些东西都给你拉满
  • milkleeeeee 楼主 07-15 09:30
    3
    @JarvisLee 用中转站没法避免,我平时用 claude 反正代码能跑起来就行吧

    @HFX3389 不确定
* 帖子来源V2EX
返回