LLMRelayService:比 NewAPI 更轻量的大模型网关

guojam 2026-06-28 00:45 1

最近频繁在 CodingPlan 、官方渠道间切换,折腾了 NewAPI 。但 NewAPI 的设计更偏向于中转站运营,配置繁琐,对个人自用来说显得过重(往往不需要复杂的注册、邀请、令牌分组等概念)。


结合自己的实际需求,我写了一个更适合个人自用的网关:LLMRelayService


核心特性




  1. 格式透传,原生兼容
    只做 chat/responses 间的最小化转换,彻底避免因格式二次转换带来的各种模型兼容性问题。




  2. 请求全文记录(全量日志)
    完整记录请求的 Full-Text ,非常适合翻阅日志排查问题。例如可以清晰看到 OpenClaw 或 Hermes 请求到底发了什么,揪出那些携带了大量、不必要的上下文。


    日志详情




  3. 渠道与路由分离(智能回退)
    显式支持渠道和路由解耦。用户可以灵活定义 Alias(模型别名)以及设置模型自动回退( Fallback )机制,确保服务高可用。


    模型管理
    路由配置




  4. 内置轻量控制台
    自带可视化面板,用量数据、请求趋势一目了然。




LRS 监控面板


项目地址


🔗 GitHub 仓库:GoJam11/LLMRelayService


如果这个项目对你有帮助,欢迎帮忙点个 Star 支持一下!

最新回复 (6)
  • xinyana 06-28 08:26
    1
    数据库有点重了
  • getadoggie 06-28 10:43
    2
    支持一下。不知道 api 不可用时重试机制是怎样的?希望能自定义
  • guojam 楼主 06-28 11:39
    3
    @getadoggie 回退可以到别的模型 方便薅羊毛
  • xialaoban 06-28 11:42
    4
    确实,数据库有点重了
  • guojam 楼主 06-28 12:17
    5
    @xialaoban pg 在服务器还好 就 100m 占用 是想不用 compose 也能部署吗
  • PowerDi 06-28 20:41
    6
    两个协议更新的频率太快了 newapi 和 sub2api 都经常频繁更新,我们有精力持续维护吗
* 帖子来源V2EX
返回