2. Linux.do
  3. 类似litellm、newapi平台求推荐

类似litellm、newapi平台求推荐

Conrad 2026-04-28 17:35 1

公司主要接入bedrock，openai，Anthropic，Openrouter,火山方舟，deepseek，google vertex，都是通过官渠接入

主要需求：



  • 通过key或者认证文件接入后可以在通过自定义key分发

  • 控制key可以使用的模型

  • 调用方式统一

  • 可以看到自定义key的token用量信息，费用信息

  • 最好还可以看到调用请求的日志（请求内容/大模型回复内容）因为是公司内部用


公司已经在用litellm了，没用newAPI是因为统计用量信息太少

求推荐其他好用的开源平台

手里还有一个两个月到期的^-^，每月800G流量，问题一经采纳，赠送以作感谢 ^-^

最新回复 (11)
  • Alixy 04-28 17:46
    1楼

    Helicone、Portkey、Bifrost ^-^

  • lekai 04-28 17:55
    2楼

    自建 axonhub 感觉不错。—— 主要是我挺喜欢他的追踪功能。

  • Conrad 楼主 04-28 18:07
    3楼

    收到，感谢，体验后反馈，大概看了一下，感觉Helicone还不错，部署一下，体验后反馈

  • applefood 04-28 18:50
    4楼

    佬可以试试这个 还在开发中 但偏向个人使用 【开源】LLMRelayService —— Docker 部署个人大模型网关

  • 不会敲代码的ai程序员 04-28 19:16
    5楼

    sub2api?cliproxyapi?

  • Conrad 楼主 04-29 10:15
    6楼



    cpa和sub2api能接入的都太少了，我们也主要是通过apikey的方式接入

  • freeagentic 05-12 12:05
    7楼

    用litellm 得自己做网关，否则litellm 统计出来是一坨。不知道有没有什么好用的第三方开源的网关呢

  • sugarbliss 05-14 09:36
    8楼

    佬，Helicone 体验的怎么样？

  • Conrad 楼主 05-14 10:37
    9楼

    docker镜像挺大的，下了挺长时间，起来之后，没找到我想要的需求点，可能是项目默认配置不支持这些功能，没细研究，手头有别的活就搁置了，记得当时docker compose up -d的时候，项目也有一点问题，用ai改了改才启动起来

  • MingShun 05-16 03:03
    10楼

    litellm因为啥想换了

    感觉推荐的很多

  • HshavHsuzg 08-18 20:34
    11楼

    Helicone



    我们现在内部使用，接入不同厂商的API或者token plan,希望对多个token进行轮询，也想搞个开源或商业的网关。那我最后选择哪个工具呢？

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐