关于大模型本地中转站的一点问题

tyshine 2026-08-18 08:14 1

佬们,我们公司本地用vllm部署了大模型,现在想的是部署个中转站来管理,毕竟vllm的api key不能直接给员工用。想要通过中转站来统一管理,我试了下new-api感觉效果不是很理想,有什么中转站可以限制不同人的性能,TPM等的啊?

最新回复 (1)
  • Armstrong💪 08-18 08:43
    1

    1.newapi可以限制的rpm tpm的

    2.轻量化可以考虑axonhub或者octopus这些,也是站内佬友开源维护的

* 帖子来源Linux.do
返回