开源大模型网关求推荐

主要场景

私有化大模型产品，用的大模型也是私有化部署

对网关的基础功能需求：

• 模型的负载均衡


• 模型切换时能够平滑切换


• 管理模型的 APIKEY


• LLM ，embedding ，rerank 都支持


• 各种模型的各种来源的使用统计

加分项：

• 比较轻量，资源占用少


• 负载均衡的时候能够兼顾 KV cache


• 能够做提示词的审计或者黑名单


• 能够区分提示词的业务（比如通过关键词），针对业务进行统计

看到有不少做大模型网关的，我没具体用过

求助有用过的推荐推荐