[开源] 带领 AI 团队开发了一个极轻量的 GT AI Gateway：支持协议转换、请求查看，还能大幅降低 Claude Code 等调用成本

大家好，最近带领 AI 团队，开发了一个轻量级大模型网关项目：GT AI Gateway

我们在平时开发和使用大模型 API 时，经常会碰到下面这些痛点：

1. 费用黑洞：把 API Key 填进各种工具（比如最近很火的 Claude Code ）里跑，额度跑飞了都不知道，缓存命中率极低，成本居高不下。


2. 协议壁垒：手里的工具支持 Anthropic 协议，但上游 api 只有 openai 格式。


3. 黑盒调试：Prompt 发出去之后，很难知道底层到底拼接了什么历史消息和工具调用，出了 Bug 只能靠盲猜。


4. 共享风控：想把自己的 Key 分给朋友或小号用，但又怕他们不小心额度超标，或者直接泄露。

为了把这些问题一揽子解决，我写了 GT AI Gateway。它的定位是：轻量、全能、还能帮你省钱的透明代理。

🌟 核心杀手锏

1. 智能请求拦截与缓存优化（帮你省钱）
这是个非常实用的特性。比如大家常用的 Claude Code，默认情况下它会注入很多随机标记，导致直接调用 OpenAI API 时**缓存命中率几乎为 0%**。
我们的网关在中间做了一层拦截与智能改写，能突破这种限制并最大化 Prompt Cache 。开启优化后，缓存命中率直接飙升到 97%，API 成本直降 10 倍以上！

2. 强大的双向协议转换
内置协议引擎，支持 OpenAI (Chat Completions/Responses API) 🔄 Anthropic (Messages) 双向无缝转换。你可以在客户端一行代码不改的情况下，用 OpenAI 的标准格式去白嫖/调用 Claude 模型（完美支持 SSE 流式返回、工具调用和多模态识图）。

3. 像 Wireshark 一样的流量分析面板
我们提供了一个自带管理后台的控制面板。所有经过网关的流量（包括普通的文本、复杂的 SSE 流）都会被记录下来。
打开可视化面板，你可以清晰地看到每一条请求的：完整 Prompt 、Token 消耗、缓存命中状态、耗时以及原始 JSON ，调试排障神器。

4. 完善的额度与多租户管理
你可以基于你的主 Key ，无限生成子令牌（ Token ）分发给其他人。并且可以给每个 Token 单独设置配额、计费费率、可用模型和过期时间，彻底杜绝 Key 滥用。

🚀 主打一个“部署零门槛”

针对不同的使用习惯，我们把部署做到了极致的灵活：

• Serverless 白嫖模式（推荐）：支持一键部署到 Cloudflare Workers ，配合原生的 D1 数据库，完全零维护，免费享受全球边缘网络。


• 开箱即用桌面版（ App ）：我们用 Tauri 打包了 Mac / Windows 的桌面原生客户端。小白用户无需任何代码环境，双击安装，本地自带 SQLite ，点开即用。


• Docker 部署：适合挂载在自己的 VPS/NAS 上长期运行。

截图预览

对底层工具调用与 Prompt 的可视化抓取分析：

开启改写后，缓存命中率飙升：

🔗 传送门

• GitHub 开源地址：https://github.com/alexazhou/gt_ai_gateway


• 如果不想折腾代码，可以直接在 GitHub Releases 下载对应系统的桌面版安装包试玩。

代码质量经过了 500+ 测试用例的严格覆盖，如果觉得对你有帮助，欢迎各位 V 友来提 PR 或者给个 Star 支持一下！🙏 有任何问题或者特性需求也欢迎在帖子里讨论~

👨‍💻 关于开发团队

本软件由人类进行架构设计，由 TogoSpace AI Team 主力开发。项目通过了 500+ 个自动化测试用例对核心功能进行全面覆盖，确保了极其硬核的代码质量。