求助：如何科学检测 AI 模型是否掺水？

背景

想做一个一键检测模型真假的工具，但不知从何入手，求大佬指点。

核心问题

1. 抓包后的格式如何判断？是否有固定前缀名称？

• 官方 API（如 OpenAI、百度文心等）


• 开源模型本地部署（需自行搭建推理服务）


• 第三方聚合平台

2. 如何分析接口响应格式？

• 标准响应结构（如 OpenAI 的 choices 字段）


• 响应时间、Token 消耗等元数据


• 异常返回码判断

3. 如何判定模型真假？

• 知识库验证：用已知标准问题测试（如“你的知识库截至到什么时候”）


• 能力边界测试：数学推理、代码生成、长文本处理（但速度太慢）

期望

求大佬分享科学检测方案，或推荐开源项目，感谢！