我测试出 Jev 的一个实用方向：给 AI Agent 做事实质检，进一步用在 RAG 核查

我的结论：Jev 值得用来低成本筛查 AI 有没有把事情记错。 让它核对一个具体事实，比让它重新判断整个任务更有意思。

比如：
用户说：周五有读书会，开场时间还没公布。
AI 记成：周五 19:00 开始。

格式正确、保存成功，但时间是编的。Jev 可以对照原文，把这种“看起来合理、实际没有依据”的事实标出来。

我做了一组小规模合成实验：

• 32 条保留检查中，Jev 和 GPT-5.5 都找到了 16 条问题，对另外 16 条正常事实没有误报。


• 同轮各 80 次调用，中位耗时分别为 0.87 秒和 4.10 秒。


• 按实验记录费率估算，Jev 的核查调用成本明显更低。

之前我让 Jev 同时参与多个字段的决策，效果反而变差。缩小成“这个事实，原文到底有没有说”，才找到了值得继续试的方向。

更让我感兴趣的是：如果检查足够便宜，哪些原来只能人工抽查的工作，可以更频繁地检查？

下面这些是应用猜想，尚未实测：

1. 
   

   客服、会议纪要、CRM
   AI 承诺退款，政策里有依据吗？纪要里的负责人和截止日期，是大家明确同意的，还是模型补全的？“客户感兴趣”有没有被写成“客户确认购买”？
   让系统先筛出疑点，人工优先看这些记录，可能比逐条翻原文省心。

   
   


2. 
   

   RAG 知识库与问答优化
   将回答拆成关键事实，与检索片段逐项核对：引用是否支持结论？有没有遗漏适用条件、混用不同版本？
   疑点可以用于触发重新检索、改写或人工复核；确认的问题还能积累成回归测试。也可以先找出知识库里疑似冲突的片段，再检查它们是否在相同条件下表达了矛盾结论。

   
   


3. 
   

   Ontology ／知识图谱辅助整理
   先由其他模型提取候选实体、关系和类型，再核对：
   原文是否支持这条关系？
   这个实体是否符合已有类型定义？

   
   

明确的结构约束用代码检查，语义疑点再交给模型。如果有效，也许能减少人工逐条审阅候选知识的成本。

潜在价值，是让“原始资料 → 知识整理 → AI 回答”每个环节都多一次低成本核查，把人的注意力集中到疑点上。

不过，本次实验中的候选事实由人工给定，也确实发现过漏检，还没验证生产环境能省多少人力。回答符合检索材料，不代表材料本身正确；检查候选关系，也不等于能自动设计合理的 ontology 。

接下来真正想测的是：每发现一个真实错误花多少钱，以及人工核查时间到底减少了多少。

完整实验、原文： https://tryjevai.com/blog/jev-ai-fact-checking

大家手上的业务里，有没有这种核对费神、出错又不容易发现的环节？尤其做 RAG 或知识图谱的朋友，觉得这种接法有没有试验价值？