做过Dify/RAG/Agent项目的佬友，你们上线前怎么验收？

验收标准一般不是固定的吧，得看回答的准确率吧

确实，不同业务的验收标准应该不一样。想再请教一下，实际项目里这个“回答准确率”一般怎么统计？

是客户准备一批标准问题，由人工判断回答是否正确，还是直接抽查线上对话？通常会测试多少条、达到大概什么比例才敢上线？

evals得用武之地，多跑几轮。就是费钱，其他得都还可以。

感谢佬友，成本这个点很具体。想再请教一下，实际跑evals时，主要费用来自大量测试用例反复调用目标模型，还是额外调用裁判模型？

您一般会准备多少条用例、跑几轮，才觉得评测结果比较可信？

我测试都比较随意，开发人员得我只需要保证大体不出问题即可。

让opus自己去决定，我是不管得。

费用这块，两个都会大量消费。

看你们需要即可，我个人习惯跑个3-6轮就差不多了。实际跑的话，还是100轮起步比较好？感觉夸张了，10轮应该就差不多了。

我目前遇到的问题，是黄金测试集的构建，不知道大家有没有好的关于黄金测试集构建的方法分享

明白了，也就是平时跑3～6轮快速检查，比较重要时跑到10轮左右，主要保证整体没有明显问题。感谢佬的分享 ^-^ ^-^

重要得建议多跑几轮，免得小样本出不来特殊情况。

可以先用“20条种子用例＋线上失败回灌”的方式，是根据LangSmith 的官方建议：先人工整理10～20条覆盖常见场景和边界情况的高质量用例，生产运行后再把差评、错误和异常记录持续加入离线测试集

有问题就往ai身上推，就照着几个高频问题去问，看看ai的回答内容是不是都覆盖了

一般覆盖测试跑一边代码覆盖率没问题，没有异常就行。测试几遍常见的问答看看结果正确语法，如果正确可以保留当成测试集下次优化后进行比对测试。当然我们是公司内部使用如果反馈有问题可以排查一下问题并进行优化，比如关键词的精准度，语义（余弦相似度、 近似最近邻）检索的访问和排序，还有延迟评估。