使用 ai 进行测试的疑问

我做过一轮，主要是把验收写在前面。AI 补单元测试挺顺的，但我真正卡的是真机观感：有次小组件上了灵动岛几秒就没了，查下来是自定义字体打进包太大被系统收掉。这种不在测试报告里的问题，还是得人手摸一遍。工具我没专门选型，先把几条过不了就不合并的检查定死。

@charsunny 是用 ai 来补充单元测试用例，然后自己手动测试吗？

@seedhk 差不多是这样。单元测试让 AI 补，过不了就不合并的那几条我自己定。真机上再摸一遍，灵动岛那种观感问题测试报告里看不到。

最好是行为测试，不然测试越堆越多

web 开发我一般用 gemini + playwright 端到端测试
提示词我自己用的这个（比较简单的）
https://github.com/john-walks-slow/rabbit-skills/blob/master/.apm/agents/e2e-tester.agent.md

AI 测试这块确实不太理想，测试部门这边辅助手段大部分是对生成的测试用例，使用 AI 去执行，执行的话还是调用对应的客户端让 AI 去执行，拿到测试结果，
整体效果并不好，使用 Claude 或许会好些，最终上线或者使用还得经过测试人员的详细测试及验收才能最终上线。
现在对于功能测试没有多好的办法
对于单元测试，代码审计，安全测试等这些 AI 基本上可以完全信任，功能测试还不行

@JohnnRen 谢谢，我研究一下

@nunterr 你们的功能测试用例还是要自己写吗？ 如果给 ai 比较详细的需求和业务流程描述，让 ai 来生成测试用例是否可行？ 或者让他来生成+测试

另外你们如何使用 ai 来测试的，是利用现有的工具，还是 ai+命令行？ 谢谢

视情况说，一般的需求 AI 能完成主要路径的 50%以上，产出测试用例，然后按规划执行，产出报告截图等等，需要多模态能力，但是不是 token 流水一样呢？
上面是和 Claude 聊的结果，准备推进落地，主要是现在开发太快了，测试跟不上，让老板多招有经验测试也不愿意

总体一些特别边界的情况还是得人工，总体感觉是可行的，一些差口气的地方过几个月兴许就更没问题了

@seedhk 会配合测试平台+SKILL 来辅助，最终效果不会太好，但是辅助的话能完成基础测试的验收和冒烟测试，其他的还需要人工来进行

你这种情况肯定是 adb 脚本完成端到端的测试呀

@nunterr #10 方便问下你们用的是哪个测试平台吗？ 还有个问题是为什么 ai 做不了功能测试？

@loopq 产出测试用例的意思是，ai 只能介入前期的测试是吗？ 后期的测试还是需要人工？ 能不能让 ai 完成完整的测试流程？

@quxiaojuncuiyue 后端接口做不了把？