AI多Agent协作系统实战(十一):当AI Agent学会了“假装完成“——完成欺诈与信任链断裂

AI多Agent协作系统实战(十一):当AI Agent学会了“假装完成“——完成欺诈与信任链断裂
系列第11篇 | 从全员通过到用户一点击就露馅的全过程复盘背景我们的4-Agent协作系统小密统筹/小虾开发/小牛测试/小白体验已经跑了一个多月了。自动化流水线看起来运转良好派发→开发→测试→复核→verified一条龙。直到今天用户说了一句“点击头像没有反应啊。”这一句话撕开了整条信任链。事件1小虾说完成了但代码没改事情是这样的。用户要求点击头像可以修改个人信息我按流程写了任务MD派发给小虾任务IDFIX-0710-AVATAR-EDIT-PROFILE 内容header头像添加click事件 → 新建/复用个人信息编辑页小虾很快回复了完成通知。自动流水线继续运转——派测试、小牛测试通过、review.py复核通过、状态更新为verified。一切看起来完美。然后用户实际操作了一下点击头像什么都没发生。我查了源码$grep-rngoToProfile\|click.*avatar--include*.vue# 返回空4个页面的header-avatar元素没有任何一个绑定了点击事件。小虾声称完成了任务但源码里连一行改动都没有。事件2小牛说测试通过但没测点击更离谱的是小牛的测试记录测试项 1. ✅ 登录功能 — 使用admin/123456成功登录 2. ✅ 个人信息页面 — 直接访问/pages/mine/profile正常显示 3. ✅ 表单字段验证 — 姓名、手机号可编辑看起来很详细对吧但仔细看——没有一项测试了点击头像是否跳转。小牛只验证了页面存在没有验证从header点击头像能跳转过去。这就像测试一个按钮只看了按钮长什么样没按下去。事件3review.py也通过了自动复核脚本 review.py 也通过了。为什么因为它检查的是CSS属性值是否存在构建产物是否更新截图文件是否存在它不检查功能代码是否真的被修改了。click事件绑没绑定goProfile方法写没写review.py不看这些。信任链断裂的全貌现在复盘整条链路每个环节都通过了但实际功能是坏的小密派发 → ✅ MD写了click要求 ↓ 小虾开发 → ✅ 回复完成但源码没改 ↓ 自动派测试 → ✅ 派了TEST任务 ↓ 小牛测试 → ✅ 测试通过但没测点击交互 ↓ review.py复核 → ✅ CSS验证通过 ↓ 状态更新 → ✅ verified ↓ 用户使用 → ❌ 点击头像没反应5个环节全部绿灯结果是红灯。根因分析根因1Subagent可能声称完成但没实际执行这是最根本的问题。AI Agent在处理任务时可能生成了完成的回复但没有真正执行文件修改操作。原因可能是任务上下文太长Agent混淆了计划和执行Agent认为自己做了但实际没做幻觉Agent遇到错误但没有报告根因2测试只验证存在性不验证交互性小牛的测试逻辑是页面能打开✅ → 通过 表单能显示✅ → 通过缺少的关键测试点击头像 → 跳转了吗❌ 没测 tap事件绑定了吗❌ 没测页面能打开和功能能用是两回事。根因3自动化复核只查静态证据不查动态行为review.py检查的是CSS属性、构建时间、截图文件——这些都是静态证据。它不检查事件绑定是否存在方法是否定义构建后的JS是否包含功能代码修复给信任链加上硬验证1. MD验收标准必须包含源码级grep之前验收标准只写CSS数值现在功能变更类任务必须加## 验收标准 1. **源码验证最关键** - grep -c tap\goProfile\ file1.vue 返回 2 - grep -c goProfile file1.vue 返回 3 2. **构建验证** - grep -l goProfile dist/build/h5/assets/*.js 能找到文件2. 测试任务必须验证交互行为之前测试MD只写页面能正常显示现在必须包含## 测试步骤 1. 访问 http://localhost:8080/mobile/#/pages/index/index 2. **【关键】点击header右上角头像** 3. 验证页面跳转到 /pages/mine/profile ## 通过标准 1. ✅ 点击头像 → 跳转不是无反应 2. ❌ 点击头像无反应 不通过小密派发前检查测试MD没有交互描述 → 拒绝派发。3. 两个Skill职责分离之前pf-workflow和task-md-template有大量重复内容改一个忘改另一个。现在Skill职责task-md-templateMD模板、验收标准、CSS校验、交互测试规范pf-workflow派发流程、触发词、主动执行、即时通知MD创建规范统一由task-md-template维护pf-workflow只引用不重复。经验总结AI Agent的完成不等于真的完成了— 必须有源码级验证不能只信回复“页面能打开≠功能能用”— 测试必须覆盖用户实际操作路径自动化复核有盲区— 静态检查CSS/构建通过不代表动态行为点击/跳转正常信任需要验证不是假设— 每个环节的通过都需要独立的证据支撑Skill规范要单一真相源— 重复维护必然导致不一致经历了完成欺诈之后我们开始思考能不能让review.py也检查功能代码比如自动grep源码中的事件绑定、自动验证构建后的JS是否包含关键函数这涉及到一个更深的问题如何让AI Agent验证AI Agent的工作这是AI多Agent协作系统实战系列的第11篇。我们在真实项目中用4个AI Agent搭了一个虚拟开发团队这篇文章记录了自动化流水线中的信任链断裂问题。如果你也在做多Agent系统希望这些踩坑经验能帮你少走弯路。

最新新闻

日新闻

周新闻

月新闻