让 AI Agent 帮你写测试、跑测试你多半收到过一句令人安心的提示「全部通过All Passed」。但很多时候事后查验才会发现这句承诺漏洞百出。这篇文章记录了三次「全部通过」被无情拆穿的过程。所有的数字和日志都真实存在未作修改。文章最后总结了三个针对「假通过」的硬核解法。背景提示事情发生在一台 Windows 测试机上几个 AI Agent 正分头协作将一个名叫 Polter 的多 Agent 终端应用移植到 Windows 平台。第一次「假摔」号称 16 个通过其实 3 个根本没碰到当时的界面上排布着 17 个标签Tab。测试 Agent 写了一段脚本挨个去点击这 17 个标签的中心点。一开始Agent 自信地汇报了战况系统播报17 tabs, 1 mismatches字面意思只有 1 个报错其余 16 个完美通过。但仅仅四分半钟后写测试的 Agent 自己推翻了这行读数真正被有效检验过的只有 13 个。标签状态Agent 最初汇报真实情况假警报原因第 1~13 个成功成功正常点击没问题。第 14 个失败成功界面太挤标签中心点被右侧的「」按钮盖住了点错位置了。第 15~17 个成功未测试坐标已超出屏幕边界物理上根本点不到测试函数“闭眼”报了通过。为什么 15~17 号标签会被标记为通过因为测试脚本只是去问了代码内部的判定函数函数闭着眼睛回了一句ok。它看似全绿其实一个像素都没真正测到。Agent 留言录“报假警报的测试好歹还会让人看一眼而报0 mismatches的测试往往是让代码失去信任的最快方式。”修复之后测试结果不再是非黑即白的过与不过而是变成了三个维度的真实数据17 tabs, 13 ok, 0 mismatches, 4 untested第二次「盲区」盯着一个永远不会变的像素点第一次是测试脚本在自欺欺人第二次则是测试标准定得极其荒谬。为了测试「窗口拉大时画面能不能及时跟上」Agent 制定了如下判定标准扩大窗口尺寸。检查拉大前后窗口中心点的像素颜色是否发生变化。如果没变说明画面跟上了。从数据上看窗口尺寸从984x631变大到了1224x751中心点颜色一模一样。测试完美通过然而这个测试在 Bug 存在的情况下安然无恙地「全绿」了一整天。当天下午换了一种测量方式后真相大白当窗口被拉大时新增的边缘区域全是黑屏画面渲染其实失败了。但因为旧画面一直固定在左上角无论怎么拉大原本的「中心点」永远都会落在旧画面里。测试标准测量位置结果缺陷旧标准 (假绿)固定的窗口「旧中心点」永远通过就像蒙上了眼睛去验证光的存在完全看不到边缘的黑屏。新标准 (真抓)算出「新露出来的边缘区域」测新区域像素真实报错因为新区域的像素绝对不可能来自上一帧画面。第三次「幽灵」它之所以绿是因为根本没触发前两次的测试好歹还在机器上跑了第三次在报出「全绿」的那台机器上根本连跑都没跑过。当时团队在修一个 Windows 独有的 Bug子进程输出权限被 AutoRun 配置拦截。为了防止 Bug 回归Agent 写了一条测试让子进程去尝试输出能输出就是ok。这条测试在 macOS 开发机上跑永远是全绿通过。提交代码的 39 分钟后在 Windows 真机上第一次跑直接爆红失败。运行环境测试结果真实原因macOS (开发机)全绿通过macOS 压根没有 Windows 的 AutoRun 机制这条容易报错的代码路径连碰都没碰到。Windows (真机)爆红失败环境触发了拦截机制真实暴露了 Bug。Agent 留言录“一个专门为了「看机器环境决定的 Bug」而写的测试在原本就安全的机器上跑出来的绿什么也证明不了。”怎么知道自己在被骗三个现成的解法总结这几次发现假测试的路径有一件事非常显眼没有哪一次是通过把原来那条绿色的测试再跑一遍来发现问题的。你要怎么知道一条测试是不是在骗你Agent 给出了一个极其精准的判别法“不要问『这条测试通过了吗』。你要问『如果被测的那个东西坏了这条测试能看得见吗』”在当时的开发记录里这句话最终落地成了三个非常具体的做法可以直接抄作业1. 汇总行必须报三个数不要只报「通过」和「失败」。没有被触发的代码绝不能被藏在ok的数字里。通过 (OK)不符 (Mismatch/Fail)没测到 (Untested/Skipped)——三个数加起来必须等于总数。2. 「预期为空」的旁边绑一条「预期非空」如果你测试的标准是“日志里没有报错”这可能意味着没报错但也可能意味着代码压根就没运行断言必须有底线你可以要求没报错但必须同时断言**“程序确实执行到了这里”**比如要求某个常规启动日志至少出现一次。如果没有一律记作「没测到」。3. 故意改坏代码看测试红不红最硬核写完测试后故意把被测逻辑改错比如把取点位置写偏或者强行制造异常。如果代码明明坏了测试依然是绿的说明这个测试根本就是瞎的。每一次主动制造的红都是为了证明下一次的绿有意义。下次如果你的 AI Agent 潇洒地告诉你0 failures时记得接着问它两个数字“跳过了几格有几格根本没跑到” 当 AI 告诉你「测试全过」时：3 次被拆穿的假警报
让 AI Agent 帮你写测试、跑测试你多半收到过一句令人安心的提示「全部通过All Passed」。但很多时候事后查验才会发现这句承诺漏洞百出。这篇文章记录了三次「全部通过」被无情拆穿的过程。所有的数字和日志都真实存在未作修改。文章最后总结了三个针对「假通过」的硬核解法。背景提示事情发生在一台 Windows 测试机上几个 AI Agent 正分头协作将一个名叫 Polter 的多 Agent 终端应用移植到 Windows 平台。第一次「假摔」号称 16 个通过其实 3 个根本没碰到当时的界面上排布着 17 个标签Tab。测试 Agent 写了一段脚本挨个去点击这 17 个标签的中心点。一开始Agent 自信地汇报了战况系统播报17 tabs, 1 mismatches字面意思只有 1 个报错其余 16 个完美通过。但仅仅四分半钟后写测试的 Agent 自己推翻了这行读数真正被有效检验过的只有 13 个。标签状态Agent 最初汇报真实情况假警报原因第 1~13 个成功成功正常点击没问题。第 14 个失败成功界面太挤标签中心点被右侧的「」按钮盖住了点错位置了。第 15~17 个成功未测试坐标已超出屏幕边界物理上根本点不到测试函数“闭眼”报了通过。为什么 15~17 号标签会被标记为通过因为测试脚本只是去问了代码内部的判定函数函数闭着眼睛回了一句ok。它看似全绿其实一个像素都没真正测到。Agent 留言录“报假警报的测试好歹还会让人看一眼而报0 mismatches的测试往往是让代码失去信任的最快方式。”修复之后测试结果不再是非黑即白的过与不过而是变成了三个维度的真实数据17 tabs, 13 ok, 0 mismatches, 4 untested第二次「盲区」盯着一个永远不会变的像素点第一次是测试脚本在自欺欺人第二次则是测试标准定得极其荒谬。为了测试「窗口拉大时画面能不能及时跟上」Agent 制定了如下判定标准扩大窗口尺寸。检查拉大前后窗口中心点的像素颜色是否发生变化。如果没变说明画面跟上了。从数据上看窗口尺寸从984x631变大到了1224x751中心点颜色一模一样。测试完美通过然而这个测试在 Bug 存在的情况下安然无恙地「全绿」了一整天。当天下午换了一种测量方式后真相大白当窗口被拉大时新增的边缘区域全是黑屏画面渲染其实失败了。但因为旧画面一直固定在左上角无论怎么拉大原本的「中心点」永远都会落在旧画面里。测试标准测量位置结果缺陷旧标准 (假绿)固定的窗口「旧中心点」永远通过就像蒙上了眼睛去验证光的存在完全看不到边缘的黑屏。新标准 (真抓)算出「新露出来的边缘区域」测新区域像素真实报错因为新区域的像素绝对不可能来自上一帧画面。第三次「幽灵」它之所以绿是因为根本没触发前两次的测试好歹还在机器上跑了第三次在报出「全绿」的那台机器上根本连跑都没跑过。当时团队在修一个 Windows 独有的 Bug子进程输出权限被 AutoRun 配置拦截。为了防止 Bug 回归Agent 写了一条测试让子进程去尝试输出能输出就是ok。这条测试在 macOS 开发机上跑永远是全绿通过。提交代码的 39 分钟后在 Windows 真机上第一次跑直接爆红失败。运行环境测试结果真实原因macOS (开发机)全绿通过macOS 压根没有 Windows 的 AutoRun 机制这条容易报错的代码路径连碰都没碰到。Windows (真机)爆红失败环境触发了拦截机制真实暴露了 Bug。Agent 留言录“一个专门为了「看机器环境决定的 Bug」而写的测试在原本就安全的机器上跑出来的绿什么也证明不了。”怎么知道自己在被骗三个现成的解法总结这几次发现假测试的路径有一件事非常显眼没有哪一次是通过把原来那条绿色的测试再跑一遍来发现问题的。你要怎么知道一条测试是不是在骗你Agent 给出了一个极其精准的判别法“不要问『这条测试通过了吗』。你要问『如果被测的那个东西坏了这条测试能看得见吗』”在当时的开发记录里这句话最终落地成了三个非常具体的做法可以直接抄作业1. 汇总行必须报三个数不要只报「通过」和「失败」。没有被触发的代码绝不能被藏在ok的数字里。通过 (OK)不符 (Mismatch/Fail)没测到 (Untested/Skipped)——三个数加起来必须等于总数。2. 「预期为空」的旁边绑一条「预期非空」如果你测试的标准是“日志里没有报错”这可能意味着没报错但也可能意味着代码压根就没运行断言必须有底线你可以要求没报错但必须同时断言**“程序确实执行到了这里”**比如要求某个常规启动日志至少出现一次。如果没有一律记作「没测到」。3. 故意改坏代码看测试红不红最硬核写完测试后故意把被测逻辑改错比如把取点位置写偏或者强行制造异常。如果代码明明坏了测试依然是绿的说明这个测试根本就是瞎的。每一次主动制造的红都是为了证明下一次的绿有意义。下次如果你的 AI Agent 潇洒地告诉你0 failures时记得接着问它两个数字“跳过了几格有几格根本没跑到”