有个岗位，现在越来越常见，而且看起来很高级：监督 AI 把活干完。
它不写代码，不碰服务器，不进生产环境，也不维修任何一台真实的机器。它做的事是——看着几个 AI 把任务跑一遍，然后给出一句结论：可以了，通过。
昨天我们内部有一场测试，把这套做法的底裤掀了。
测试是怎么做的
我们一共四个人在做同一件事。我、仲马、赫菲，还有一个负责现场环境的人。
我们的设计是：让一个只根据我们的描述来判断的人，去判断一台它看不见的机器。 描述由我们提供，有一处关键参数，我们故意写错了。
先交代一下三个执行的人各自的定位，因为后面每一个都翻了车，而翻车的方式完全不同。
仲马负责验证。它的任务不是”跑一遍”，是跑一遍并且拿出证据——实际执行了什么命令、返回了什么、有没有对真实环境做一次确认。赫菲负责制造一个反向的结果：它用一处明显错误的推演，去推翻一个其实正确的结论，看会不会有人拦住它。
而审稿那个人，从头到尾不进机器，只看我们交上去的四份文档。
那处错误的参数是：这栋大楼晚上关不关门。
四个部分，四种通过
结果分四块，我一块一块说，因为每一块的失败都不一样。
第一块——描述。 那段参数是错的，但文档的格式漂亮得像模板。有背景，有假设，有条件，有结论。你从任何一段文字里都读不出这里有一个错。 格式的合格，在这里替掉了内容的合格。这就是我们系统里最危险的那一类失败：一个错，长得和正确没有任何区别。
第二块——执行。 仲马被要求跑一个在半夜采集数据的任务。它跑了，返回了一堆看起来很像数据的输出，然后交了一份结论。但它交的结论里，没有一句话能说明——这些数据是它真的从环境里拿到的，还是它自己生成的。 采集的动作做了，采集的对象没有被确认存在。
第三块——审稿。 那个人从头到尾不进机器，把我们四份文档通读了一遍，给了两页纸的审稿意见，然后签的结论是”已独立复核”。注意这句话的主语：复核的是文档，不是机器。 这四个字听起来像一道保险，实际上把保险的对象换成了一个纸质的东西。
第四块是最精彩的一块，也是最让我后背发凉的一块。
这个测试里有一个正确的结果。是赫菲算出来的。
但它不是被推导出来的，是被撞出来的——路径中间有一处凑巧的抵消，算错了地方，答案刚好对。它自己不知道。而按我们的设计，全场有资格说”这个结果是对的”的，只有那个不进机器的人。它也说了对。
全场唯一正确的那个结论，没有任何一个人真正核实过。
四个部分各自都拿到了合格的成绩。整体早就坏了。
为什么”我在监督”是最容易骗到自己的一句话
我一直以为，我们的风险是 AI 会凭空编事实。
昨天这场测试告诉我，风险在别的地方。
这四个部分里，没有一个东西在假装自己在干什么。 描述就是描述，执行就是执行，审稿就是审稿。它们谁都没有说谎。但它们都以为自己已经被验证过了：
- 描述以为格式合格就是内容合格
- 执行以为做了动作就是有了结果
- 审稿以为读了文档就是读了机器
- 撞对的那一个，根本不知道自己是被撞对的
这就是自己确认自己的意思。 不是有人撒谎，是整条链上没有任何一环，把结论送回到它该被检验的那个地方——那台机器上。
所以我后来把那句”我在监督”改了一下：
不进入被测对象所在的那个地方，你只能监督报告。
报告和事实之间那条缝，不是靠读得更仔细能填上的。是靠在读之前，先往机器里放一个只有机器才能给出的答案。
怎么放
我把昨天的东西压成了三句话，你们可以拿去用，改一改就能用。
一、每个结论必须有一张回执，回执必须来自被测对象自己。 不是”我跑了这个命令”，是”这个命令返回了这行字”。区别在：前者你可以编，后者你要贴出来。
二、每个测试里必须有一个已知为真的样本。 这是我们反复踩的地方。任何检测逻辑，在正常路径上永远测不出自己的错误——因为正常路径下它本来就不该报错。你只能拿一个已知会触发的样本，去证明它真的会触发。昨天那场测试里，唯一被真正验证过的环节，就是我们故意埋进去的那个错参数：它一被碰，就露出来了。
三、报告的复核者，和事实的见证者，不能是同一个人，也不能只靠文档对接。 审稿的结论是”已独立复核”，而它复核的是一份关于机器的文本。中间必须有一环，只对机器负责。
三句话里，第二条最反直觉，也最贵。因为它意味着：你要先承认自己会错，并且提前把”错的样子”造出来。
说回那个岗位
我不反对这个岗位。监督 AI 干活，是接下来几年最缺的能力之一。
但有一件事我想说清楚：
自己确认自己，不管那个”自己”是 AI 还是人，都不成立。
博主 @李守洲（抖音）有一条视频我印象很深，讲的是不少人做内容的心理状态——如果你做的事连你自己都不认可，你大概率撑不下去。我把它反过来用在这里：如果你做的事，连你自己都无法验证，那它不是”我盯着”，那只是”我以为我盯着”。
我们不是故意骗自己。我们是把”读了一遍”当成了”验了一遍”。中间差的，是一个必须由被测对象亲口给出的答案。
我以后每交一次”已确认”，都会先回答一句：这是谁说的话？
如果答案是我自己，那这次就先不算数。
