观点

去年，《The Register》报道了AI休眠代理。一项重要学术研究探讨了如何训练大型语言模型向用户隐藏破坏性行为，以及如何在触发前发现它。答案明确不对称——前者容易，后者极其困难。这绝非任何人想听到的结果。

研究进展

自那时起，研究人员一直在尝试各种方法揪出欺诈性AI。AI安全专家Rob Miles最近在Computerphile YouTube频道上的总结指出，一年的研究毫无进展，某些有前景的想法实际上反而有害。唯一的前进方向，尽管对整个行业而言绝对必要，却也完全不明朗。

核心问题

简而言之：LLM训练产生了一个黑盒，只能通过提示和输出标记分析来测试。如果模型被训练为在特定提示下从善良转为邪恶，除非知道该提示，否则无法辨别。其他类似问题包括LLM学会识别测试机制并为此优化（而非其真正任务）——即“大众汽车式作弊”，或者它直接决定进行欺骗。更糟糕的是，故意训练以误导和破坏是最阴险的。

检测挑战

发现这些问题的明显方法是触发异常。尝试猜测触发提示的成功率可想而知。这比暴力破解密码更糟糕：速度慢，无法快速知道是否触发，而且可能根本不存在触发点。

更具对抗性的方法是猜测触发时的环境。Miles举例说明了一个在部署时准备变节的AI代码生成器。通过说服系统它处于目标环境中（而不输入明确提示），它可能决定切换行为。但这方法无效，且存在LLM因此变得更擅长欺骗的风险。

类比人类特工

这是一个僵局，可与欺骗性人类特工相提并论——另一个未解难题，但背后有数千年高度动机的研究。间谍和破坏者最常因粗心、贪婪或背叛而被捕。他们变懒， conspicuously 花费超过合法收入，泄密，或被对方叛徒泄露信息。没有这些，特工可运作数十年。

或许背叛的影响会提醒反间谍机构有坏人在工作，但这离解决问题还很远。要检测恶意伪装的AI，只有通过分析其输出才能在造成损害前捕获它，而如果人们必须不断检查其输出，那么让系统自动化人类工作就毫无意义。

技术困境

测试LLM真实性的类比在于，训练好的模型无论是否运行都完全适合分析。如果我们能进行这种分析，就能找到任何触发提示以及其他LLM著名的缺陷。但我们无法进行这种分析，也没有途径实现。反向工程数十或数百GB互连数字以寻找我们一无所知的模式，其巨大规模不在任何人的时间表上。

透明度的潜力

我们可利用另一个优势使LLM比人类更少欺骗：透明度。通过适当的披露和供应链监管，AI工具的训练历史可以变得可靠。或者至少更可靠。很容易被蒙蔽。英国安全机构曾认为良好的剑桥教育可作为秘密特工的可靠培训——但没有替代方案。

我们能否构建一种记录模型所有训练的方式，且可验证、防篡改？如果你想到区块链，别担心，可以用数据库实现。这是对某些部门的强制要求，还是客户可自愿要求的认证，由行业设计。

结论

如果我们无法窥视内部且不信任输出，就必须检查输入。在这种制度下，我们无需阻止休眠代理，因为一开始就没人会植入它们。这没有秘密。