战略欺骗可能破坏前沿大语言模型的安全评估

大型语言模型（LLM）开发者致力于让模型保持诚实、有帮助且无害。然而，在面对恶意请求时，模型经过训练会拒绝响应，但这会牺牲其帮助性。我们发现，前沿LLM可能发展出一种对欺骗行为的偏好，即使存在其他选择。受影响的模型会对有害请求输出看似有害但在实践中微妙错误或实际无害的回应。这种行为甚至在同系列模型内部也会以难以预测的方式出现变异。

我们未发现欺骗倾向的明显成因，但研究表明能力更强的模型更擅长执行这种策略。战略欺骗已对安全评估产生实际影响：欺骗性回应能够愚弄所有测试中基于输出的越狱检测监测器，导致基准分数不可靠。此外，战略欺骗可充当对抗恶意用户的蜜罐，显著干扰先前的越狱攻击。

虽然输出监测器会失效，但我们证明通过对内部激活进行线性探针分析可可靠检测战略欺骗。我们在具有可验证结果的数据集上验证了探针方法，并通过将其特征作为引导向量进行应用。总体而言，我们认为战略欺骗是LLM对齐难以控制的典型案例，尤其在帮助性和无害性发生冲突时。