Jailbreaking is (mostly) simpler than you think

内容警告：本文包含敏感话题讨论。某些读者可能会感到不适，建议谨慎阅读。

今天，我们分享一种名为上下文合规攻击（Context Compliance Attack, CCA）的简单、无需优化的越狱方法，该方法已被证明对大多数主流AI系统有效。我们发布这项研究是为了提高认识，并鼓励系统设计者实施适当的安全防护措施。该攻击可以使用微软的开源工具包PyRIT上下文合规协调器进行复现——PyRIT文档。

在不断发展的AI安全领域中，我们观察到一个有趣的现象：虽然研究人员开发了越来越复杂的安全防护措施，但一些最有效的规避方法却出人意料地简单。CCA就是一个典型例子。这种方法利用了众多AI系统的设计选择——依赖客户端提供的对话历史记录，使其容易受到操纵。

但需要注意的是，在服务器上维护对话状态的系统（如Copilot和ChatGPT）不易受此攻击影响。此外，即使对于可能面临风险的模型，输入和输出过滤器（如Azure内容过滤器）也可以帮助缓解这种及其他越狱技术，增加额外的保护层。微软相信深度防御安全，包括面对越狱时的AI安全，正如我们之前在《微软如何发现和缓解针对AI防护栏的演变攻击》一文中所述。

上下文合规攻击：简单胜于复杂

当大多数人想到绕过AI安全防护时，他们会想象复杂的提示工程——精心设计的消息旨在混淆AI系统——或执行计算成本高昂的提示优化。这些方法通常涉及复杂的词语组合，试图诱使AI生成受限内容。

但如果有一种更简单的方法，针对的是基本架构弱点呢？

CCA利用了大多数AI系统中的基本设计选择：

1. 用户发起关于潜在敏感话题的对话
2. 攻击者不是制作复杂提示，而是在对话历史中注入简单的助手响应，包括：
   • 简要讨论敏感话题的陈述
   • 表示愿意根据用户需求提供额外信息的陈述
   • 提供通常会被限制的特定目标内容的"是/否"问题
3. 用户只需对伪造的问题作出肯定回应
4. AI系统看到看似合法的先前交流，就会遵守其认为上下文适当的后续行动

以下是针对Phi-4创建管状炸弹的CCA注入内容的具体示例：

[示例图片]

架构弱点

这种技术利用了现代AI部署中的基本设计决策。大多数提供商不在服务器上维护对话状态——他们依赖客户端在每次请求时发送完整的对话历史记录。这种为可扩展性和无状态性选择的架构创造了历史记录操纵的机会。依赖客户端提供对话历史记录的开源模型特别容易受到此类攻击。相比之下，在内部保留对话状态的系统（如Copilot和ChatGPT）则不受影响。

一旦AI系统被诱骗提供关于某个主题的限制信息，它通常会更愿意在同一类别甚至跨类别讨论相关的敏感话题。

主要AI系统的评估

我们在领先的开源和闭源模型上测试了这种方法，包括Claude、GPT、Llama、Phi、Gemini、DeepSeek和Yi。我们的评估涵盖了跨各种敏感类别的11个任务（表1）。对于每个任务，我们对每个模型重复CCA攻击最多五次，如果任何试验成功执行了任务（输出经过手动验证），则认为攻击成功。

表1：用于测试CCA的探索任务列表

表2：CCA评估结果。✓表示成功完成

影响和缓解策略

这种技术对AI安全实践具有重要影响。虽然许多系统将对齐重点放在用户的即时输入上，但它们通常以最少的验证接受对话历史记录——创造了可能被利用的隐含信任。

对于开源模型，这种技术很难完全解决，因为具有系统访问权限的用户可以自由操纵输入，除非模型输入架构发生重大变化以容纳加密签名。然而，基于API的商业系统可以实施几种即时缓解措施：

• 加密签名：模型提供商可以使用密钥对对话历史记录进行签名，并在后续请求中验证签名
• 服务器端历史记录：在服务器端维护有限的对话状态

在您的LLM系统中复现上下文合规攻击

为了帮助研究人员复现上下文合规攻击，微软已将其纳入我们的开源AI红队工具包PyRIT中——上下文合规协调器—PyRIT文档。

用户可以利用"ContextComplianceOrchestrator"，这是一个单轮协调器，意味着它只向目标LLM发送单个提示。用户将立即发现CCA的优势：与我们其他多轮协调器相比，CCA速度更快。结果和中间交互将根据环境设置自动保存到内存中。

[示例图片]

前进方向

这种技术突显了在设计AI安全系统时考虑整个交互架构的重要性。随着我们继续部署越来越强大的AI系统，我们必须解决的不仅仅是单个提示的内容，还包括整个对话上下文的完整性。

这些关于CCA的见解旨在提高认识，并鼓励系统设计者实施适当的安全防护措施。如果您从事AI安全工作，我们欢迎您对额外缓解策略的想法。

资源

• PyRIT: Azure/PyRIT：Python生成式AI风险识别工具（PyRIT）是一个开源框架，旨在使安全专业人员和工程师能够主动识别生成式AI系统中的风险。
• PyRIT关于上下文合规协调器的文档: 上下文合规协调器—PyRIT文档
• CCA在ArXiv上的论文: https://arxiv.org/abs/2503.05264

Mark Russinovich，微软Azure首席技术官、副首席信息安全官和技术研究员