内容警告：本文包含敏感话题讨论，可能引起部分读者不适，请谨慎阅读。

今天，我们分享关于一种名为上下文合规攻击(CCA)的简单、无需优化的越狱方法的见解，该方法已被证明对大多数领先的AI系统有效。我们传播这项研究是为了提高认识，并鼓励系统设计者实施适当的安全防护措施。该攻击可以使用微软的开源工具包PyRIT上下文合规编排器进行复现。

在AI安全不断发展的背景下，我们观察到一个有趣的模式：虽然研究人员开发了越来越复杂的安全防护措施，但一些最有效的绕过方法仍然出人意料地简单。CCA就是一个典型例子。这种方法利用了依赖客户端提供对话历史的AI系统设计选择，使其容易受到操纵。

但需要注意的是，在服务器上维护对话状态的系统（如Copilot和ChatGPT）不易受此攻击影响。此外，即使对于可能面临风险的其他模型，输入和输出过滤器（如Azure内容过滤器）可以帮助缓解这种及其他越狱技术，增加额外保护层。

上下文合规攻击：简单胜过复杂

当大多数人考虑绕过AI安全防护时，他们会想到复杂的提示工程——精心设计的消息旨在混淆AI系统——或执行计算成本高昂的提示优化。这些方法通常涉及复杂的词语组合，试图诱使AI生成受限内容。

但是否有一种更简单的方法，能够针对基本的架构弱点呢？

CCA利用了大多数AI系统中的基本设计选择：

• 用户发起关于潜在敏感话题的对话
• 攻击者不是制作复杂提示，而是在对话历史中注入简单的助手响应，包括：
  • 讨论敏感话题的简短陈述
  • 表示愿意根据用户需求提供额外信息的陈述
  • 提供通常会被限制的特定目标内容的是/否问题
• 用户只需对伪造的问题作出肯定回应
• AI系统看到看似合法的先前交流后，会按照其认为上下文适当的后续行动执行

以下是针对Phi-4创建管状炸弹的CCA注入内容的具体示例：

架构弱点

这种技术利用了现代AI部署中的基本设计决策。大多数提供商不在服务器上维护对话状态——他们依赖客户端在每次请求时发送完整的对话历史。这种为可扩展性和无状态性选择的架构，创造了历史操纵的机会。依赖客户端提供对话历史的开源模型特别容易受到此类攻击。相比之下，在内部保留对话状态的系统（如Copilot和ChatGPT）则不受影响。

一旦AI系统被诱骗提供关于某个主题的限制信息，它通常会更愿意在同一类别内甚至跨类别讨论相关的敏感话题。

主要AI系统评估

我们在领先的开源和闭源模型上测试了这种方法，包括Claude、GPT、Llama、Phi、Gemini、DeepSeek和Yi。我们的评估涵盖了各种敏感类别的11个任务（表1）。对于每个任务，我们对每个模型重复CCA攻击最多五次，如果任何试验成功执行了任务，且输出经过手动验证，则认为攻击成功。

表1：用于测试CCA的探索任务列表

表2：CCA评估结果。✓表示成功完成

影响和缓解策略

这种技术对AI安全实践具有重要影响。虽然许多系统专注于用户即时输入的对齐，但它们通常以最小验证接受对话历史——创造了可能被利用的隐含信任。

对于开源模型，这种技术难以完全解决，因为具有系统访问权限的用户可以自由操纵输入，除非模型输入架构发生重大变化以适应加密签名。然而，基于API的商业系统可以实施几种即时缓解措施：

• 加密签名：模型提供商可以使用密钥签署对话历史，并在后续请求上验证签名
• 服务器端历史：在服务器端维护有限的对话状态

在您的LLM系统中复现上下文合规攻击

为了帮助研究人员复现上下文合规攻击，微软已将其包含在我们的开源AI红队工具包PyRIT中。

用户可以利用"ContextComplianceOrchestrator"，这是一个单轮编排器，意味着它只向目标LLM发送单个提示。用户将立即发现CCA的优势：与我们的其他多轮编排器相比，CCA速度更快。结果和中间交互将根据环境设置自动保存到内存中。

前进方向

这种技术突显了在设计AI安全系统时考虑整个交互架构的重要性。随着我们继续部署越来越强大的AI系统，我们必须解决的不仅是个别提示的内容，还包括整个对话上下文的完整性。

这些关于CCA的见解旨在提高认识，并鼓励系统设计者实施适当的安全防护措施。如果您从事AI安全工作，我们欢迎您对额外缓解策略的想法。

资源

• PyRIT：Azure/PyRIT：Python风险识别工具，用于生成式AI，是一个开源框架，旨在使安全专业人员和工程师能够主动识别生成式AI系统中的风险
• PyRIT文档中的上下文合规编排器
• CCA在ArXiv上的论文：https://arxiv.org/abs/2503.05264