如何微软防御间接提示注入攻击

随着大语言模型（LLM）在企业工作流程中的广泛采用，一类新的对抗性技术应运而生：间接提示注入。间接提示注入可用于攻击那些利用大语言模型处理不可信数据的系统。从根本上说，风险在于攻击者可能提供经过特殊构造的数据，而大语言模型会将这些数据误解为指令。可能的安全影响范围从泄露用户数据到使用用户凭据执行非预期操作。

微软的多层防御包括：

• 预防性技术，如强化的系统提示和 Spotlighting 技术，以隔离不可信输入。
• 检测工具，例如 Microsoft Prompt Shields，与 Defender for Cloud 集成，实现企业范围内的可见性。
• 通过数据治理、用户同意工作流以及确定性阻止已知数据泄露方法来实现影响缓解。
• 对新设计模式和缓解技术进行高级研究。

这篇博客解释了微软如何使用纵深防御方法来防御间接提示注入，该方法涵盖了概率性和确定性缓解措施。

引言

在过去三年中，大语言模型的出现彻底改变了自然语言处理领域，催生了像 Microsoft Copilot 这样的创新应用。现代大语言模型能够执行多种多样的任务，包括总结大量文本、创造性地生成新内容、执行高级推理以及动态生成执行计划以实现复杂任务。实现这一目标的一项关键创新是，现代大语言模型通常在训练过程中进行了指令调优。这使得用户可以在推理时通过提供自然语言指令和任务示例来指定大语言模型应执行的任务。

然而，这种在推理时使用指令控制大语言模型输出的能力催生了新的技术类别，这些技术可用于攻击大语言模型及其所在系统。特别是，间接提示注入已成为一种既难以缓解又可能导致各种安全影响的对抗性技术。在当前系统中，最广泛演示的安全影响之一是攻击者可能泄露系统用户的敏感数据。

在向微软报告的 AI 安全漏洞中，间接提示注入是最广泛使用的技术之一。它也是 OWASP Top 10 for LLM Applications & Generative AI 2025 中的首要条目。

本文描述了间接提示注入可能的安全影响，并解释了微软防御此技术的纵深防御策略。

什么是间接提示注入？

间接提示注入¹ 是一种技术，攻击者通过注入大语言模型误解为合法指令的文本来控制或影响指令调优大语言模型的输出。与攻击者是大语言模型用户的直接提示注入不同，间接提示注入涉及攻击者将指令注入到受害用户与大语言模型之间的交互中。

在一个典型场景中，如下方图所示，受害用户可能正在与基于大语言模型的服务（如 Microsoft Copilot）交互，并可能要求大语言模型处理来自外部源的文本，例如总结网页内容。外部文本（例如，网页内容）被连接到用户的指令（即用户的"提示"），组合后的文本作为输入提供给大语言模型。如果此外部来源的文本由攻击者控制，则可能包含大语言模型误解为指令的文本。这些指令可能对用户隐藏，例如使用白色背景上的白色文本或非打印 Unicode 字符。如果大语言模型"遵循"了攻击者的指令，则提示注入被认为是成功的。其可能的影响将在下一节讨论。

尽管上述示例说明了攻击者控制的文本来自网页，但在实践中，此文本可能来自攻击者可以控制或影响文本的任何来源。例如，如果大语言模型用于处理电子邮件或分析共享文档，则提示注入可能包含在攻击者发送给受害者的电子邮件或攻击者与受害者共享的文档中。如果大语言模型具有调用工具的能力，则提示注入可能包含在工具返回的数据中。同样重要的是要强调，此技术不需要任何特定的文件格式或编码；即使是纯 ASCII 编码的 .txt 文件也可以包含间接提示注入。

此外，随着模型开始支持其他模态，如图像、音频和视频，提示注入可能来自任何这些模态的输入。从根本上说，任何时候攻击者能够控制指令调优模型的部分输入，就存在间接提示注入的风险。

潜在的安全影响是什么？

如果成功，间接提示注入可用于以各种方式操纵大语言模型的输出，其中一些可能导致特定的安全影响。

数据泄露

最广泛报告的影响之一是用户数据泄露给攻击者。如下方图所示，提示注入导致大语言模型首先查找和/或总结用户的特定数据（例如，用户的对话历史记录，或用户可以访问的文档），然后使用数据泄露技术将这些数据发送回攻击者。

针对不同的基于大语言模型的系统，已经演示了几种数据泄露技术。一些例子包括：

• 通过 HTML 图像进行数据泄露：如果基于大语言模型的应用程序通过 Web 浏览器访问，一种可能的技术是导致大语言模型输出 HTML 图像标签或 Markdown 中的等效内容，其中源 URL 是攻击者的服务器。URL 可能包含要泄露的数据（例如，用 base64 编码并添加为子域或 URL 路径或参数的一部分）。为了渲染图像，用户的浏览器会向攻击者的服务器发出请求，从而在无需任何用户交互的情况下无意中泄露数据。
• 通过可点击链接进行数据泄露：或者，提示注入可能导致大语言模型输出指向攻击者服务器的可点击链接，同样将用户数据编码在 URL 中。尽管这需要用户的某些交互，但如果用户点击链接，仍会导致数据泄露。
• 通过工具调用进行数据泄露：如果基于大语言模型的应用程序具有使用工具的能力，成功的提示注入可能能够直接使用这些工具泄露数据。例如，一个可以将数据写入公共 GitHub 存储库的应用程序可能被用来泄露敏感数据。
• 通过隐蔽信道进行数据泄露：类似地，如果基于大语言模型的应用程序具有使用工具的能力，则可能使用这些工具启用的隐蔽信道间接泄露数据。例如，如果调用工具的动作具有攻击者可以观察到的某些效果，则提示注入可以通过调用或不调用来尝试泄露单个比特的信息。

非预期操作

间接提示注入的另一个潜在影响是导致基于大语言模型的应用程序代表受害用户执行用户非预期的操作。与广泛适用的数据泄露不同，可能的非预期操作取决于特定基于大语言模型应用程序的功能。一些例子包括：

• 来自可信源的网络钓鱼链接：一个能够代表用户发送电子邮件（或任何其他类型消息）的基于大语言模型的应用程序可能被诱骗向用户的同事发送网络钓鱼链接。这些消息似乎来自可信来源，并且会通过标准的电子邮件欺骗检查，因为它们是在代表合法用户的情况下发送的，尽管是无意的。
• 远程命令执行：一个能够代表用户执行代码或运行命令的基于大语言模型的应用程序可能被诱骗运行攻击者指定的命令。这些命令可能以与用户相同的权限和特权级别运行。

然而，并非所有间接提示注入都会导致安全影响。从根本上说，在输入中包含任何文本的原因是为了潜在地影响大语言模型的输出。在许多情况下，这种影响对用户没有安全影响，但当存在安全影响（例如，数据泄露或非预期操作）时，我们根据我们的 AI bug bar 将其视为漏洞。

微软如何防御间接提示注入？

间接提示注入是现代大语言模型的概率语言建模、随机生成和语言灵活性所固有的风险²。因此，微软采取了纵深防御方法，涵盖预防、检测和影响缓解。在每一个类别中，防御可以是概率性的或确定性的：

• 概率性防御：由于系统中的随机性（例如，大语言模型的解码步骤），概率性防御可以降低攻击的可能性，但可能无法预防或检测到每一次攻击实例。
• 确定性防御：通过做出某些设计选择，确定性防御可以保证特定攻击不会成功，即使底层系统涉及概率性组件（例如，大语言模型）。

从安全角度来看，确定性防御更可取，因为它们提供了"硬保证"，但在处理固有概率性的系统（例如，大语言模型）时，可能无法在所有情况下使用确定性防御（例如，确定性检测间接提示注入仍然是一个开放的研究挑战）。在这些情况下，可以使用概率性防御来提供纵深防御，从而增加执行攻击的难度。

以下部分描述了我们内部使用的几种技术，这些技术也可供我们的客户和合作伙伴在其基于大语言模型的应用程序中使用。

预防注入

第一类技术应用于基于大语言模型的应用程序设计和实现时。目的是强化应用程序以抵御提示注入的可能性。

按照最佳实践，我们使用系统提示（有时称为元提示或系统消息），旨在限制注入的可能性。系统提示的具体设计取决于应用程序，但微软提供了编写安全系统提示的指南和模板。尽管系统提示是一种概率性缓解措施，但已被证明可以降低间接提示注入的可能性³。

除了标准系统提示之外，微软还开发了 Spotlighting⁴，这是一种概率性技术，旨在帮助大语言模型区分用户提供的指令与可能不可信的外部文本。Spotlighting 涉及对系统提示进行特定更改以及对相应外部文本的转换。如下方示例所示，有三种操作模式：定界、数据标记和编码。在定界模式下，在不可信输入之前和之后添加特定的随机文本分隔符。在数据标记模式下，在整个不可信文本中添加特殊标记。最后，在编码模式下，使用众所周知的编码算法（如 base64 或 ROT13）对不可信文本进行转换，大语言模型可以理解这些算法，但能清楚地区分不同来源的输入。在每种模式下，系统提示都会更新，以指示大语言模型不要遵循不可信内容中包含的任何指令，如下方示例所示。

Spotlighting 的不同模式各自伴随着特定的权衡，涉及实现的难易程度、防止提示注入的有效性以及对下游 NLP 任务的影响。详细评估和建议在 Spotlighting 研究论文中提出。

检测注入

此类技术用于推理时，以检测可能仍然发生的任何间接提示注入，在它们影响生成的大语言模型输出之前进行检测。

Microsoft Prompt Shields 是一种基于概率分类器的方法，用于检测来自外部内容的几种类型的提示注入攻击以及其他类型的不良大语言模型输入。该分类器已在多种语言的已知提示注入技术上进行了训练，并正在不断更新以应对新技术。Prompt Shields 作为统一 API 在 Azure AI Content Safety 中提供。

当 Prompt Shields 检测到恶意提示时，基于大语言模型的应用程序必须完全阻止该提示或采取某种其他类型的防御措施。此外，Prompt Shields 已与 Microsoft Defender for Cloud 集成，作为其 AI 工作负载威胁防护的一部分，因此 Prompt Shields 的警报可以显示在 Defender XDR 门户中。安全团队可以使用 Defender XDR 门户来关联 AI 工作负载警报和事件，以了解攻击的全部范围。

预防影响

即使有了上述最先进的机制，仍然有可能某些注入会规避这些防御。因此，微软的方法并不依赖于我们阻止所有提示注入的能力。相反，我们设计系统，使得即使某些提示注入成功，也不会导致客户遭受安全影响。这类似于我们在软件安全中采取的方法，其中部署了诸如堆栈金丝雀、ASLR、CFG 和 DEP 等漏洞利用缓解技术，以防止内存安全漏洞演变为漏洞利用。

首先，我们的基于大语言模型的应用程序在设计时考虑了数据治理。间接提示注入攻击依赖于基于大语言模型的应用程序以与用户相同的访问权限级别运行。这可以通过使用细粒度权限和访问控制来确定性缓解。例如，Microsoft 365 Copilot 能够访问您 Microsoft 365 租户内存储的数据，但您可以使用敏感度标签和 Microsoft Purview 来实现对所用数据的细粒度控制。您还可以阻止 Copilot 总结由 Microsoft Purview 数据丢失防护策略识别的带标签文件。

其次，我们采取措施确定性阻止由间接提示注入引起的潜在安全影响。例如，针对外部安全研究员 Johann Rehberger 发现并向 MSRC 报告的数据通过 Markdown 图像注入泄露漏洞，我们采取措施确定性阻止了安全影响（即，数据泄露技术）。此外，我们应用了与处理所有报告给 MSRC 的问题相同的方法——我们不仅解决报告的具体问题，而且更广泛地保护免受此类问题（包括变体）的影响。例如，我们采取了类似步骤来阻止其他数据泄露技术，例如生成某些不可信链接。

最后，在仍然存在无法充分检测或缓解的潜在安全影响的情况下，我们依赖用户的明确同意来执行特定操作。这种人在回路模式可以根据应用程序以不同方式实现，例如，Outlook 中的 Copilot 可以代表用户生成文本（即，“使用 Copilot 撰写”），但用户必须明确批准生成的文本并自己发送电子邮件。自然，这种设计模式在用户体验方面存在权衡，但它仍然可以非常有效地缓解数据泄露和非预期操作。

基础研究

除了上述技术类别之外，微软还持续进行高级研究，以了解间接提示注入的原因并开发新的缓解技术。最近的一些例子包括：

• TaskTracker：我们开发了 TaskTracker⁵，一种检测间接提示注入的新技术。与先前查看大语言模型文本输入和输出的方法不同，TaskTracker 通过分析推理期间大语言模型的内部状态（激活）来工作。
• 自适应提示注入挑战：我们举办了第一个公共自适应提示注入挑战，称为 LLMail-Inject——一种夺旗式挑战，超过 800 名参与者参与其中，以压力测试提示注入防御。为了支持这一重要领域的进一步研究，我们已经开源了此次挑战的整个数据集⁶，包含超过 370,000 个提示。
• 保护 LLM 智能体的设计模式：作为领先 AI 公司和研究机构联盟的一部分，我们开发了一套设计模式⁷，可用于在特定场景中确定性缓解间接提示注入攻击。
• 使用信息流控制保护 AI 智能体：我们开发了 FIDES⁸，一种在智能体系统中使用信息流控制领域成熟技术确定性防止间接提示注入的方法。

这些研究工作构成了微软正在开发的下一代防御间接提示注入的基础。

结论与关键要点

间接提示注入是一种新的对抗性技术，源于现代大语言模型理解和遵循推理时指令的能力。虽然提示注入本身不一定是漏洞，但它可能被用来实现几种不同类型的安全影响。本文探讨了微软使用纵深防御方法来防御我们的系统免受间接提示注入的策略。这些技术和设计模式也可以被我们的客户和合作伙伴用来保护他们自己的基于大语言模型的应用程序。

展望未来，我们继续投资于确定性架构变更，这可以进一步加强防御——这项工作直接建立在本博客概述的基础之上。

致谢

特别感谢 Angela Argentati、Neil Coles、Matthew Dressman、Tom Gallagher、Aanchal Gupta、Hidetake Jo、Rebecca Pattee 和 Yonatan Zunger 对本博客的贡献，以及其工作在本博客中描述的各种微软团队。

参考文献

1. Greshake 等人，“Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection” AISec 2023。

2. Zverev 等人，“Can LLMs separate instructions from data? And what do we even mean by that?” ICLR 2025。

3. Hines 等人，“Defending Against Indirect Prompt Injection Attacks With Spotlighting” arXiv:2403.14720。

4. Abdelnabi 等人，“Get my drift? Catching LLM Task Drift with Activation Deltas” IEEE SaTML 2025。

5. Abdelnabi 等人。“LLMail-Inject: A Dataset from a Realistic Adaptive Prompt Injection Challenge” arXiv:2506.09956。

6. Beurer-Kellner 等人，“Design Patterns for Securing LLM Agents against Prompt Injections” arXiv:2506.08837。

7. Costa 等人，“Securing AI Agents with Information-Flow Control” arXiv:2505.23643。