防止零点击AI威胁:来自EchoLeak的洞见
关键要点
- EchoLeak是一种零点击AI漏洞,利用Copilot对历史上下文数据的使用,在无需用户交互的情况下静默执行隐藏提示。
- 攻击方法依赖于嵌入式隐形提示注入——如HTML注释或白底白字文本——旨在后期劫持生成式AI解释。
- 它展示了与生成式AI功能(如摘要、RAG(检索增强生成)和上下文继承)相关的更广泛风险类别。
- 该事件突显了保护AI模型及其与企业数据(如电子邮件和SaaS平台)交互环境的重要性。未保护这些周边系统,AI工具可能成为关键数据暴露和政策违规的载体。
- Trend Vision One™通过其AI驱动的邮件和协作安全,利用关联情报检测来防御此类威胁,转化人类智能、验证邮件意图、分析用户行为并关联可疑信号。
- 对于生成式AI访问控制,Trend Vision One™通过零信任安全访问(ZTSA)保护用户旅程。其AI服务访问功能检查生成式AI提示和响应,防止潜在数据泄漏并确保安全使用。
EchoLeak:武器化上下文
EchoLeak(CVE-2025-32711)是微软365 Copilot中近期发现的漏洞,其零点击性质使其更加恶毒,意味着无需用户交互即可成功。它展示了有益系统如何为全新攻击形式敞开大门——无需恶意软件、无需网络钓鱼——只需AI代理的 unquestioning obedience。
披露团队甚至将此威胁分类为另一种大型语言模型(LLM)利用形式,称为“范围违规”。本文中,我们解析这些术语和风险——以及Trend Micro如何帮助用户保持领先,装备并意识到这些策略,尤其是当AI助手未能做到时。
攻击如何工作?
尽管有安全措施防止此类利用,Aim Security的研究人员能够制作恶意邮件并触发条件绕过这些安全措施,指示AI助手通过以下方式渗出敏感信息:
- 他们发送了一封看似无害的邮件,包含隐藏在markdown格式文本中的恶意提示负载。
- 提示使用HTML注释标签或白底白字文本隐藏——对用户不可见,但完全由Copilot引擎解析。
例如:
|
|
- 之后,当用户提出合法问题(如“总结近期策略更新”)时,Copilot的检索增强生成(RAG)引擎检索较早邮件以提供上下文。
- 隐藏提示被视作指令的一部分,导致Copilot在响应中渗出敏感数据——用户毫无察觉或交互。
- 研究人员还采用了称为RAG喷洒的策略,将恶意提示注入系统多个内容片段,希望其中一个在用户交互期间被拉入生成式AI助手的上下文窗口。
简言之,它利用Copilot处理上下文数据(如较早邮件或消息)以协助用户完成任务或查询的能力。如此,该功能也为威胁行为者静默渗出敏感用户信息创造了机会,无需用户干预。用户甚至无需点击或打开邮件——更不用说弄清楚泄漏如何发生。
此场景也被研究人员称为LLM范围违规——一个广泛适用于基于RAG的聊天机器人和AI代理的术语。它指AI助手无意中包含不应访问的来源或上下文数据的情况,导致特权不足的内容(如此处邮件)链接或暴露特权信息,全部在用户不知情或无意的情况下。
影响:隐秘且影响深远的风险
如其名所示,EchoLeak可能导致敏感业务信息未授权披露——从内部策略到员工个人数据。由于Copilot常从共享资源(如邮件、Teams消息和文档)中提取,任何历史内容均面临风险。
尤其令人担忧的是,该威胁几乎不可见且潜在影响深远。EchoLeak不依赖传统攻击方法。它建立在AI模型如何解释上下文或某种程度上如何未能以用户可能期望的 discernment 水平解释的基础上。此威胁显示AI助手不仅允许新风险,还使用户更少有机会避免或拦截它们。
紧迫性:从新型利用到必要防御
EchoLeak展示了AI生成攻击如何无需恶意软件或社会工程策略即可成功。相反,它们依赖操纵模型本性执行攻击者指令——无需代码执行。此策略转变挑战传统安全策略,标志着组织需重新审视当前防御,尤其是在AI更深入采用之际。
认识到问题严重性,微软已于2025年5月发布服务器端补丁解决漏洞,无需客户操作。然而,尽管目前无已知真实世界EchoLeak事件,风险不应被视为假设。
为防御此类新兴基于LLM的威胁,组织建议:
- 在Copilot设置中禁用外部邮件上下文
- 在防火墙或网络层实施AI特定运行时护栏
- 限制AI输出中的markdown渲染以减少提示注入风险
下一部分,我们将分享Trend Vision One™安全解决方案如何帮助企业在不妥协AI集成便利或效率的情况下保持领先于EchoLeak等风险。
Trend Micro如何填补新兴AI安全缺口如EchoLeak
EchoLeak场景突显了对专为组织当前使用生成式AI方式构建的安全解决方案的迫切需求。
随着企业在通信工作流中采用如Copilot的生成式AI工具,攻击面扩大。Trend Micro通过以下方式应对此转变:
- AI驱动的模式识别,检测邮件线程中的生成式AI滥用尝试。
- 自动化缓解,减少管理员和SOC负载,并以精度加速响应时间。
- 通过持续风险优先级排序和跨AI生命周期(从提示摄入到生成式AI驱动任务如邮件摘要和内容生成)的持续保护改进安全状况。
使用Trend Vision One™邮件和协作安全在源头检测隐形提示注入
Trend Vision One™邮件和协作安全通过AI驱动的邮件保护主动关闭安全缺口——在威胁到达用户前阻止。它应用AI驱动的关联情报检测连接跨邮件和协作威胁的可疑信号。该解决方案专为阻止EchoLeak中使用的攻击类型而设计。Trend通过基于行为分析和AI基础邮件意图(非仅静态规则)的过滤,在事件链开始前阻止。
使用AI驱动的关联情报检测,它:
- 运行实时AI威胁检测以发现异常提示行为。
- 分析邮件元数据和内容以识别隐形提示负载——包括隐藏HTML注释和白底白字文本。
- 利用自然语言处理(NLP)检测意图并防止恶意提示注入。
- 自动响应并阻止AI生成邮件威胁 before they reach the user。
- 验证邮件意图、分析用户行为并关联可疑信号以引导用户采取正确行动——全部通过其与Trend Companion AI的集成。
使用Trend Vision One™零信任安全访问(ZTSA)AI服务访问保护生成式AI服务访问
尽管邮件是生成式AI驱动威胁的关键入口点,它仅是更大图景的一部分。如Microsoft Copilot、ChatGPT和Gemini等工具引入了用户如何访问和与这些服务交互的新风险。ZTSA AI服务访问通过治理对生成式AI平台的访问并应用基于策略的使用控制,主动保护此层。
ZTSA防止对生成式AI平台的未授权访问和通过,具有分层控制以防止风险用户行为并保护敏感数据。关键能力包括:
- 基于用户身份、设备和行为的生成式AI服务细粒度访问控制。
- 对生成式AI请求(包括谁提示、摘要和生成内容)的主动监控和策略执行。
- AI内容过滤以帮助防止敏感信息提交给或由生成式AI工具返回——由后端DLP支持。
- 实时检查生成式AI提示和响应以基于客户定义过滤规则检测潜在提示注入尝试或敏感数据暴露。
通过行业协作推进AI安全
除提供具体防御外,Trend还投资AI安全未来。作为其持续承诺主动保护AI landscape的一部分,Trend已与OWASP Top 10 for LLM and Generative AI Project合作。
此协作融合Trend Micro的深厚网络安全专业知识与OWASP可信、社区驱动的方法论,以帮助塑造围绕LLM和生成式AI所带来演变风险的最佳实践和行业标准。它是对AI专家和网络安全领导者间跨行业协作更广泛呼吁的回应,这对AI安全负责任实施至关重要。