新型"提示中间人"攻击威胁主流生成式AI工具安全

浏览器安全厂商LayerX发现新型"提示中间人"攻击技术,攻击者可通过恶意浏览器扩展向ChatGPT、Gemini等主流生成式AI工具注入恶意提示,窃取敏感数据。该攻击利用AI工具与浏览器DOM交互的弱点,无需特殊权限即可实施数据窃取。

ChatGPT、GenAI工具面临"提示中间人"浏览器攻击

一种全新的网络攻击向量允许威胁行为者使用受污染的浏览器扩展向市场上所有顶级生成式AI工具注入恶意提示,包括ChatGPT、Gemini等。

来源:Tony Hobbs via Alamy Stock Photo

一种创新的提示注入攻击者仅使用浏览器扩展就能窃取您的数据。

浏览器安全厂商LayerX今天发布的研究专注于其发现的一种攻击,该攻击代表了AI工具浏览器实例与Web浏览器本身交互方式中的"弱点"。这种被称为"提示中间人"的攻击利用了一个事实:对于许多生成式AI/LLM驱动的工具,输入字段是页面文档对象模型(DOM)的一部分,这是Web浏览器用于呈现文档的API。

由于浏览器扩展在Web浏览器中可能具有高权限,并且它们也依赖于DOM,LayerX表示:“任何具有对DOM脚本访问权限的浏览器扩展都可以直接读取或写入AI提示。“这就是攻击者的机会所在。

根据与Dark Reading独家分享的研究报告:“LayerX的研究表明,任何浏览器扩展,即使没有任何特殊权限,都可以访问商业和内部LLM的提示,并注入提示来窃取数据、外泄数据并掩盖其踪迹。”

虽然这不是涉及特定模型或产品的漏洞,但LayerX声称包括ChatGPT、Gemini、Deepseek、Copilot和Claude在内的多个模型都容易受到两种版本的攻击。

提示中间人:工作原理

攻击者可以通过多种方式执行此攻击,例如通过利用后安装的浏览器扩展、通过网络钓鱼或域名抢注等社会工程方法无意中安装的扩展,或者用户已安装但攻击者购买访问权限后污染的扩展。

在最后一种情况下,用户无需采取任何行动。这似乎也不是一个牵强的场景,因为Chrome Web商店(作为一个注入示例)有一整类扩展,其功能集包括提示编写、读取和编辑。

一旦攻击者能够访问用户易受攻击浏览器内的扩展,该扩展就可以与生成式AI(GenAI)工具通信、注入提示并读取它们。这里最明显的风险是数据泄露和盗窃,因为根据工具的不同,攻击者可能获得个人身份数据、文件夹和文件内容等访问权限。

内部LLM尤其容易受到攻击,因为正如研究指出的,它们"通常使用高度敏感的专有组织数据进行训练或增强”,例如法律文件、内部通信、源代码、知识产权、财务预测、公司战略等。

这些内部LLM在安全角度也具有高度信任,并且查询防护措施较少。

该研究包括针对ChatGPT和Gemini的概念验证(PoC)攻击。

在前者中,用户安装了未启用任何权限的受损扩展。命令和控制(C2)服务器向扩展发送查询,该扩展打开后台标签页并查询ChatGPT。结果被外泄到外部日志,扩展删除相关聊天记录。

Gemini PoC依赖于这样一个事实:默认情况下,Gemini可以访问最终用户在Google Workspace中可访问的所有数据,如电子邮件、文档、联系人以及用户具有权限的所有共享文件和文件夹。Gemini与Workspace的集成还包括Google应用程序中的侧边栏,允许用户自动化某些功能。

LayerX在其研究中表示:“新的Gemini集成直接在页面内实现,作为现有页面顶部的附加代码。它修改并直接写入Web应用程序的文档对象模型(DOM),使其能够控制并访问应用程序内的所有功能。”

研究人员补充说:“LayerX发现,由于这种集成的实现方式,任何浏览器扩展,无需任何特殊扩展权限,都可以与提示交互并向其中注入提示。因此,几乎任何扩展都可以访问Gemini侧边栏提示并查询其所需的任何数据。”

风险与缓解措施

LayerX首席执行官兼联合创始人Or Eshed告诉Dark Reading,他"毫不怀疑"攻击者会利用这种攻击。“这种攻击的潜在用例和场景是无限的,“他说。“这是一个非常容易得手的目标。”

虽然利用潜力很高,而且传统安全工具无法看到DOM级别的交互,但Or解释说,在防御方面,保护浏览器是"可通过浏览器保护或更安全的AI应用程序来管理和实现的”。

LayerX在其研究中表示,防御者应通过监听器或webhook监控其GenAI工具内的DOM交互,并基于行为风险而非允许列表阻止风险扩展。组织还应定期审核其环境中的扩展以及这些扩展具有的权限。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计