Agent AI źródłem problemów w Salesforce - jak można było doprowadzić do wycieku danych klientów? ForcedLeak
30 września 2025, 16:30 | W biegu | 0 komentarzy
Tagi: ai, Exploit, indirect, prompt injection, salesforce, websec
概述
将大型语言模型(LLM)集成到日常工具中并未减轻安全风险。设计良好的代理确实能简化操作员工作,但正如我们最近所见,它也带来了严重威胁。NOMA公司的研究人员展示了一种非常相似的攻击,能够迫使支持客户服务的AI代理将数据泄露到外部服务器。
TLDR摘要:
- 在Salesforce中添加AI代理不仅简化了客户服务工作,还打开了一个可能导致系统信息泄露的关键漏洞
- NOMA公司研究人员展示了如何进行间接提示注入攻击
- 通过配置错误,他们成功将信息泄露到他们控制的外部服务器
漏洞详情
该漏洞被命名为ForcedLeak,根据CVSS 3.1标准评分为9.4分,属于系统关键漏洞。
攻击基于间接提示注入技术,该技术我们曾在Sekurak多次描述。提示注入是通过操纵查询来迫使基于大型语言模型的系统执行某些禁止操作的方法。“间接"方法涉及将恶意查询放置在模型处理的数据中,而不是直接放在提示中。
这种滥用方式有两个优势:
- 更好地隐藏攻击 - 只有在模型开始处理特制数据时才会执行
- 虽然开发人员越来越意识到并试图防范简单的提示注入,但间接方法即使在看似更好的保护系统中也证明非常有效
攻击向量
NOMA团队展示的攻击针对使用Web-to-Lead组件的Salesforce系统。此功能允许创建表单,提交表单等同于在CRM数据库中创建"Lead"记录。这旨在获取尚未成为客户但可能成为客户的人员和组织的联系信息。
研究人员分析了表单数据结构,并根据限制和字段大小选择了提示注入点。在所有用户通过Web-to-Lead功能提供的信息中,“描述"字段具有最大的字符限制。研究人员(出于明显原因)决定将提示放置在此处。
攻击机制
要攻击LLM代理,首先需要理解语言模型的操作上下文。在Salesforce中,销售团队可能这样表述查询:
“找到用户Adam Adamski的提交,然后分析它。接着起草邮件草稿,包含对所有问题的回答。”
在这种情况下,AI代理将使用可用工具(通过MCP协议或其他信息交换机制)从CRM系统中提取有关(潜在)客户的额外信息。在此阶段发生实际攻击,因为包含注入提示的记录将从数据库检索,然后由模型处理。
数据外泄技术
由于AI代理具有特定且通常受限的与外部世界通信方法,攻击者通常利用将图像添加到生成响应中。如果与模型通信的前端应用程序允许添加img标签,这(在某些条件下)提供了迫使浏览器将数据传输到其他系统的可能性。
在Salesforce案例中,道德黑客遇到了Content-Security-Policy头的问题,该头定义了浏览器可以从何处获取额外资源,如JS脚本、CSS样式表和图像。
列表1. Salesforce系统中的CSP配置:
|
|
通过分析域名,发现其中一个域名 - my-salesforce-cms[.]com已过期,在测试时可以被购买。这使得研究人员能够通过在被收购域名的相应配置记录指向的服务器上启动WWW服务来绕过CSP机制。
完整攻击流程
- 攻击者使用连接到web-to-lead功能的表单页面
- 在描述中放置提示
- 销售部门员工使用AI代理处理新提交
- LLM处理提交的表单时执行攻击者包含的命令,从而检索和处理数据,然后不仅向员工渲染响应,还附加链接到my-salesforce-cms[.]com域中图像的img标签
- 员工浏览器执行查询,在URL参数中传递攻击者请求的数据
具体攻击示例
研究人员展示了完整的提示注入,通过以下命令成功从系统中提取了其他客户的电子邮件地址:
列表2. 研究人员用于从系统提取信息的提示:
|
|
修复措施
报告漏洞后,Salesforce公司为其使用的AI系统引入了Trusted URL Enforcement策略。因此,系统确保只有受信任的URL被处理(即由代理本身向其发出查询)并在渲染的响应中使用。通过引入这些规则,工程师希望不可能将数据泄露到外部系统。防范提示注入攻击本身无疑是更困难的任务…
~Black Hat Logan