Salesforce AI代理被迫泄露敏感数据

研究人员再次发现了一个针对缺乏足够安全控制的自主代理的间接提示注入机会（被称为"ForcedLeak"）——但这次风险涉及个人身份信息、企业机密、物理位置数据等更多内容。

Salesforce的Web表单可能被该公司的"Agentforce"自主代理操纵，从而泄露客户关系管理数据——这是一个令人担忧的发展，因为传统的软件即服务提供商竞相将代理AI集成到其平台中，以提升用户体验并在投资者中产生轰动效应。

Agentforce是内置在Salesforce生态系统中的代理AI平台，允许用户为大多数可想象的任务启动自主代理。然而，根据Noma Security研究人员的说法，自主技术似乎成为了AI提示训练复杂性的受害者。

具体来说：研究人员在Agentforce中发现了一个关键漏洞链，在CVSS漏洞严重性评分中获得了9.4分（满分10分）。本质上，这是AI时代的跨站脚本攻击——攻击者将恶意提示植入在线表单中，当代理后来处理它时，就会泄露内部数据。与最近出现的所有其他提示注入概念验证一样，Noma将其技巧命名为"ForcedLeak"。

为了降低风险，用户应将用户依赖的任何其他外部URL添加到Salesforce可信URL列表或其AI代理的指令中。根据Salesforce的说法，这包括外部反馈表单（如forms.google.com）、外部知识库或您的代理需要链接到的任何第三方网站。

如何操纵Salesforce AI代理

假设您想要演示公司的产品。您可能会请求使用Salesforce的"Web-to-Lead"表单进行操作。您在供应商的网站上输入您的姓名、公司名称和电子邮件地址，然后如果您想详细说明，还有一个"描述"字段。提交后，它会直接进入他们的CRM系统。

这正是过去几年攻击者可能选择注入恶意代码的地方。如今主流网站已经不会轻易上当受骗于代码注入，但提示注入呢？

这取决于"上下文边界"——为特定业务应用设计的AI是否也会响应任何其他类型的提示，随机来自外部。为了在这种情况下找出答案，Noma研究人员通过简单询问Salesforce的专有AI模型"红色和黄色混合得到什么颜色？“来测试Agentforce。它的回答是：“橙色。“这表明AI会处理超出标准销售互动范围的事务。

了解到这一点，攻击者可以将提示嵌入Web-to-Lead表单中。如果线路另一端的员工使用AI代理处理该表单——例如，一个负责获取潜在客户并向原始发件人发送常规电子邮件回复的代理——该代理也将处理任何恶意指令。

当然，代理的行为有一些限制。例如，Agentforce机器人足够聪明，不会将敏感的CRM数据泄露到您个人的Web域。

但是，研究人员也找到了绕过这一限制的方法，当时他们意识到Salesforce的内容安全策略将许多可信域加入了白名单，包括已过期的"my-salesforce-cms.com”。因此，在他们的恶意提示中，他们请求将内部潜在客户列表及其电子邮件地址发送到该域，在真实的攻击场景中，黑客可能已经购买了该域。

“这基本上就是游戏结束了，“Noma首席技术官兼联合创始人Alon Tron说。“我们能够入侵代理并告诉它做任何事情。它可以按照我们的要求泄露信息。但也可以被要求更改CRM中的信息、删除数据库等。“理论上，攻击者还可以使用Agentforce代理转向其他企业系统。

Agentforce数据泄露场景

研究人员警告说，通过此类攻击，内部通信、业务战略洞察以及大量关于员工和客户的具体信息都可能被窃取。可能更糟糕的是，“CRM工具的用户可以在备注和自定义字段中跟踪各种数据。备注可能包括客户的个人详细信息，如年龄、爱好、生日和家庭状况。通常，公司还会跟踪与客户的互动，包括通话的日期和时间、会议地点、对话细节，现在借助自动化工具，甚至包括整个聊天记录。最后，CRM通常用于跟踪交易信息，包括但不限于购买历史、订单价值和支付信息。”

此外，“一旦他们掌握了销售数据，攻击者就知道谁在期待什么、何时以及可能从谁那里来，“Apollo Information Systems的首席信息安全官Andy Bennett指出。这意味着"所有这些销售信息都可以用来定制和针对各种类型的社会工程攻击。简而言之，销售数据可能是攻击者用来选择并有效锁定受害者的最佳数据之一。”

为了解决ForcedLeak问题，Salesforce专注于攻击链的数据泄露方面，抢注了那个过期的域名，并更普遍地强制执行了更严格的可信URL规则。然而，根据Noma的说法，对其AI处理指令方式的结构性修复目前仍然难以实现。

“这是一个复杂的问题，定义并让AI理解提示中什么是恶意的，什么不是，“Tron解释道。他乐观地补充说，“Salesforce正在努力实际解决根本原因，并提供更强大的提示过滤方法。我们期望他们为他们的模型和代理本身创建更强大的防御层。”

就Salesforce而言，一位发言人向Dark Reading发表了以下声明：“Salesforce已意识到Noma报告的漏洞，并发布了补丁，防止Agentforce代理的输出被发送到不可信的URL。提示注入的安全格局仍然是一个复杂且不断发展的领域，我们继续投资于强大的安全控制，并与研究社区密切合作，帮助保护我们的客户应对这类问题。”