AI for Good：Signal总裁警告代理式AI安全漏洞

安全消息应用Signal总裁警告了代理式AI（agentic AI）的安全隐患——这种人工智能系统能够访问系统以帮助人们完成特定任务。

在联合国AI for Good峰会的“委托决策，放大风险”环节中，Meredith Whittaker讨论了Signal及其他应用程序的安全将如何被代理式AI破坏。她表示，行业正在投入数十亿美元推进AI技术，并押注于开发强大的中介系统。

她以AI代理所需访问权限为例说明：“为了预订餐厅，它需要访问你的浏览器来搜索餐厅，还需要访问你的联系人列表和消息，以便向朋友发送消息。获得Signal的访问权限最终将破坏我们在应用层提供强大隐私和安全的能力。”

Whittaker指出，为了让AI代理在没有用户交互的情况下自主工作，它们需要在根级别对用户的IT系统具有普遍访问权限。这种访问方式违背了网络安全最佳实践，“任何安全研究人员或工程师都知道，这正是单点访问可能导致更敏感域访问的向量”。

代理式AI的另一个安全风险是旧的软件库和系统组件可能不太安全。她警告说：“当你让代理式AI系统访问如此多的数字生活时，这种普遍访问会创建一个严重的攻击向量[以针对]安全漏洞。”

与其他应用程序一样，Signal消息应用在操作系统的应用层运行，并专门设计为不使用“根”访问权限以避免网络安全风险。Whittaker说：“你使用的Signal messenger应用是为iOS或Android或桌面操作系统构建的，但在这些环境中它都不会对整个系统具有根访问权限。它无法访问你日历中的数据，也无法访问其他内容。”

“Signal能够为政府、军队、人权工作者、联合国工作人员和记者提供所需的安全和隐私保障的地方是在应用层，”她说。但AI代理需要绕过这些安全限制。她警告说：“我们正在讨论这些代理的集成，通常在操作系统级别，它们被授予权限进入应用层。”

对Whittaker来说，代理的开发方式应该引起任何在操作系统应用层运行应用程序的人的关注，这对大多数非系统应用程序来说都是如此。“我认为这不仅对Signal令人担忧，对任何技术存在于应用层的人来说都是如此，”她说。

她以Spotify为例，表示它不想让所有其他公司访问其所有数据。“那是专有信息，是用于向你销售广告的算法。但现在一个代理通过承诺策划播放列表并将其发送到你的消息应用中的朋友，现在该代理可以访问所有这些数据。”

Whittaker还警告政府，在部署AI系统访问地缘政治敏感信息时面临的风险，这些系统使用了大型科技提供商之一的应用程序编程接口（API）。“它如何访问你的系统数据？如何汇集这些数据？我们知道数据池是一个蜜罐，可能是一个诱人的资源，”她说。

AI系统是概率性的，并利用不同的训练数据集来得出用户查询的合理答案。“AI不是神奇的东西，”Whittaker补充道。“它是一些统计模型，而AI代理通常基于多种不同类型的AI模型，包装在一些软件中。”

她敦促考虑代理式AI的代表评估这些系统所需的数据访问权限，并了解它们如何实现结果。

AI模型在企业内容上训练的方式是最近Computer Weekly与Gartner分析师Nader Heinen的播客主题，他讨论了在AI引擎中内置访问控制的必要性，以便它能够理解用户有权查看哪些数据集。

Heinen警告说，除非将这种访问控制内置到AI引擎中，否则存在非常真实的风险，即它会无意中向不应访问此信息的人透露信息。

Heinen认为避免内部数据泄漏的一种可能方法是部署小型语言模型。在这里，基于企业数据的子集训练和部署不同的AI模型，这些子集与各类用户的数据访问策略保持一致。Heinen表示，这样的策略可能既非常昂贵又非常复杂，但补充说：“对于许多情况来说，这也可能是前进的方向。”

主要AI提供商还将其中一些技术出售给国防部门。这是AI for Good会议上一位演讲者敦促代表们警惕的事情。这些提供商每次使用AI API时收集的数据是私营和公共部门的每个业务决策者和网络安全专家都需要考虑的问题。