OWASP将工具滥用列为Agentic AI的关键威胁

今年早些时候，OWASP发布了名为《Agentic AI - 威胁与缓解措施》的Agentic AI安全指南。该文件强调了安全部署这一新兴技术所面临的独特挑战，并提出了缓解措施和防御架构模式。

OWASP指出，智能体有望通过其与计算工具和服务交互的能力彻底改变系统工作流程，但这些交互也打开了独特的攻击面。

该文件提出了一个智能体系统的参考架构，包含四个组件：记忆系统、智能体调用的工具、规划系统和协调层。虽然文件中识别了十五种威胁，但其中大多数也存在于其他基于LLM的系统（如聊天机器人）中，并非智能体系统特有。这些威胁在其他OWASP文档中已有记录——例如《OWASP大型语言模型应用十大安全风险》。

工具滥用被确定为主要的新威胁，工具的使用意味着如果智能体被诱骗向工具发送任意内容，攻击者就可以利用工具中存在的所有漏洞。OWASP将其定义为：

工具滥用发生在攻击者通过欺骗性提示和操作误导操纵AI代理滥用其授权工具，导致未经授权的数据访问、系统操纵或资源利用，同时保持在授予的权限范围内。

一个例子可能是智能体被诱骗使用错误的用户凭证调用工具，或进行具有提升权限的调用。提示注入可用于制作利用底层API弱点（如脚本注入或破碎的对象级别授权）的API调用。

为了应对工具滥用，指南描述了两种主要的架构防御模式。第一种是在智能体和工具之间添加AI防火墙。这是一个专门组件，用于检查智能体系统的输入和输出并阻止受损请求。这些组件的部署方式类似于为检查网站和API流量而部署的Web应用防火墙。第二种模式是监控来自智能体的遥测流，查找异常的输入或输出，并通过实时阻止工具使用来响应。

可以得出的最重要结论是，智能体不可信任，来自智能体的请求应以与来自互联网的请求大致相同的方式对待。

除了防御工具滥用外，OWASP文件还定义了针对所有Agentic AI威胁有效缓解的要求。这需要严格的访问验证、行为监控、清晰的操作边界和强大的执行日志。访问验证对智能体尝试使用的每个工具执行即时验证，行为监控分析工具使用模式以检测异常，操作边界定义并强制执行智能体被允许采取的严格、明确的限制，执行日志维护所有AI工具调用的防篡改日志，以支持异常检测和事后取证审查。