代理AI：安全领导者需要了解的5件事

1. 代理AI正从研究走向现实

与传统仅响应单一提示的生成式AI不同，代理AI系统运行更加自主，通常持续时间更长且人工监督更少。它们能够做出决策、从反馈中学习，并利用推理和规划能力完成多步骤任务。

某些代理甚至具备记忆和目标设定功能，使它们能够适应不断变化的条件并主动采取行动。这对生产力具有重大影响，但也为新型运营和安全风险打开了大门。

根据Forrester的观点，代理AI代表了“从言语到行动”的转变，代理有望嵌入知识工作、开发、云运营和面向客户的系统中。安全团队现在不仅要考虑AI生成什么，还要考虑它在做什么。

2. 新兴用例涵盖开发、机器人技术和IT自动化

代理AI虽然被炒作包围，但我们已经在开发、自动化和机器人技术领域看到了实际应用案例。

亚马逊的新研发团队专注于构建用于机器人技术和软件编排的AI代理，旨在自动化具有物理和数字组件的现实世界任务。

OpenAI的Codex Agent SDK使开发人员能够构建可以与API交互、浏览网络并在无人参与的情况下执行指令的自定义代理。

在企业IT领域，一些早期的代理工具被用于生成和部署脚本、配置系统以及在帮助台平台之间解决工单。

随着这些系统功能越来越强大，它们也变得难以预测。代理AI不仅遵循规则，还致力于实现结果。这使其在企业环境中既有价值又不稳定。

3. 攻击面正在以新的微妙方式扩展

代理AI引入的最关键风险之一是决策不可预测性。这些系统以一定程度的自主性运行，这意味着它们可以基于不总是可追踪或透明的推理采取行动。这给传统控制带来了盲点。

其他风险包括：

• 提示注入和操纵，攻击者将恶意指令输入代理工作流
• 意外的横向移动，特别是当代理与API或第三方服务交互时
• 供应链暴露，因为代理越来越依赖外部工具、插件和数据源来运行

正如在Infosecurity Europe所指出的，当今许多AI威胁模型尚未考虑到可以在动态环境中生成、解释和执行指令的代理。传统的应用安全和身份控制需要发展，不仅要监控访问权限，还要监控随时间变化的行为。

4. 治理、可观测性和遏制至关重要

与早期AI一样，治理将决定代理系统能否成功采用和保护。

MIT Sloan和Thoughtworks的专家一致认为：组织必须重新思考如何在代理环境中应用最小权限、基于角色的访问和异常检测等原则。这包括：

• 观察代理如何推理和决策
• 限制允许它们执行的操作（尤其是在敏感数据或基础设施方面）
• 实施遏制策略，以在发生故障或操纵时限制爆炸半径

基于代理的系统不能像静态应用程序一样对待。安全团队需要能够持续洞察代理活动并在需要时进行干预的工具。

当代理本身集成到安全工作流中时，这一点尤其重要。如果代理负责分类警报或执行剧本，当它失败时谁负责？如何审计其决策？

5. 安全团队有机会引领——但窗口期很短

我们仍处于代理AI采用的早期阶段，这为安全领导者提供了一个难得的机会，从一开始就影响这些系统的实施方式。这包括构建安全默认值、尽早与开发人员接触，以及在代理部署到生产环境之前应用威胁建模和测试。

在Rapid7，我们已经开始通过暴露、意图和可利用性的视角评估代理行为——这些原则同样指导我们思考现代攻击面。我们的目标是帮助客户利用AI的速度和规模，同时不牺牲可见性或控制。

我们还在Exposure Command中引入了AI驱动的应用程序覆盖，以帮助客户识别可能被自主工具利用或通过自主工具利用的错误配置和应用程序层弱点。

安全何去何从

代理AI代表了下一波变革浪潮。它不仅仅是生成输出，而是在采取行动。虽然业务潜力巨大，但安全部署的责任也同样重大。

2025年的攻击者不仅仅在编写更好的钓鱼邮件。他们正在武器化自动化、规模化社会工程，并跳过学习曲线。安全团队需要通过可见性、控制和协作来应对。因为当每个人都能访问相同的技术时，只有那些负责任和防御性使用它的人才能脱颖而出。

准备的时机就是现在。代理AI正在快速发展……它不会等待安全跟上。

(1) Forrester (2025)《借助代理AI，生成式AI正从言语演变为行动》。[在线] 可在：https://reprint.forrester.com/reports/with-agentic-ai-generative-ai-is-evolving-from-words-to-actions-9c6cf2d9/index.html 获取