安全领导者必须了解的5个Agentic AI核心要点

本文深入探讨Agentic AI从研究走向现实应用的进程,分析其在开发、机器人和IT自动化中的新兴用例,揭示其带来的新型攻击面扩展风险,并强调治理与可观测性的关键作用,为安全团队提供应对策略。

安全领导者需要了解的5个Agentic AI关键点

从写作辅助到智能摘要,生成式AI已经彻底改变了企业的运作方式。但现在我们正进入一个新阶段:AI不再仅仅生成内容,而是能够代表我们独立行动。

这一演进被称为“Agentic AI”,并且发展迅速。亚马逊最近宣布成立专门研发组专注于Agentic系统;OpenAI正在推进其Codex Agent SDK以构建更强大的AI“工作者”;越来越多企业积极试验自主代理来处理从代码生成到系统编排的各项任务。

潜力巨大,风险也同样显著。这些新系统给安全团队带来了全新挑战,从不可预测的行为和决策到新型供应链暴露。

以下是每位安全领导者现在需要了解的五件事。

1. Agentic AI正从研究走向现实

与传统仅响应单一提示的生成式AI不同,Agentic AI系统运作更加自主,通常持续时间更长且人类监督更少。它们能够做出决策、从反馈中学习,并利用推理和规划能力完成多步骤任务。

某些代理甚至具备记忆和目标设定功能,使其能够适应变化的条件并主动采取行动。这对生产力影响巨大,但也为新型运营和安全风险打开了大门。

根据Forrester(1)的观点,Agentic AI代表了“从言语到行动”的转变,代理即将嵌入知识工作、开发、云运营和面向客户的系统中。安全团队现在不仅需要考虑AI生成什么,还要关注它在做什么。

2. 新兴用例涵盖开发、机器人和IT自动化

Agentic AI虽然被炒作包围,但我们已经在开发、自动化和机器人领域看到实际用例涌现。

亚马逊的新研发组专注于构建用于机器人和软件编排的AI代理,旨在自动化包含物理和数字组件的现实世界任务。

OpenAI的Codex Agent SDK使开发人员能够构建可与API交互、浏览网络并在无人参与的情况下执行指令的自定义代理。

在企业IT中,一些早期代理工具正被用于生成和部署脚本、配置系统以及跨帮助台平台解决工单。

随着这些系统能力增强,它们也变得更难预测。Agentic AI不仅遵循规则;它为实现结果而工作。这使其在企业环境中既具有价值又充满变数。

3. 攻击面正以新颖且微妙的方式扩展

Agentic AI引入的最关键风险之一是决策不可预测性。这些系统以一定程度的自主性运作,意味着它们可以基于并不总是可追踪或透明的推理采取行动。这给传统控制带来了盲点。

其他风险包括:

  • 提示注入和操纵:攻击者将恶意指令输入代理工作流
  • 意外的横向移动:特别是当代理与API或第三方服务交互时
  • 供应链暴露:因为代理日益依赖外部工具、插件和数据源来运作

正如在Infosecurity Europe所指出的,当今许多AI威胁模型尚未考虑到能在动态环境中生成、解释并执行指令的代理。传统应用安全和身份控制需要演进,不仅要监控访问,还要长期监控行为。

4. 治理、可观测性和遏制至关重要

与早期AI一样,治理将决定Agentic系统能否成功采用和安全保障。

MIT Sloan和Thoughtworks的专家一致认为:组织必须重新思考如何在代理环境中应用最小权限、基于角色的访问和异常检测等原则。这包括:

  • 观察代理如何推理和决策
  • 限制它们被允许采取的行动(特别是涉及敏感数据或基础设施时)
  • 实施遏制策略以限制故障或操纵时的爆炸半径

基于代理的系统不能像静态应用那样对待。安全团队需要能够持续洞察代理活动并在需要时进行干预的工具。

当代理本身集成到安全工作流中时,这一点尤为重要。如果代理负责分类警报或执行预案,失败时谁负责?如何审计其决策?

5. 安全团队有机会引领——但窗口期很短

我们仍处于Agentic AI采用的早期阶段,这为安全领导者提供了一个难得的机会,从一开始就影响这些系统的实施方式。包括构建安全默认设置、早期与开发人员合作,以及在代理部署到生产环境前应用威胁建模和测试。

在Rapid7,我们已经开始通过暴露、意图和可利用性的视角评估代理行为——这些原则同样指导我们思考现代攻击面。我们的目标是帮助客户利用AI的速度和规模,而不牺牲可见性或控制。

我们还在Exposure Command中引入了AI驱动的应用覆盖,帮助客户识别可能被自主工具利用或通过自主工具利用的错误配置和应用层弱点。

安全何去何从

Agentic AI代表了下一波变革浪潮。它不仅在生成输出;而是在采取行动。虽然业务潜力巨大,但安全部署的责任也同样重大。

2025年的攻击者不仅编写更好的钓鱼邮件。他们正在武器化自动化、扩大社会工程规模并跳过学习曲线。安全团队需要通过可见性、控制和协作来应对。因为当每个人都拥有相同技术时,只有那些负责任和防御性使用它的人才能脱颖而出。

准备的时间就是现在。Agentic AI发展迅速……它不会等待安全跟上。

(1) Forrester (2025) With Agentic AI, Generative AI Is Evolving From Words to Actions. [在线] 可在: https://reprint.forrester.com/reports/with-agentic-ai-generative-ai-is-evolving-from-words-to-actions-9c6cf2d9/index.html

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计