智能体AI:安全领导者必须了解的五大关键点

本文深入探讨智能体AI从研究走向现实的发展趋势,分析其在开发、机器人技术和IT自动化中的新兴用例,并揭示其带来的新型攻击面扩展风险。文章强调治理、可观测性和遏制策略的重要性,为安全团队提供应对策略。

智能体AI:安全领导者需要了解的5件事 | Rapid7博客

从写作辅助到智能摘要,生成式AI已经改变了企业的运作方式。但现在我们正进入一个新阶段,AI不仅生成内容,还能代表我们采取独立行动。

这一新演进被称为“智能体AI”,并且发展迅速。亚马逊最近宣布成立专门研发小组,专注于智能体系统。OpenAI正在推进其Codex Agent SDK以构建更强大的AI“工作者”。越来越多的企业正在积极尝试使用自主智能体来处理从代码生成到系统编排的一切事务。

虽然潜力巨大,但风险也同样显著。这些新系统给安全团队带来了全新挑战,从不可预测的行为和决策到新形式的供应链暴露。

以下是每位安全领导者现在需要了解的五件事。

1. 智能体AI正从研究走向现实

与响应单一提示的传统生成式AI不同,智能体AI系统更具自主性,通常运行时间更长,人工监督更少。它们能够做出决策、从反馈中学习,并利用推理和规划能力完成多步骤任务。

一些智能体甚至具有记忆和目标设定功能,使它们能够适应变化的条件并主动采取行动。这对生产力有巨大影响,但也为新型运营和安全风险打开了大门。

根据Forrester(1)的说法,智能体AI代表了“从言语到行动”的转变,智能体有望嵌入知识工作、开发、云运营和面向客户的系统中。安全团队现在不仅需要考虑AI生成什么,还需要考虑它在做什么。

2. 新兴用例涵盖开发、机器人技术和IT自动化

虽然智能体AI被炒作包围,但我们已经在开发、自动化和机器人技术领域看到了实际用例。

亚马逊的新研发小组专注于构建用于机器人技术和软件编排的AI智能体,旨在自动化具有物理和数字组件的现实世界任务。

OpenAI的Codex Agent SDK使开发人员能够构建可以与人机交互、浏览网络并在无人参与的情况下执行指令的自定义智能体。

在企业IT中,一些早期的智能体工具正被用于生成和部署脚本、配置系统以及跨帮助台平台解决工单。

随着这些系统变得更强大,它们也变得更难预测。智能体AI不仅遵循规则;它还朝着结果努力。这使其在企业环境中既有价值又不稳定。

3. 攻击面正在以新的微妙方式扩展

智能体AI引入的最关键风险之一是决策不可预测性。这些系统具有一定程度的自主性,这意味着它们可以基于不总是可追踪或透明的推理采取行动。这为传统控制创造了盲点。

其他风险包括:

  • 提示注入和操纵,攻击者将恶意指令输入智能体工作流
  • 意外的横向移动,特别是当智能体与API或第三方服务交互时
  • 供应链暴露,因为智能体越来越依赖外部工具、插件和数据源来运行

正如在Infosecurity Europe上指出的,当今许多AI威胁模型尚未考虑到能够在动态环境中生成、解释和执行指令的智能体。传统的应用安全和身份控制需要发展,不仅要监控访问,还要监控随时间变化的行为。

4. 治理、可观测性和遏制至关重要

与早期AI一样,治理将决定智能体系统的采用和安全成功程度。

MIT Sloan和Thoughtworks的专家一致认为:组织必须重新思考如何在智能体环境中应用最小权限、基于角色的访问和异常检测等原则。这包括:

  • 观察智能体如何推理和做出决策
  • 限制它们被允许采取的行动(特别是涉及敏感数据或基础设施时)
  • 实施遏制策略,在发生故障或操纵时限制爆炸半径

基于智能体的系统不能像静态应用程序一样对待。安全团队需要能够持续洞察智能体活动并在需要时进行干预的工具。

当智能体集成到安全工作流本身时,这一点尤其重要。如果一个智能体负责分类警报或执行剧本,当它失败时谁负责?如何审计其决策?

5. 安全团队有机会引领——但窗口期很窄

我们仍处于智能体AI采用的早期阶段,这为安全领导者提供了一个难得的机会,从一开始就影响这些系统的实施方式。这包括构建安全默认值、早期与开发人员接触,以及在智能体部署到生产环境之前应用威胁建模和测试。

在Rapid7,我们已经开始通过暴露、意图和可利用性的视角评估智能体行为——这些原则指导我们思考现代攻击面的方式。我们的目标是帮助客户利用AI的速度和规模,而不牺牲可见性或控制。

我们还在Exposure Command中引入了AI驱动的应用程序覆盖,帮助客户识别可能被自主工具利用或通过自主工具利用的错误配置和应用层弱点。

安全何去何从

智能体AI代表了下一波转型浪潮。它不仅仅是生成输出;它正在采取行动。虽然业务潜力巨大,但安全部署的责任也同样重大。

2025年的攻击者不仅仅在编写更好的钓鱼邮件。他们正在武器化自动化、扩大社会工程规模并跳过学习曲线。安全团队需要通过可见性、控制和协作来应对。因为当每个人都能够访问相同的技术时,只有那些负责任和防御性使用它的人才能脱颖而出。

准备的时间就是现在。智能体AI正在快速发展……它不会等待安全跟上。

(1) Forrester (2025) With Agentic AI, Generative AI Is Evolving From Words to Actions. [online] Available at: https://reprint.forrester.com/reports/with-agentic-ai-generative-ai-is-evolving-from-words-to-actions-9c6cf2d9/index.html

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计