在过去一年中,我和团队与欧洲3000多位顶尖商业领袖进行了交流,得出一个严峻结论:当前四分之三的自主AI项目将会遭遇重大安全挑战。
围绕AI和自主AI的炒作及FOMO(错失恐惧症),导致许多组织在这个新兴领域尚未学会走路就开始奔跑。高德纳预测到2027年自主AI项目取消率将上升,MIT报告显示大多数企业生成式AI试点已经失败,这些都不足为奇。从网络安全角度看情况更糟,斯坦福数据显示仅6%的组织为AI采用了高级安全框架。
但根本问题不在于糟糕的代码,而在于糟糕的治理。除非董事会从一开始就灌输安全思维,紧急介入加强治理,同时设定明确成果并在自主AI部署中嵌入防护措施,否则失败将不可避免。
从答案到行动
自主AI改变了重心。它标志着从AI提供答案到AI采取行动的根本转变。这种转变带来了速度和规模,但也将控制面转移到了身份、权限和监督上。自主AI的成功更少取决于代码行数,更多取决于董事会整体的责任划分。代码质量很重要,但权限决定了影响规模。
自主AI失败的原因
自主AI常常因治理缺口而失败。太多项目由单一职能部门负责,被视作CIO项目而非董事会负责的企业级计划。安全、风险、法务、运营和业务部门要么姗姗来迟,要么根本不参与。结果导致决策漂移、影子构建出现,无人掌控全局。
另一个常见问题是成果漂移。项目启动时没有明确、可衡量的业务和安全成果。团队从工具入手,事后才补充理由。预算超支,试点悄悄进入生产环境,很快无人能向董事会展示经批准的成功标准或风险阈值。
最后,防护措施稀少且未经测试。智能体以过高权限启动,可访问敏感数据,身份检查薄弱,几乎没有实时验证模型来限制访问。没有"安全带",没有AI的零信任。随着集成度提高,初期看似完好的控制措施必然衰减失效。
有效的董事会蓝图
为应对这些风险,企业必须建立强有力的治理。自主AI应被视为以安全为核心的全企业计划。这意味着要创建某种形式的自主AI治理委员会(监督全企业所有自主AI活动的跨职能机构)。该委员会应每月开会,每季度向董事会汇报,并掌握所有决策权。共同责任有助于确保项目具有韧性、合规且战略一致。如果设有首席AI官,应让其负责智能体、数据、权限、所有者和控制的登记册。
定义和限制成果也至关重要。项目应从可衡量的业务目标和风险意识开始,而非技术入手。确立两到三个董事会批准的重要目标,然后设定风险指标、禁止操作和安全基准以防止投资浪费。设计可以从这些边界反向推导。如果某个操作无法与经授权的身份和可审计目的关联,就不应执行。
最后,组织必须在第一天就建立防护措施。通过零信任原则平衡信任与控制。权限控制和身份优先安全是自主AI的新防护栏。智能体应被视为身份,将人员、机器和智能体身份统一在单一策略下。实施最小权限、短期凭证和职责分离。对风险步骤使用子智能体;对不可逆操作保持人工介入;记录每个决策和调用的日志。安全设计确保创新不会让企业暴露于可避免的风险。可以这样想:你会给实习生无限制访问权限吗?那为何要给AI智能体?记住,自主系统的自治权必须靠赢得,而非假设。
本季度可执行的检查
治理
- 组建自主AI治理委员会并公布其职责范围
- 维护智能体、数据访问、所有者和控制的实时登记册
- 上线前进行事前剖析、红队提示和场景测试
- 每季度与董事会审查事件和未遂事件
成果
- 按用例批准可衡量目标并设定损害阈值
- 列出始终需要人工决策的不可逆操作
- 将每个操作映射到身份和目的代码
防护栏
- 统一人员、服务和智能体的身份
- 应用最小权限、过期凭证和子智能体模式
- 要求签名请求和响应并持续监控
- 对发布步骤或影响客户的变更保持人工介入
自主AI格局
复杂性正在上升。碎片化技术栈在网络、云、SaaS和OT领域隐藏着盲点。Unit 42报告显示,大多数事件现在涉及多个攻击面。太多地方信任度过高,云环境中过度授权账户仍是常态。响应时间以天衡量,而目标应是分钟级。自主AI项目可能放大每个弱点,除非从开始就加以控制。
Palo Alto Networks的定位
保护AI创新并不困难。我们的角色是将焦点从复杂性转向为客户提供原生集成、创新、成本效益高且实时的成果。我们称这种方法为"平台化"。通过将这种方法与零信任安全文化结合,组织可以为员工和开发者的AI项目提供安全保障。我们推出Prisma® AIRS™,让CXO重获对生成式AI和自主系统的可见性、控制和合规性,在其完整资产中应用统一策略,实现攻击面100%可见。
成功典范
自主AI只有在嵌入具有明确所有权和监督的全企业计划中才能成功。从第一份设计文档到季度评审,治理始终存在,成果清晰,防护措施从一开始就内置其中。当安全成为整个过程中的核心合作伙伴时,才能实现强力交付。这项工作从董事会开始,然后贯穿架构、工程和运营。
了解全球最全面的AI安全平台Prisma AIRS如何帮助客户保护所有应用、智能体、模型和数据。
关键要点
- 自主AI项目因治理不善面临重大安全挑战。许多组织在未建立强大安全思维的情况下仓促推进自主AI,导致项目取消和失败率高企。核心问题不是糟糕的代码,而是缺乏董事会级监督和清晰治理。
- 自主AI将焦点从答案转向行动,增加了对强力控制和问责的需求。这种转变带来了速度和规模,但也将控制面转移到了身份、权限和监督上。成功取决于董事会清晰的责任划分,而不仅仅是代码质量。
- 自主AI成功的"董事会蓝图"包括建立治理、定义和限制成果、从第一天开始构建防护栏。这包括组建自主AI治理委员会、设定具有风险意识的可衡量业务目标,以及为智能体实施零信任原则、统一身份、最小权限和持续监控。