安全团队最小化AI代理混乱的3种策略

安全往往滞后于创新。前进的道路需要找到平衡点。

Josh Lemos, GitLab CISO
2025年7月18日
5分钟阅读

安全团队对内部威胁再熟悉不过：攻击者或恶意意图者已经在组织内部，因为他们可能是员工、可信承包商或拥有特权访问权限的合作伙伴组织。

但现在出现了一种新的内部威胁——不一定具有恶意，但也不是人类。代理人工智能（AI）系统，虽然在代表部署它们的人类行事，但正准备取代人类决策，并暴露传统授权框架的弱点。

对我们今天所知的软件即服务（SaaS）平台中的授权系统来说，代理AI的出现可能是一场灾难。但如果安全和IT团队以正确的视角主动应对这些挑战，情况就不必如此。团队必须首先了解代理在何处以及为何对其授权系统构成重大风险。

对人类有利 ≠ 对代理有利

授权（AuthZ）是关于管理用户对资源的访问：确保你只能做你被允许做的事情。

然而，需要注意的是，AuthZ系统不一定能阻止用户可能尝试做的所有事情。大多数现有的AuthZ系统都是基于威胁建模构建的，其假设是法律、社会谴责风险或习惯等外部因素将限制人类的不当行为。

因此，当AuthZ系统过度配置访问权限时，通常不会出现问题。过度配置一直存在。例如，当某人刚加入公司时，将现有的一组角色复制到其帐户比仔细考虑他们需要访问什么更容易。到目前为止，这种方法通常不会引起重大问题，因为大多数人不会利用过度配置的访问权限。在上下文中，他们知道如果违反公司准则，可能会失去工作、失去信任或可能入狱。

代理AI系统没有这样的顾虑。

混乱代理的到来

代理AI系统是代理集合，它们相对自主地协同工作以完成给定任务。它们的设计使它们能够发现解决方案并优化效率。

结果是AI代理是非确定性的，在完成任务时可能以意想不到的方式行事，特别是在系统互操作性变得更加复杂时。当AI代理寻求高效完成任务时，它们将发明人类从未考虑过（或会考虑）的工作流程和解决方案。这将产生显著的新问题解决方法——并且不可避免地测试允许的极限。

根据定义，AI代理的涌现行为超出了任何基于规则的治理范围，因为这些规则基于我们对人类行为的期望。通过创建能够发现自身工作方式的代理，我们为代理做人类从未预料到的事情打开了大门。

因此，代表人类行事的代理可能开始暴露这些用户的过度配置访问权限和角色。不受约束人类的社会规范限制，AI代理可能对企业造成有害后果。

例如，一个负责为用户结账流程创建解决方案的AI可能开始创建代码以优化结账过程。你不希望此代理将代码部署到生产环境中，从而关闭亚马逊网络服务（AWS）或谷歌云中它认为与其任务无关（但对业务其他方面至关重要）的服务，或者在其他方面将不稳定性引入相对稳定的系统集合中。

通过适当治理驯服AI代理

安全团队可以通过主动采用新兴最佳实践来预防代理AI可能在其AuthZ系统中引起的混乱。负责任的治理将改变一切，组织可以从关注几个关键领域开始：

复合身份

目前，身份验证（AuthN）和AuthZ系统无法区分人类用户和AI代理。当AI代理执行操作时，它们代表人类用户行事或使用基于以人为中心的AuthN和AuthZ系统分配给它们的身份。

这使回答以前简单问题的过程复杂化，例如：谁编写了此代码？谁发起了此合并请求？谁创建了此Git提交？

它还引发了新问题，例如：谁告诉AI代理生成此代码？代理需要什么上下文来构建它？AI可以访问哪些资源？

复合身份为您提供了一种回答这些问题的方法。复合身份将AI代理的身份与指导它的人类用户联系起来。因此，当AI代理尝试访问资源时，您可以对代理进行身份验证和授权，并将其与负责任的人类用户联系起来。

全面监控框架

运营、开发和安全团队需要方法来监控AI代理在多个工作流程、流程和系统中的活动。例如，仅知道代理在代码库中做什么是不够的——您还需要能够监控其在暂存和生产环境、相关数据库以及它可能有权访问的任何应用程序中的活动。

可以想象一个世界，组织使用自主资源信息系统（ARIS），与我们现有的人力资源信息系统（HRIS）并行，使我们能够维护自主代理的配置文件，记录其能力和专业领域，并管理其操作边界。我们可以在像Knostic这样的LLM数据管理系统中看到此类技术的开端，但这只是开始。

透明度和问责制

无论是否有复杂的监控框架，组织及其员工都需要在使用AI时保持透明。他们需要为自主AI代理建立清晰的问责结构。人类需要定期审查代理的行为和输出，更重要的是，如果代理越界，需要有人负责。

负责任地部署代理

AI代理将为其工作环境带来不可预测性，在许多情况下导致显著的创新和突破。AI代理也肯定会推动现有AuthZ系统的边界。但它们不必成为AuthZ的混乱代理，在整个组织中造成严重破坏。

新兴技术经常挑战现有的安全实践。我们不知道我们不知道什么——这没关系。一个适当的比较是上一次技术演进期间向云计算的转变。安全往往滞后于创新，前进的道路需要找到平衡点。负责任的采用始于拥抱新兴最佳实践。如果我们现在构建正确的治理框架，代理不必引起混乱。