复杂性的迁移：为何AI代理并未简化网络安全

Hack The Box刚刚赞助了Microsoft Ignite大会，会上介绍了自主安全在代理时代激动人心的新闻、趋势和更新。 AI代理正迅速成为企业安全运营的核心参与者，近一半的《财富》500强公司已经在生产环境中部署了AI代理。在大多数行业垂直领域，安全用例位居AI代理应用的前列。谷歌最近的一份报告强调，早期采用者报告了实际效益；67%尝试代理式AI的组织表示生成式AI对其安全状况产生了积极影响。

AI驱动安全的下一个演变可能是从AI辅助转向AI自主，代理现在作为安全团队的延伸而行动。代理也在快速发展，但网络劳动力是否为此做好了准备？

从表面上看，这对于CISO、SOC负责人以及技术领导者来说，似乎是梦寐以求的场景：更自主的工作流程、更快的威胁响应、以及纯粹的操作性任务被卸载给不知疲倦的机器人。有什么不喜欢的呢？开始浮现的严酷现实是，复杂性无法被消除，只是转移到了不同的层面。没有任何一个接入大型模型的产品能神奇地解决安全问题。换句话说，多代理系统可能让某些任务看起来很简单，但在幕后它们引入了安全领导者必须管理的新复杂性层次。我们的目标是引导组织了解战略现实和技术细节，以安全地整合自主代理到网络安全堆栈中。目标是区分炒作与现实，并为您提供清晰的视野，了解将自主代理集成到网络安全堆栈中需要付出什么。

编排多个代理的隐藏成本

部署一个AI代理舰队并非像按开关那么简单，编排它们会带来自身的开销。以下是一些让致力于代理解决方案的团队夜不能寐的实践，当复杂性再次出现时：

多代理系统需要投入精力来保持代理同步、更新和协作。每个代理可能有不同的版本或技能，这意味着版本控制和升级成为一个重复的过程。
需要复杂的逻辑来实现代理间协调或编排层（但难以测试）来管理工作流、处理故障或超时并确保一致性。一个简单的例子：当一个代理将任务移交给另一个代理时，谁负责编排这个交接？
维护是另一个隐藏成本。代理需要呵护和喂养：模型再训练或微调、提示更新、知识库刷新和性能监控。AI行为会随时间变化。
当然，还有攻击面。一个相互之间以及与您的系统通信的代理团队为对手开辟了新的途径。

简而言之，多代理架构并未消除复杂性。它们重新分配了复杂性。安全团队必须准备好以新的形式处理复杂性，并且需要一个安全的、持续更新的环境来妥善应对。

代理作为安全层的补充，而非替代

设定正确的期望至关重要：AI代理最好被视为安全架构中的附加层，而非传统控制措施的全面替代品。代理可以自动化L1分析、搜索日志、甚至采取遏制行动。但这并不意味着您可以关闭EDR系统或解雇您的威胁猎手。在实践中，取得成功的组织将代理视为与现有防御并存的“力量倍增器”。在战略性地采用AI增强网络运营的公司中，专门的AI代理被用于支持关键功能，如恶意软件分析、检测工程以及警报分类或调查。但即使在这些情况下，代理也在预定义的护栏内执行，并遵循您更广泛的安全堆栈和人类反馈的规则。

超越AI决策的黑盒

组织如何对待AI代理输出的最大危险信号之一是，将其视为一个黑盒“判决”，而没有捕获其得出该结果的过程。传统安全工具通常提供二元结果（恶意与良性、阻止与允许），但这些结果背后有工程师可以审计的日志和数据。 AI代理需要同等或更高级别的遥测。在实践中，这意味着对代理进行检测，使其在操作时发出丰富的日志、元数据和推理追踪。例如，如果一个代理总结了某个事件，记录提供给它的原始输入（警报、事件）和它生成的摘要。如果一个代理执行了修复脚本，记录它尝试执行的操作、调用了哪些函数以及结果。这种细粒度的遥测对于验证代理行为和执行事后分析是不可或缺的。没有详细的追踪记录，团队将几乎无法了解代理为何做出某个决定——如果该决定具有安全后果，这将是一个可怕的局面。关于AI评估的指南强化了这种可见性的需求。OpenAI建议在真实世界条件下测试AI系统，并审查系统行为日志以捕捉故障和边缘情况。网络团队应该持续衡量您的代理正在做什么以及它们表现如何。

强大的可观测性还能实现可重现性和回滚。监管机构最终可能会询问AI系统如何得出特定的风险决策。凭借适当的日志记录和可追溯性，您将能够提供证据，而一个黑盒式的“AI魔法”方法则无法胜任。

护栏和政策：将代理控制在界限内

无论您的AI代理多么智能，它们都必须在明确定义的政策和护栏下运作。人类团队必须保持在循环中。可以将其视为自主系统的“交战规则”。在许多组织中可执行的常见护栏包括：

行动允许/拒绝列表：定义代理可以执行哪些操作，哪些操作在未经人工批准前是禁止的。
基于角色的范围：就像人类有角色和权限一样，代理的范围也应遵循最小权限原则。
人在回路：对于任何可能影响关键系统或数据的代理发起的行动，要求人工确认或审查。这确保了对重大决策的监督。
速率限制：代理以机器速度运行。对代理执行某些操作的频率设置速率限制，以防止失控行为或反馈循环。

通过编纂这些护栏，可以防止AI代理超出其预期范围。通过正确的后训练和强化学习，它们基本上可以成为遵循您组织安全手册的自动队友。

针对AI代理的对抗性测试

将任何新技术引入安全运营时，我们都会对其进行测试。对抗性测试对于理解这些代理在狡猾的攻击者压力下可能如何失败至关重要。需要重点关注的一些关键领域包括：

提示注入和操纵：攻击者精心制作输入，导致代理以非预期方式行事。通过向代理提供恶意或棘手的提示来对其进行红队测试，看看它们是否会被胁迫违反政策。
数据投毒：如果代理从数据中学习，攻击者可能会试图毒化该数据。它是否有护栏来检测输入中的异常？是否过度信任可能被伪造的信息？
越狱和滥用场景：被越狱的代理可能泄露信息或执行超出其预期范围的操作，甚至进行完全由AI支持的间谍活动。对于安全代理来说，这可能意味着看看您是否能诱骗其泄露其有权访问的敏感数据、不记录其操作或忽视某项政策。
共谋或代理间攻击：如果您有多个代理，可以测试其中一个代理被入侵或怀有恶意的场景，并观察它如何误导其他代理。

对抗性测试理想情况下应是一个持续实践，而非一次性审计。正如攻击者不断演变，您的AI代理也将面临新类型的威胁。

炒作与现实：网络劳动力的未来

AI副驾对于L0和L1分析师来说是令人印象深刻的工具。它们可以消化大量的警报，建议修复步骤，甚至自动化常规响应。然而，关键是要降低期望。许多试用AI代理的组织很快发现，其遥测和集成成熟度尚未达到所需水平。例如，如果您的SOC尚未集中详细的日志，您将如何向AI代理提供完整信息？如果您将一个AI代理投入薄弱的安全环境中，它可能成为负担而非资产。一个说明问题的现象是，尽管热情高涨，但各组织并未为了AI而解散其安全工程团队或事件响应职能——但就任务和目标而言，这些团队肯定即将发生根本性的演变。协助分析师的副驾可以减少工作量，或许能处理简单的事务，但它也能将初级分析师转变为专家级的事件响应者。 “只需添加AI就能安全”的说法是一种危险的过度简化。现实是，AI代理能够增强准备充分的组织；它们并不能拯救准备不足的组织。作为安全领导者，请确保您的团队和预算反映这一现实——在试验新的AI工具时，继续投资于熟练的人员和经过验证的防御措施。

分层方法并要求证据

将AI代理视为安全架构中的任何其他组件：保护代码和配置、进行充分检测、执行政策并持续测试。随着AI代理开始做出更自主的决策，需要为其决策提供证据。在一个自主系统的世界中，只有当代理的建议背后有您或您的团队可以验证的遥测数据和透明的推理支持时，您才应该信任它。本质上，信任之前先衡量。在根据代理的判断采取行动或允许其代表您行动之前，坚持要求有遥测数据支持的证据。网络安全领域的AI代理时代无疑令人兴奋，并具有巨大潜力。拥抱它很可能会带来显著的效率提升，但仅限于那些将拥抱与强大纪律相结合的人。将AI代理视为网络武器库中强大的盟友，而非不可预测的未知因素。