当AIOps变成"AI失误"：通过遥测操控颠覆LLM驱动的IT运维

摘要

IT运维人工智能（AIOps）正在通过自动化异常检测、事件诊断和修复来改变组织管理复杂软件系统的方式。现代AIOps解决方案日益依赖基于LLM的自主代理来解读遥测数据并以最少的人工干预采取纠正措施，承诺更快的响应时间和运营成本节约。

在这项工作中，我们对AIOps解决方案进行了首次安全分析，表明AI驱动的自动化再次带来了深远的安全成本。我们证明攻击者可以操纵系统遥测数据，误导AIOps代理采取危害其管理基础设施完整性的行动。

攻击技术

我们引入了通过错误诱导请求可靠注入遥测数据的技术，这些请求通过一种对抗性奖励破解形式影响代理行为；产生看似合理但不正确的系统错误解释，从而引导代理的决策过程。我们的攻击方法AIOpsDoom完全自动化——结合了侦察、模糊测试和LLM驱动的对抗性输入生成——并且在没有任何目标系统先验知识的情况下运行。

防御机制

为了应对这一威胁，我们提出了AIOpsShield，这是一种通过利用遥测数据的结构化特性和用户生成内容的最小作用来净化遥测数据的防御机制。我们的实验表明，AIOpsShield能够可靠地阻止基于遥测的攻击，同时不影响正常的代理性能。

结论

最终，这项工作将AIOps暴露为系统妥协的新兴攻击向量，并强调了安全感知的AIOps设计的紧迫需求。