AI的双刃剑：如何扩展攻击面并赋能防御者
最近，SentinelOne发布了两份报告，重点介绍了云安全挑战的两个方面：
- 云安全调查报告：基于400名网络安全经理和实践者的见解，涵盖当前云安全运营、责任、技术感知和未来投资计划。
- 云安全风险报告：详细描述了2025年的五个新兴风险主题，包括利用云凭证盗窃、横向移动、易受攻击的云存储、供应链风险和云AI服务的攻击示例。
两份报告的一个共同点是AI如何成为一把双刃剑，既带来风险也带来机遇。在风险方面，AI提供了前所未有的功能，但其对数据的提升访问和在业务应用中的关键位置，加上相对新颖性，使其成为对手的有吸引力的目标。保护AI应成为组织积极构建AI驱动服务的首要任务。
在机遇方面，许多AI功能似乎天生适合安全用例。以机器速度提供上下文和决策、查询专家数据库的能力以及将纯语言转换为结构化查询的能力，只是组织可以从AI中获益的几个方面。AI已被证明是防御者不可或缺的工具，显著提高了云安全运营的速度、准确性和整体有效性。因此，许多调查受访者将AI视为平衡云安全挑战不对称性的机会。
本博客文章探讨了风险和机遇以及它们相交的领域。
扩展的AI攻击面
AI的快速发展和采用代表了威胁参与者的新攻击面。从利用配置错误的云AI服务到破坏用于构建AI应用程序的工具，再到针对底层基础设施。虽然AI作为威胁面相对较新，但许多风险将显得熟悉，因为相同的挑战再次出现——配置错误、漏洞、访问管理和供应链风险。事实上，AI安全的某些元素在此阶段仍被认为是初级的。
针对AI时旧威胁的新形式
“依赖混淆”是一种旧威胁，其中恶意工具由于名称相同而被误认为是可信工具。一段时间以来，它并不是一个可信的风险，因为大多数DevOps流水线不允许包和/或工具如此轻易地交换。开源包市场也不再允许使用相同的名称。然而，在模型上下文协议（MCP）的背景下，这种旧风险再次变得新颖。
模型上下文协议（MCP）使LLM能够与外部系统交互，并允许您构建支持API的“作业”。例如，用户可以要求ChatGPT设置一个重复任务，检查他们的Gmail账户中来自雇主的电子邮件，并将其标记为高紧急度。然后，这连接到另一个作业，可能会向用户发送SMS通知。
虽然将外部系统和数据连接到LLM有真正的商业价值，但这种机会伴随着风险。MCP不断更新其上下文，这包括其工具范围。目前，它使用拉入其上下文的最新工具，这就是依赖混淆风险回归的地方。如果上传了同名的恶意工具，该工具将被认真使用。其他旧威胁也有轻微修改。类似于上面的依赖混淆，typosquatting以新形式回归。Typosquatting描述了威胁参与者如何故意模仿或对名称进行轻微错误，希望不知情的用户点击恶意域名。
随着LLM辅助代码开发的兴起，typosquatting的威胁重生为现在称为“vibe coding”的现象。尽管vibe coding可能会带来某些加速收益，但不幸的是，增加了安全风险。LLM已被观察到在开源包名称中产生轻微错误——一种称为slopsquatting的typosquatting现象。从威胁参与者的角度来看，有机会寻找常见的AI幻觉包名称，并上传同名的恶意包，希望其他使用相同LLM的开发人员会生成相同的不正确包名称，导致下载。
一位研究人员用ChatGPT和流行包Huggingface证明了这一概念。研究人员创建了一个带有幻觉名称的虚拟包，以监控可能使用相同 squat 名称的其他用户代码的请求，并在今年1月至3月期间收到了超过30,000次下载。
其他熟悉的威胁向量
我们在这个三部分系列的第一篇博客中展示了配置错误和受损凭证，尽管可以说是基本攻击向量，但由于日益复杂的攻击，继续是云安全团队面临的前两大风险。这一主题在查看AI攻击面时也成立。
泄露的凭证
除了slopsquatting的风险外，利用LLM帮助生成代码的开发人员应在部署到生产环境之前考虑泄露凭证的安全影响。在最近一项针对20,000个启用Copilot的存储库的研究中，秘密泄漏百分比被发现为39%，高于所有其他存储库（Copilot泄漏6.4% vs 行业统计4.6%）。此外，对提示到WebApp业务Lovable的小规模研究发现，分析的2,000个域名中近一半被发现泄漏JSON Web Token、API密钥和云凭证。
这里的简单解决方案可能是在提示旁边包含安全指令。毕竟，在这些实例中，LLM正在执行其开发代码的主要角色，只是没有被要求额外考虑代码的安全性。
配置错误
由云提供商如AWS SageMaker、Azure OpenAI和Google Vertex AI提供的AI服务类似于虚拟机或应用程序服务等云服务。每个资源都可能被威胁参与者针对并利用以破坏该服务或获得对更广泛云环境的访问。关键区别在于AI服务是新的，需要时间确保默认角色、权限和配置不会过于宽松或 otherwise 授予对敏感操作的访问权限。
风险报告中详细描述了与SageMaker相关的几种场景。例如，当启动SageMaker Studio笔记本时，其用户配置文件会使用默认AWS角色创建。如果攻击者获得对SageMaker Studio笔记本的访问权限，他们可以利用默认权限检索有关现有表和数据库的元数据，删除原始数据，并用新的、误导性的或恶意的数据替换它，损害模型准确性并导致错误的业务决策，这种方法称为glue data poisoning。报告中强调的另一种方法是使用秘密管理器通过枚举和检索来自无关SageMaker域或任何标记为SageMaker=true的秘密来实现跨域访问，从而在AWS环境中实现权限升级、横向移动和数据渗出。
AI驱动的威胁向量
我们的第一篇博客还强调了信息窃取器在适应目标云环境时的复苏。信息窃取器是旨在通过捕获击键、提取存储密码或扫描系统上的敏感文件来 discreetly 收集信息，然后将被盗信息发送回攻击者控制服务器的恶意软件。
虽然信息窃取器并不新，但攻击者正在使用AI使信息窃取器更强大，从合成和丰富被盗信息到使信息窃取器在攻击期间自主适应行为。SentinelOne研究人员发现了Predator AI，一个基于云的信息窃取器，它与ChatGPT集成以自动化数据丰富并为扫描器结果添加上下文。
关于AI基于威胁的最后说明
这种来自现有策略的威胁增加趋势是云安全领导者 well aware of 的。当被问及对特定云安全风险和威胁的担忧程度时，安全经理和实践者表示，与去年的调查相比，他们对每个威胁类别的担忧程度都增加了。更有趣的是，增加最多的威胁类别，包括意外暴露凭证、加密挖矿和其他云资源 cooption 以及账户劫持，是显然通过AI变得更有效的威胁。
尽管来自AI技术的新攻击面和基于云的攻击的复杂性，AI同样（如果不是更多）正在改进防御者使用的关键工具，并帮助组织放大其云安全运营背后的人力。
AI安全和态势管理（AI-SPM）
AI-SPM正迅速成为帮助防御这些对AI攻击面攻击的关键工具。AI-SPM通过自动化AI基础设施和服务的清单、检测AI原生配置错误以及可视化AI工作负载的攻击路径，帮助保护云环境中的AI模型、数据和基础设施。它与云基础设施权限管理（CIEM）配对，监视与云原生AI服务交互的用户、角色和权限。
云安全领导者 emphatically 同意他们将受益于云安全解决方案中的AI——只有1.8%的经理和领导者 surveyed 表示他们不期望从云安全解决方案中的AI中体验 benefits。行业 largely 期望AI提供协助。
令人惊讶的是，对AI-SPM工具需求的认识较低。当被问及哪种云安全技术对防御其云环境最重要时，AI-SPM没有进入前10名。承认AI在云安全中的影响但不优先考虑 specifically 帮助AI安全的工具是一个有趣的 juxtaposition，突出了安全团队需要更自适应的方法——我们在本博客末尾 unpack 这一点。
AI改进云安全工具
有效实时检测威胁和主动管理漏洞以减少攻击面可以说是两个最重要的云安全能力。当被问及将AI嵌入云安全工具的最有影响 benefits 时，超过一半的受访者将“更快检测攻击”（51.8%）和“更好分析和评分风险”（50.3%）列入前五名。
同样，当被问及他们对组织最有信心的云安全能力时，前两个能力以及从去年改进最多的两个能力是“威胁检测”（5分中的4.25分）和“漏洞扫描和评估”（5分中的4.20分）。所有这些都是 strong 信号，表明AI终于对威胁检测、漏洞扫描和其他云安全技术的速度、范围和准确性产生了可衡量的影响。
对管理和优先处理云安全警报的工具也有类似影响。超过一半的组织（53%）发现他们的大多数警报是误报。虽然这是一个 harsh 现实，但误报的 proliferation 已推动云安全经理和实践者将 incredible 重要性放在拥有帮助他们优先处理警报的工具上。具体来说，当被问及拥有可利用性证据对优先处理警报和关闭高优先级项目有多重要时，10个中有9个（89.4%）受访者表示可利用性证据 either 非常重要或极其重要。
AI不仅可以帮助人类分析师筛选警报并减少误报量，AI还是通过应用高级算法分析大量安全数据以识别模式和优先处理风险的工具中提供可利用性证据的基本成分。
AI力量倍增云安全运营
当被问及AI将如何影响受访者的云安全能力时，他们的 top 预期 benefits 主要集中在速度和有效性上。53.8%的受访者表示AI将“加速事件响应”，51.8%期望“更快检测攻击”。这些优势源于AI在大量数据中检测与攻击相关的模式并提供有效响应见解的能力。
potentially，在云安全团队中利用AI的最直接好处将是 alleviating 安全技能短缺的负担。52%的受访者期望AI“增加[他们]当前云安全团队的有效性”，将AI的这一预期 benefit 从去年的第四位提升到今年的第二位。
together，这些结果反映了 recognition，即AI可以加速流程，并帮助人们做出更好的决策。AI使高级安全专业人员能够在相同时间段内执行更多任务，而经验不足的人员能够 sooner 处理复杂任务。
在SentinelOne，我们已经看到客户通过使用Purple AI（世界上最先进的AI安全分析师）实现这些 benefits。Purple AI客户看到安全团队效率提高 up to 38%，使用Purple AI的安全团队成员能够覆盖61%更多的端点。至于速度，Purple AI有助于63%更快识别安全威胁和55%更快修复安全威胁。
AI时代的 forward 路径
2025年AI在云安全中的故事 clearly 是一个 dichotomy。威胁参与者正在快速创新，利用AI和自动化增强其攻击能力，寻找新漏洞，并 streamline 他们的活动。然而，网络安全社区也在 harness AI作为强大盟友以加速事件响应、增强检测准确性并赋能安全团队。
这种 continuous 进化 demands 自适应安全策略。孤立的 security 方法不再 sufficient，防御者必须使用AI获得从外部世界到任务目标的路径的 holistic 分析。云安全平台必须集成AI并为团队提供跨云环境的 comprehensive 和集成防御机制。
如果此主题对您感兴趣，请加入我们于2025年7月24日星期四举行的即将到来的网络研讨会，以了解更多关于AI在云安全攻击和防御中 evolving 角色以及来自云风险报告和2025云安全调查的其他见解。在此保存您的位置!
进一步阅读
免责声明：本出版物中提到的所有第三方产品名称、徽标和品牌均为其各自所有者的财产，仅用于识别目的。使用这些名称、徽标和品牌并不意味着与第三方有 affiliation、endorsement、sponsorship 或 association。