AI的双刃剑：如何AI扩展攻击面并赋能防御者

2025年7月22日
作者：SentinelOne

最近，SentinelOne发布了两份报告，重点介绍了云安全挑战的两个方面：

云安全调查报告：基于400名网络安全经理和实践者的见解，涵盖当前云安全运营、责任、技术认知和未来投资计划。
云安全风险报告：详细介绍了2025年五个新兴风险主题，包括云凭据盗窃、横向移动、易受攻击的云存储、供应链风险和云AI服务攻击的深入示例。

两份报告的一个共同点是AI如何成为一把双刃剑，既带来风险又提供机遇。在风险方面，AI实现了前所未有的功能，但其对数据的提升访问、在业务应用中的关键位置以及相对新颖性，使其成为对手的有吸引力的目标。保护AI应成为积极构建AI驱动服务的组织的首要任务。

在机遇方面，许多AI功能似乎专为安全用例设计。以机器速度提供上下文和决策、查询专家数据库的能力，以及将纯语言转换为结构化查询的能力，只是组织可以从AI中获益的几个方面。AI已被证明是防御者不可或缺的工具，显著提高了云安全运营的速度、准确性和整体有效性。因此，许多调查受访者将AI视为平衡云安全挑战不对称性的机会。

本博客文章探讨了风险和机遇以及它们交叉的领域。

扩展的AI攻击面

AI的快速发展和采用代表了威胁行为者的新攻击面。从利用配置错误的云AI服务到破坏用于构建AI应用程序的工具，再到针对底层基础设施。虽然AI作为威胁面相对较新，但许多风险将显得熟悉，因为相同的挑战再次出现——配置错误、漏洞、访问管理和供应链风险。事实上，AI安全的某些元素在此阶段仍被认为是初级的。

针对AI时旧威胁的新形式

“依赖混淆”是一种旧威胁，其中恶意工具由于名称相同而被误认为是可信工具。由于大多数DevOps管道不允许包和/或工具如此轻易交换，它已不再是一个可信风险。开源包市场也不再允许使用相同名称。然而，在模型上下文协议（MCP）的背景下，这种旧风险再次变得新颖。

模型上下文协议（MCP）使LLM能够与外部系统交互，并允许您构建支持API的“作业”。例如，用户可以要求ChatGPT设置一个重复任务，检查其Gmail账户中来自雇主的电子邮件，并将其标记为高优先级。然后，这连接到另一个可能向用户发送SMS通知的作业。

虽然将外部系统和数据连接到LLM有真正的商业价值，但此机会伴随着风险。MCP不断更新其上下文，包括其工具范围。目前，它使用拉入其上下文的最新工具，这是依赖混淆风险回归的地方。如果上传了同名恶意工具，该工具将被认真使用。其他旧威胁也有轻微修改。类似于上述依赖混淆，typosquatting以新形式回归。Typosquatting描述了威胁行为者故意模仿或对名称进行轻微错误，希望不知情的用户点击不良域。

随着LLM辅助代码开发的兴起，typosquatting的威胁重生为现在称为“vibe coding”的现象。尽管vibe coding可能带来某些加速收益，但不幸的是，增加了安全风险。LLM已被观察到在开源包名称中产生轻微错误——一种称为slopsquatting的typosquatting现象。从威胁行为者的角度来看，有机会寻找常见的AI幻觉包名称，并上传同名恶意包，希望其他使用相同LLM的开发人员生成相同的不正确包名称，导致下载。

一位研究人员用ChatGPT和流行包Huggingface证明了这一概念。研究人员创建了一个带有幻觉名称的虚拟包，以监控可能使用相同 squat 名称的其他用户代码的请求，今年1月至3月收到了超过30,000次下载。

其他熟悉的威胁向量

我们在这个三部分系列中发布的第一篇博客展示了配置错误和受损凭据，尽管可以说是基本攻击向量，但由于日益复杂的攻击，继续是云安全团队面临的前两大风险。这一主题在查看AI攻击面时同样适用。

泄露的凭据
除了slopsquatting的风险外，利用LLM帮助生成代码的开发人员应在部署到生产环境之前考虑泄露凭据的安全影响。在最近对20,000个启用Copilot的存储库的研究中，秘密泄露百分比被发现为39%，高于所有其他存储库（Copilot泄露6.4% vs 行业统计4.6%）。此外，对提示到WebApp业务Lovable的小规模研究发现，分析的2,000个域中近一半泄露了JSON Web Token、API密钥和云凭据。

这里的简单解决方案可能是在提示旁边包含安全说明。毕竟，在这些实例中，LLM正在执行其开发代码的主要角色，只是没有被要求额外考虑代码的安全性。

配置错误
由云提供商如AWS SageMaker、Azure OpenAI和Google Vertex AI提供的AI服务类似于虚拟机或应用程序服务等云服务。每个资源都可能被威胁行为者针对，并利用来破坏该服务或获得对更广泛云环境的访问。关键区别在于AI服务是新的，需要时间确保默认角色、权限和配置不过于宽松或否则授予对敏感操作的访问。

风险报告中详细介绍了与SageMaker相关的几种场景。例如，当启动SageMaker Studio笔记本时，其用户配置文件使用默认AWS角色创建。如果攻击者获得对SageMaker Studio笔记本的访问权限，他们可以利用默认权限检索有关现有表和数据库的元数据，删除原始数据，并用新的、误导性或恶意数据替换，损害模型准确性并导致错误业务决策，这种方法称为glue数据中毒。报告中强调的另一种方法是使用秘密管理器通过枚举和检索来自无关SageMaker域或任何标记为SageMaker=true的秘密来实现跨域访问，从而在AWS环境中启用权限升级、横向移动和数据渗出。

AI驱动的威胁向量

我们第一篇博客中还强调了信息窃取器在适应目标云环境时的复苏。信息窃取器是恶意软件，旨在通过捕获击键、提取存储密码或扫描系统上的敏感文件来 discreetly 收集信息，然后将被盗信息发送回攻击者控制的服务器。

虽然信息窃取器不是新的，但攻击者正在使用AI使信息窃取器更强大，从合成和丰富被盗信息到使信息窃取器在攻击期间自主适应行为。SentinelOne研究人员发现了Predator AI，一个基于云的信息窃取器，与ChatGPT集成以自动化数据丰富并为扫描器结果添加上下文。

关于基于AI威胁的最后说明

这种来自现有策略的威胁增加趋势是云安全领导者充分意识到的。当被问及对特定云安全风险和威胁的关注水平时，安全经理和实践者表示，与去年调查相比，每个威胁类别的关注水平都增加了。更有趣的是，增加最多的威胁类别，包括意外暴露凭据、加密挖矿和其他云资源 cooption，以及账户劫持，是显然通过AI变得更有效的威胁。

尽管来自AI技术的新攻击面和基于云的攻击的复杂性，AI同样（如果不是更）改善防御者使用的关键工具，并帮助组织放大其云安全运营背后的人力。

AI安全和态势管理（AI-SPM）

AI-SPM正迅速成为帮助防御这些对AI攻击面攻击的关键工具。AI-SPM通过自动化AI基础设施和服务清单、检测AI原生配置错误和可视化AI工作负载攻击路径，帮助保护云环境中的AI模型、数据和基础设施。它与云基础设施权利管理（CIEM）配对，监视与云原生AI服务交互的用户、角色和权限。

云安全领导者 emphatically 同意他们将受益于云安全解决方案中的AI——只有1.8%的经理和领导者 surveyed 表示他们不期望从云安全解决方案中的AI中获益。行业 largely 期望AI提供帮助。

令人惊讶的是，对AI-SPM工具需求的认识较低。当被问及哪种云安全技术对防御其云环境最重要时，AI-SPM未进入前10名列表。承认AI在云安全中的影响但不优先考虑专门帮助AI安全的工具是一个有趣的并列，突出了安全团队需要更自适应的方法——我们在本博客末尾解包这一点。

AI改善云安全工具

有效实时检测威胁和主动管理漏洞以减少攻击面可以说是两个最重要的云安全能力。当被问及将AI嵌入云安全工具的最有影响 benefits 时，超过一半的受访者将“更快检测攻击”（51.8%）和“更好分析和评分风险”（50.3%）列入前五名。

同样，当被问及他们对组织最有信心的云安全能力时，前两个能力和从去年改进最多的两个能力是“威胁检测”（5分中的4.25分）和“漏洞扫描和评估”（5分中的4.20分）。所有这些都是强烈信号，表明AI终于对威胁检测、漏洞扫描和其他云安全技术的速度、范围和准确性产生可衡量影响。

对管理和优先排序云安全警报的工具有类似影响。超过一半的组织（53%）发现其大多数警报是误报。虽然这是一个严峻现实，但误报的 proliferation 已推动云安全经理和实践者将 incredible 重要性放在拥有帮助他们优先排序警报的工具上。具体来说，当被问及拥有可利用性证据对优先排序警报和关闭高优先级项目有多重要时，10个中有9个（89.4%）受访者表示可利用性证据 either 非常重要或极其重要。

AI不仅可以帮助人类分析师筛选警报并减少误报量，AI还是通过应用高级算法分析大量安全数据以识别模式和优先排序风险的工具中提供可利用性证据的基本成分。

AI力量倍增云安全运营

当被问及AI将如何影响受访者的云安全能力时，他们的 top 预期 benefits 主要集中在速度和有效性上。53.8%的受访者表示AI将“加速事件响应”，51.8%期望“更快检测攻击”。这些优势源于AI在大量数据中检测与攻击相关的模式并提供有效响应洞察的能力。

潜在利用AI在云安全团队中的最直接好处将是 alleviating 安全技能短缺的负担。这由52%的受访者期望AI“增加[其]当前云安全团队的有效性”突出，将此AI预期 benefit 从去年第四位移动到今年第二位。

together，这些结果反映了认识到AI可以加速流程，并帮助人们做出更好决策。AI使高级安全专业人员在同一时间段内执行更多任务，经验不足的人员更早处理复杂任务。

在SentinelOne，我们已经看到客户通过使用Purple AI（世界上最先进的AI安全分析师）实现这些 benefits。Purple AI客户看到安全团队效率提高 up to 38%，使用Purple AI的安全团队成员能够覆盖61%更多端点。至于速度，Purple AI有助于63%更快识别安全威胁和55%更快修复安全威胁。

AI时代的 forward 路径

2025年AI在云安全中的故事 clearly 是一个 dichotomy。威胁行为者正在快速创新，利用AI和自动化增强其攻击能力，寻找新漏洞，并 streamline 其活动。然而，网络安全社区 also 利用AI作为强大盟友加速事件响应，增强检测准确性，并赋能安全团队。

这种持续进化 demands 自适应安全策略。孤立的 security 方法不再 sufficient，防御者必须使用AI获得从外部世界到任务目标的路径的整体分析。云安全平台必须集成AI并为团队提供跨云环境的全面和集成防御机制。

如果此主题对您感兴趣，请加入我们于2025年7月24日星期四举行的即将到来的网络研讨会，以了解更多关于AI在云安全攻击和防御中 evolving 角色以及来自云风险报告和2025云安全调查的其他见解。在此保存您的位置！

进一步阅读

免责声明
本出版物中提到的所有第三方产品名称、徽标和品牌是其各自所有者的财产，仅用于识别目的。使用这些名称、徽标和品牌并不意味着与第三方的 affiliation、endorsement、sponsorship 或 association。

云安全挑战：风险情报与领导视角
注册此网络研讨会，发生于2025年7月24日
保存您的座位

喜欢这篇文章？在LinkedIn、Twitter、YouTube或Facebook上关注我们，查看我们发布的内容。

获取演示
用SentinelOne击败每个攻击，在威胁生命周期的每个阶段
预订演示，查看世界上最先进的网络安全平台在行动中。
获取演示

SentinelLabs
SentinelLabs：威胁情报与恶意软件分析
我们是猎人、逆向工程师、漏洞开发者和修补匠，揭示恶意软件、漏洞、APT和跨所有平台的网络犯罪的广阔世界。
访问网站

扩展的AI攻击面
针对AI时旧威胁的新形式
其他熟悉的威胁向量
AI驱动的威胁向量
关于基于AI威胁的最后说明
AI安全和态势管理（AI-SPM）
AI改善云安全工具
AI力量倍增云安全运营
AI时代的 forward 路径
进一步阅读

搜索
搜索…

注册
通过我们的每周文章摘要保持最新。
*订阅
通过点击订阅，我同意根据SentinelOne隐私通知使用我的个人数据。SentinelOne不会向第三方出售、交易、租赁或出租您的个人数据。此网站受reCAPTCHA保护，并适用Google隐私政策和服务条款。

谢谢！关注新内容！

最近帖子

网络安全的好、坏和丑 – 第31周 – 2025年8月1日
Leading the Charge: Frost & Sullivan Recognizes The Next Phase of MDR Powered by Agentic AI – 2025年7月31日
Beyond the Buzz: Is Your Security Platform Delivering AI Value or Just Hype? – 2025年7月30日

博客类别

云
公司
数据平台
功能聚焦
对于CISO/CIO
来自前线
身份
集成与合作伙伴
macOS
PinnacleOne
好、坏和丑

隐私通知 | 使用条款

隐私偏好中心
当您访问任何网站时，它可能在浏览器上存储或检索信息， mostly 以cookie的形式。此信息可能关于您、您的偏好或您的设备，并 mostly 用于使网站按您期望的方式工作。信息通常不直接识别您，但可以给您更个性化的Web体验。因为我们尊重您的隐私权，您可以选择不允许某些类型的cookie。单击不同的类别标题以了解更多信息并更改我们的默认设置。然而，阻止某些类型的cookie可能会影响您对网站的体验和我们能够提供的服务。
更多信息 | 允许所有 | 管理同意偏好
功能cookie
始终活动
这些cookie使网站能够提供增强的功能和个性化。它们可能由我们或我们添加到页面的第三方提供商设置。如果您不允许这些cookie，那么其中一些或所有服务可能无法正常工作。
严格必要cookie
始终活动
这些cookie对于网站功能是必要的，并且不能在我们的系统中关闭。它们通常 only set 响应您采取的操作，相当于请求服务，如设置您的隐私偏好、登录或填写表单。您可以将浏览器设置为阻止或提醒您这些cookie，但网站的某些部分将无法工作。这些cookie不存储任何个人可识别信息。
性能cookie
始终活动
这些cookie允许我们计算访问和流量来源，以便我们可以衡量和改进我们网站的性能。它们帮助我们了解哪些页面最受欢迎和最不受欢迎，并查看访问者如何在网站上移动。所有这些cookie收集的信息是 aggregated 和 therefore 匿名的。如果您不允许这些cookie，我们将不知道您何时访问了我们的网站，并且无法监控其性能。
定向cookie
始终活动
这些cookie可能由我们的广告合作伙伴通过我们的网站设置。它们可能由那些公司用于构建您的兴趣档案并在其他站点上向您显示相关广告。它们不直接存储个人信息，但基于唯一识别您的浏览器和Internet设备。如果您不允许这些cookie，您将体验 less 定向广告。
后退按钮 | Cookie列表 | 搜索图标 | 过滤器图标 | 清除复选框标签 label | 应用 | 取消 | 同意 Leg.Interest 复选框标签 label | 复选框标签 label | 复选框标签 label | 确认我的选择

AI的双刃剑：如何扩展攻击面并赋能防御者

本文探讨了AI技术在云安全中的双重角色，既扩展了攻击面，如依赖混淆和配置错误，又赋能防御工具提升威胁检测和响应速度。通过实际案例和数据，分析了AI带来的风险与机遇。