攻击者如何毒化AI工具及防御策略

网络攻击者正在利用生成式AI起草精美的垃圾邮件、创建恶意代码和编写具有说服力的钓鱼诱饵。他们还在学习如何将AI系统本身变成入侵点。

最新研究结果凸显了这一转变。哥伦比亚大学和芝加哥大学的研究人员分析了三年内收集的恶意电子邮件流量。Barracuda Research也追踪到攻击者利用AI助手弱点并篡改AI驱动安全工具的行为。

AI在电子邮件攻击中的应用

使用大型语言模型创建的消息往往更加正式、语法正确且语言复杂。这种精细度使它们更难被过滤器捕获，对收件人更具说服力，特别是当攻击者的母语不是英语时。

攻击者还使用AI测试不同版本的主题行和正文文本。这种变化类似于营销中的A/B测试，帮助他们识别哪些内容能够绕过防御并诱使更多受害者点击。

研究人员还发现攻击者针对许多员工日常工作依赖的AI助手。像Microsoft Copilot这样的工具会扫描收件箱、消息和文档以在回答问题时提供上下文，这种访问权限创造了新的风险。

考虑以下场景：恶意提示隐藏在看似无害的电子邮件中。该消息一直停留在收件箱中，直到AI助手在执行任务时检索到它。此时，助手可能会遵循隐藏指令，执行泄露敏感信息、修改记录或运行命令等操作。

其他攻击专注于使用检索增强生成（RAG）的系统。通过破坏这些系统的数据源，攻击者可以影响助手返回的内容。结果导致不可靠的答案、糟糕的决策和基于被毒化上下文产生的意外操作。

攻击者还试图将AI驱动的防御工具转变为自己的优势。许多电子邮件安全平台现在包含自动回复、智能转发、自动创建工单和垃圾邮件分类等功能，每个功能都是潜在的入口点。

如果攻击者将恶意提示潜入系统，他们可能触发泄露敏感数据的自动回复，或者在没有适当检查的情况下升级帮助台工单，获得本不应拥有的访问权限。在某些情况下，攻击者利用工作流自动化来针对组织本身。被毒化的命令可能部署恶意软件、修改关键记录或关闭关键流程。

简化防御的相同AI功能也扩大了攻击面。没有安全防护措施，恶意行为者可以将设计用于保护的工具转变为攻击向量。

具有高度自主性的AI系统还带来另一个风险：冒充用户或信任冒名顶替者。

一种策略被称为"困惑代理"攻击。在这种情况下，具有高权限的AI代理代表低权限攻击者执行任务。另一种涉及伪造API访问，攻击者欺骗与Microsoft 365或Gmail等服务的集成，导致信息泄露或发送欺诈性电子邮件。

操纵还可以通过研究人员所称的级联幻觉传播。单个被毒化的提示可能扭曲摘要、收件箱报告或任务列表。例如，来自伪造高管的虚假"紧急"消息可能被视为真实，改变团队优先级排序或决策方式。一旦对AI输出的信任被侵蚀，依赖这些输出的每个系统都面临风险。

旧的控制措施，如SPF、DKIM和IP阻止列表，已不再足够。为了应对利用AI的攻击，组织需要多层防御。一个关键步骤是让过滤器了解LLM如何生成内容，以便它们能够标记可能绕过旧系统的语气、行为或意图异常。另一个是验证AI系统随时间记忆的内容。没有这种检查，被毒化的数据可能留在内存中并影响未来的决策。

隔离也很重要。AI助手应在受控环境中运行，在该环境中，未经验证的操作在造成损害之前被阻止。身份管理需要遵循最小权限原则，仅给予AI集成所需的访问权限。最后，以怀疑态度对待每个指令。如果要坚持零信任原则，即使是常规请求也必须在执行前进行验证。

技术只是解决方案的一部分。员工是关键防线，意识培训帮助他们识别可疑消息并快速报告，减少被毒化提示或AI制作攻击得逞的机会。

下一波威胁将涉及能够自主推理、计划和行动的代理式AI驱动系统。虽然这些工具可以为用户带来巨大的生产力提升，但它们的自主性使它们成为有吸引力的目标。如果攻击者成功操控代理，系统可能做出决策、启动操作或移动数据而不被发现。

电子邮件仍然是首选的攻击向量，因为收件箱已成为威胁执行的集结地，AI助手和代理与日历、工作流和协作平台集成。每个提示和请求都有可能触发下游操作。

保护这个空间需要的不仅仅是过滤：它需要持续验证、零信任护栏以及主动建模攻击者可能如何利用AI代理。

AI已经在改变攻击者的操作方式，它也在重塑防御者必须如何应对。安全领导者必须在两个前沿建立韧性：发现对手何时部署AI对抗他们，并加固自己的AI系统，使攻击者无法毒化或误导它们。