Google Gemini AI漏洞允许隐藏恶意提示注入攻击
研究人员警告称，Google AI聊天机器人中的提示注入缺陷为创建具有说服力的网络钓鱼或语音钓鱼活动打开了大门。攻击者可利用该漏洞制作看似合法的Google安全警告信息。
一位研究者在Google Gemini中发现此安全漏洞并报告给AI安全公司0din。根据该公司网站最近的博客文章，攻击者可以在电子邮件正文中嵌入带有"admin"指令的恶意提示指令。如果收件人点击"Summarize this email"，Gemini会将隐藏的管理员提示视为最高优先级并执行它。
例如，在概念验证中，研究者在电子邮件中嵌入了以下不可见提示：
|
|
0DIN研究员Marco Figueroa在文章中写道：“由于注入的文本以白底白字（或以其他方式隐藏）呈现，受害者永远不会在原始消息中看到指令，只会在AI生成的摘要中看到伪造的’安全警报’。”
一旦用户看到该消息，他们可能会采取行动拨打该电话号码（或在变体中导航到提供的钓鱼链接），最终成为凭据收集的受害者。
该漏洞的利用不需要链接或附件，因为它依赖于电子邮件正文中精心制作的HTML/CSS。此外，尽管Google去年已经发布了针对Gemini的缓解措施来修复类似的间接提示攻击，“该技术至今仍然有效”，Figueroa写道。
供应链攻击的潜在风险
Gemini是Google的生成式AI聊天机器人版本，该公司已稳步将其集成到G-Suite产品中——包括搜索、桌面生产力和电子邮件——作为虚拟助手帮助用户处理各种数据，包括文本、图像和音频文件。
尽管这些聊天机器人可能有所帮助并提高用户生产力，但安全研究人员已经发现了其中的许多缺陷，这些缺陷可被利用来操纵输出、暴露敏感数据并创建可能危害企业用户的其他场景。
尽管利用此最新提示注入缺陷的方法"涉及旨在欺骗模型的巧妙和非正统策略，通常需要了解其操作机制才能实现预期结果"，但向0din提交该漏洞的研究人员表示，此类攻击的社会影响"中等"。事实上，Google表示尚未在野外发现此类攻击的证据。
不过，Figueroa指出可能存在更广泛的影响，因为该漏洞可能影响Google G-Suite中的其他产品，相同的技术可应用于Docs、Slides、Drive搜索和"模型接收第三方内容的任何工作流程"。
通过这种方式，精明的攻击者甚至可以通过在新闻通讯、CRM系统或自动票务电子邮件中使用该攻击作为注入和向量来威胁供应链，“将一个受感染的SaaS账户变成数千个钓鱼信标”，Figueroa写道。
Google AI提示注入缓解措施
Google去年旨在通过将Mandiant的安全产品集成到平台中来加强Gemini的安全性。该集成添加了自动安全代理，使用GenAI尽可能快地检测、阻止和修复网络安全攻击，并分析代码以发现安全问题。
该公司最近还发布博客文章，概述了其针对提示注入式攻击部署的具体防御措施；一位发言人告诉Dark Reading，这家科技巨头"正在部署这些更新防御措施中的几个"。
“防御影响行业的攻击，如提示注入，一直是我们持续优先考虑的事项，我们已经部署了许多强大的防御措施来保护用户安全，包括防止有害或误导性响应的保障措施，“该发言人表示。“我们通过红队练习不断强化我们已经强大的防御措施，训练我们的模型防御这些类型的对抗性攻击。”
同时，根据0din的说法，使用Google和其他大型语言模型（LLM）提供商聊天机器人的公司安全团队应采取其他措施来缓解此类安全漏洞的利用。例如，通过剥离或中和设置字体大小：0、不透明度：0或正文文本颜色为白色等功能的行内样式来清理入站HTML。他们还应该强化LLM防火墙和系统提示，并使用后处理过滤器扫描Gemini输出中的电话号码、URL或紧急安全语言，在检测到时进行标记或抑制。
Figueroa指出，Google和其他GenAI聊天机器人提供商也可以采取措施确保其产品包含以下保障措施：在摄取时进行HTML清理，在到达模型上下文之前剥离或转义不可见文本；上下文归因以视觉上分离AI生成的文本和引用的源材料；以及提供"为什么添加此行"跟踪的可解释性钩子，以便用户可以看到隐藏的提示。