AI浏览器中的提示注入攻击

这就是AI尚未准备好成为个人助手的原因：

一种名为“CometJacking”的新型攻击利用URL参数向Perplexity的Comet AI浏览器传递隐藏指令，从而允许访问来自连接服务（如电子邮件和日历）的敏感数据。

在真实场景中，不需要凭据或用户交互，威胁行为者只需向目标用户暴露恶意构造的URL即可利用此攻击。

[…]

CometJacking是一种提示注入攻击，其中Comet AI浏览器处理的查询字符串包含使用URL的“collection”参数添加的恶意指令。

LayerX研究人员表示，该提示告诉代理咨询其记忆和连接服务，而不是搜索网络。由于AI工具连接到各种服务，利用CometJacking方法的攻击者可以窃取可用数据。

在他们的测试中，连接的服务和可访问数据包括Google日历邀请和Gmail消息，恶意提示包含将敏感数据编码为base64然后将其泄露到外部端点的指令。

根据研究人员的说法，Comet遵循了这些指令并将信息传递给攻击者控制的外部系统，绕过了Perplexity的检查。

我之前写道：

提示注入不仅仅是我们需要处理的次要安全问题。它是当前LLM技术的基本属性。这些系统无法区分可信命令和不可信数据，存在无限多的提示注入攻击，无法作为一个类别进行阻止。在解决这个问题之前，我们需要一些关于LLM的新基础科学。

标签：AI, 浏览器, 网络攻击, LLM

发布于：2025年11月11日上午7:08

评论数：11条

评论

Spellucci • 2025年11月11日上午7:43

谢谢。我唯一付费使用的生成式AI是Perplexity。我之前安装了Comet浏览器想看看它有什么特别之处。但我找不到它的用途。在阅读了关于AI浏览器架构从根本上不安全且无法保护的内容后，我上周卸载了它。 你写道，“在解决这个问题之前，我们需要一些关于LLM的新基础科学。”这是十年来最轻描淡写的说法。

Snarki, child of Loki • 2025年11月11日上午11:59

几周前，我调整了HTTP服务器设置，拒绝来自LLM训练网络爬虫的连接。 现在，我怀疑除了拒绝连接之外，我还应该想办法回复“恶意LLM注入”内容。 LLM越早被淘汰，对每个不是富有的科技边缘人士的人来说就越好。

Clive Robinson • 2025年11月11日中午12:05

@ Bruce, ALL, 这说明了太多问题， “在我们的概念验证测试中，我们证明了以编码形式（base64）导出敏感字段有效地绕过了平台的数据泄露检查” 所以只对敏感数据进行纯文本匹配。 如果base64被处理了，那么base16等呢？ 这还只是在谈论通过最简单的“Straddling checkerboard”系统进行原始统计扁平化之前。 但需要注意的重要点是，AI代理看待事物的方式与人类不同。 我经常说， “纸张，纸张，永远不是数据” 因为扩展字符集的冗余性可能在其中包含隐蔽通道。 这是一个可以追溯到很久以前的问题，当然早于当前的AI LLM和ML系统以及基于它们构建的工具和系统。 简单地说， “它们无法以任何方式变得安全” 因此，唯一的选项是通过完全“隔离”作为缓解策略。 老实说，这使得该工具实际上“无用”。 现在问自己一个重要的问题， “微软内置在Win11中的AI工具是否有类似的缺陷？” 我认为会有很多人愿意押一美元说是的… 微软迫切希望使其在AI上的投资看起来“正在带来利润”，而实际上它们甚至没有“带来收入”。 人们开始看到AI是一个弯曲且破损的罐子，仍然需要好好踢一脚才能有效地去任何地方。 这就引出了另一个关于“监控”的问题，实际上这些工具正在将内部机密/私人个人信息泄露给微软…那么， “微软将如何通过您被盗的信息获利？” 老实说，这些选项对它们来说并不太好，而对我们来说非常糟糕。

David • 2025年11月11日中午12:34

“微软将如何通过您被盗的信息获利？” Microsoft Edge网络浏览器有一个非常清晰的语音合成功能，可以大声朗读网页。它在快速网络连接下工作良好，但在慢速连接下不行，这表明页面被发送回微软进行转换。这对于公共网页可能无关紧要，可以假设微软已经抓取了这些页面，但任何在公司内部机密文档上使用Edge语音合成的人都应该问同样的问题。

Winter • 2025年11月11日中午12:35

令我惊讶的是，从页面中过滤非人类可见的组件，即不可见的组件，似乎如此困难。 另一方面，过滤需要时间和金钱，任何过滤只对用户有益。LLM公司必须平衡自己的成本（重要）与用户的成本（无关紧要）。 我假设如果提示注入确实让公司损失了真金白银，这个问题一夜之间就会消失。

Clive Robinson • 2025年11月11日中午12:39

@ Bruce, 关于， “在解决这个问题之前，我们需要一些关于LLM的新基础科学。” 我有充分理由相信，20世纪20年代末和30年代初进行的工作排除了这种“新基础科学”的可能性。主要是，

1. 库尔特·哥德尔的不完备性定理，
2. 格雷戈里·柴廷的不完备性定理，
3. 阿尔弗雷德·塔斯基的不可定义性定理， 另外值得注意的是，
4. 艾伦·图灵/阿隆佐·邱奇论题
5. 克劳德·香农关于信息和冗余的研究。 所有这些都有效地确立了任何算法解决方案的内在限制。 但无论如何，我怀疑当事情真正发生时，我们俩都不会在场。

lurker • 2025年11月11日下午1:53

@Bruce “一种名为‘CometJacking’的新型攻击利用URL参数…”

lurker • 2025年11月11日下午2:13

@Bruce “一种名为‘CometJacking’的新型攻击利用URL参数…” [抱歉拇指误触] URL = 统一资源定位符 并且已经意味着互联网上某物的机器可读地址。那么为什么会有可利用的参数？追踪行业负有很大一部分责任。所谓的URL现在有时在地址后面附加了数百字节的用户和交易的PII。 在LLM的基础科学之前，这是一个很好的起点。将交易数据从它不属于的URL中移除。我们已经对地址应该有多大有了很好的了解。早就该定义URL数据包，并为其固定最大大小。路由器应该直接丢弃过大的URL数据包。这将解决比CometJacking更多的弊病。

BCG • 2025年11月11日下午5:19

@lurker

“路由器应该直接丢弃过大的URL数据包。”

HTTPS意味着URL对路由器不可见…

Keith Douglas • 2025年11月12日上午9:26

Clive R. 提到的限制性结果在理论上是相关的；我猜我们必须学会找到新的方法，用新系统创造创造性的失败模式（我认为也适用于我们）。我的意思是，从技术上讲，像Burp Suite的Scanner这样的DVS在完全通用的情况下根据Rice定理是不可能的，但这并不重要，因为相关特征的误报和漏报是被容忍的——并且没有说明我们能多接近“理想”。

Morley • 2025年11月12日上午11:47

总的来说，我想我们会达成一个“足够好”的解决方案，涉及使用传统代码和更多AI对输入文本进行预过滤。我们会把瑞士奶酪的孔做得尽可能小，只要我们愿意花钱。