最近我读到一篇由纽约大学和康奈尔大学研究人员发表的精彩论文《如何思考端到端加密与人工智能》。看到这篇论文我深感欣慰，因为尽管我不完全赞同其所有结论，但它对这一极其重要的问题集做出了很好的初步探讨。

我特别高兴看到人们思考这个话题，因为过去几个月里这个问题一直以半成形的状态萦绕在我脑海中。一方面，我对这个主题的兴趣被谷歌防诈骗通话保护和Apple Intelligence等新AI助手系统的部署所激发，这些系统旨在将AI几乎遍布你的手机——关键的是，甚至直接出现在你的私人消息中。另一方面，由于最近欧洲关于"强制性内容扫描"法律的辩论，我一直在思考AI带来的负面隐私影响，这些法律将要求机器学习系统扫描你发送的几乎每一条私人消息。

虽然这两个主题来自非常不同的方向，但我相信它们最终会走向同一个地方。作为一个十多年来一直担心加密问题并参与"加密战争"辩论的人，这迫使我提出一些关于端到端加密隐私未来前景的不安问题。甚至可能质疑它是否真的还有未来。

但让我们从一个更容易的地方开始。

什么是端到端加密，AI与之有什么关系？

从隐私角度来看，过去十年左右最重要的故事是端到端加密通信平台的兴起。在2011年之前，大多数云连接设备只是以明文形式上传数据。对许多人来说，这意味着他们的私人数据暴露给黑客、民事传票、政府搜查令或平台本身的商业利用。除非你是使用PGP和OTR等工具的高级用户，否则大多数最终用户只能承受后果。

大约在2011年，我们的数据存储方法开始演变。这始于Signal、Apple iMessage和WhatsApp等消息应用，它们都开始推出默认的端到端加密用于私人消息传递。这项技术改变了密钥管理方式，确保服务器永远不会看到你消息的明文内容。不久之后，谷歌、三星和苹果等手机(操作系统)设计商开始加密存储在手机本地的数据，这一举动引发了与执法部门的一些著名争论。最近，谷歌为手机备份引入了默认的端到端加密，而(有些迟来地)苹果也开始跟进。

现在我不想低估这里所需的工程努力，这是巨大的。但这些项目也相对简单。我的意思是：这些项目中加密的所有数据都有一个共同特征，即它们都不需要服务器处理。

端到端加密的明显限制是，虽然它可以向服务器隐藏内容，但也使得服务器很难对这些数据进行计算。¹ 对于像云备份和私人消息这样的数据来说，这基本上没问题，因为这些内容主要对客户端有意义。对于实际需要严肃处理的数据，选择要有限得多。在这种情况下——例如，考虑对相机胶卷中的照片应用文本识别的手机——设计者通常被迫陷入二元选择。一方面他们可以(1)将明文发送到服务器，在此过程中复活了许多端到端加密试图消除的早期漏洞。或者(2)他们可以将处理限制在设备本身能够执行的范围内。

第二种解决方案的问题在于，你的典型手机只有有限的处理能力，更不用说RAM和电池容量了。即使是高端iPhone通常也会在夜间插电时执行照片处理，只是为了在你可能需要时避免耗尽电池。此外，手机硬件存在巨大差异。一些旗舰手机售价1400美元或更高，并包含板载GPU和神经引擎。但这些手机在美国特别是世界各地并不典型。即使在美国，仍然可以花几百美元买到一部不错的安卓手机，而更差的手机价格要低得多。这些设备在处理能力方面将存在巨大差异。

所以现在我们终于准备好谈论AI了。

除非你一直生活在岩石下，否则你可能已经注意到具有惊人功能的强大新AI模型的爆炸式增长。这些包括可以生成和理解复杂人类文本的大型语言模型(LLMs)，以及可以在该媒介中做惊人事情的新图像处理模型。你可能也注意到了硅谷对寻找这项技术应用的热情。由于手机和消息公司属于硅谷，你的手机及其应用也不例外。即使这些公司不太清楚AI将如何对客户有用，他们已经决定模型是未来。实际上，这已经体现在诸如消息摘要、监听和检测诈骗电话的系统、检测冒犯性图像的模型，以及帮助你撰写文本的新系统等应用的部署中。

而这些显然只是开始。

如果你相信AI未来主义者——在这种情况下，我认为你应该相信——所有这些玩具实际上只是主菜到来前的开胃小菜：“AI代理"的部署，也就是你有趣的塑料伙伴。

理论上，这些新的代理系统将消除你再次麻烦操作手机的需要。它们会阅读你的电子邮件和短信并替你回复。它们会订购食物、找到最佳购物优惠、滑动你的约会资料、与贷款机构谈判，并通常预测你的每一个需求。实现这个幸福未来所需的唯一成分是对你所有私人数据的几乎无限制访问，加上一大堆处理它的计算能力。

这最终将我们带到了棘手部分。

由于目前大多数手机没有运行非常强大模型的计算能力，而且模型不断变得更好并且在某些情况下更加专有，很可能大部分这种处理(以及你需要处理的数据)将不得不卸载到远程服务器。

这就是我说AI将成为这十年最大隐私故事的第一个原因。不仅我们很快将在设备外做更多的计算，而且我们将发送更多的私人数据。这些数据将被日益强大的系统检查和总结，产生相对紧凑但有价值的我们生活的摘要。原则上，这些系统最终将了解我们和我们朋友的一切。它们会阅读我们最亲密的私人对话，甚至可能直觉到我们内心最深处的想法。我们将面临关于这些系统的许多难题，包括一些关于它们是否真的为我们工作的困难问题。

但我已经比我打算的多走了两步。让我们从更容易的问题开始。

AI对端到端加密消息传递意味着什么？

现代端到端加密消息系统提供一组非常具体的技术保证。具体来说，端到端加密系统旨在确保传输中的明文消息内容除了参与者的终端设备和(这里来了大星号)参与者或其设备选择与之共享的任何人之外，其他地方都不可用。

那句话的最后部分非常重要，很明显非技术用户对此感到困惑。端到端加密消息系统旨在安全地传递数据。它们不规定接下来数据会发生什么。如果你截屏消息、以明文备份、将数据复制/粘贴到Twitter，或响应民事诉讼交出你的设备——嗯，这真的与端到端加密无关。一旦数据从一端传递到另一端，端到端加密就洗手回家了。

当然，技术保证与个别服务提供商向客户做出的承诺之间存在差异。例如，苹果关于其iMessage服务是这样说的：

我可以看到这些承诺可能会有点令人困惑！例如，想象苹果保持其安全传递消息的承诺，但然后你的(苹果)手机继续将(明文)消息内容上传到另一组苹果确实可以解密的服务器。苹果绝对在最枯燥的技术意义上使用端到端加密……但上述陈述真的准确吗？苹果是否遵守其"无法解密数据"的更广泛承诺？

注意：我在这里不是挑剔苹果！这只是安全概述中的一个段落。在单独的法律文件中，苹果的律师写了无数词语来掩盖他们的责任。我在这里的观点只是指出技术保证不同于用户承诺。

使事情更加复杂的是，这可能不是关于你自己行为的问题。考虑每次你开始WhatsApp群聊时收到的承诺(在右边)。现在想象群里的某个其他成员——不是你，而是你的某个白痴朋友——决定开启某个服务，将(你的)收到的明文消息上传到WhatsApp。你还会说你收到的消息仍然准确描述了WhatsApp如何处理你的数据吗？如果不是，它应该如何改变？

总的来说，我们在这里问的是关于知情同意的问题。同意是复杂的，因为它既是一个道德概念也是一个法律概念，而且法律在世界每个角落都不同。NYU/康奈尔论文很好地概述了法律部分，但是——抱歉在这里扫兴——我真的不希望你指望法律保护你。我想象一些公司会做好告知用户的工作，以此赢得信任。其他公司则不会。在美国这里，他们会把你的同意埋在你从未阅读的难以理解的"服务条款"文件中。在欧盟，他们可能只会发明一种新的cookie横幅。

这显然是个笑话。但是，就像，也许不是？

所以总结一下：在不久的将来，我们正走向一个世界，我们应该期望越来越多的数据被AI处理，其中很多处理将(很可能)在设备外进行。好的端到端加密服务会主动告知你这种情况正在发生，所以也许你会有机会选择加入或退出。但如果它真的无处不在(正如我们的未来主义朋友告诉我们的那样)，那么很可能你的选择最终将相当有限。

幸运的是，并非一切都失去了。短期内，一些人一直在认真思考这个问题。

可信硬件和苹果的"私有云计算”

好消息是，我们即将到来的AI未来不会是完全的隐私灾难。这在很大程度上是因为一些以隐私为中心的公司如苹果已经预见到ML推理将产生的问题(即需要将处理外包给更好的硬件)，并试图为此做些什么。这个"什么"本质上是一种新型的基于云的计算机，苹果认为它足够可信以保存你的私人数据。

快速提醒：正如我们已经讨论的，苹果不能依赖每台设备拥有足够的能力在本地执行推理。这意味着推理将被外包到远程云机器。现在从你的手机到服务器的连接可以被加密，但远程机器仍然会收到必须看到明文的机密数据。这在那个机器上构成了巨大风险。它可能被入侵，数据被黑客窃取，或者更糟的是，苹果的业务发展执行官可能会发现它。

苹果解决这个问题的方法称为"私有云计算"，涉及在苹果数据中心使用特殊的可信硬件设备。“可信硬件设备"是一种在物理和逻辑意义上都被锁定的计算机。苹果的设备是自制的，并使用定制硅和软件功能。其中之一是苹果的安全启动，它确保只有"允许的"操作系统软件被加载。然后操作系统使用代码签名来验证只有允许的软件镜像可以运行。苹果确保这些机器上不存储长期状态，并且每次连接时将你的请求负载平衡到不同的随机服务器。这些机器"证明"它们运行的应用程序软件，意味着它们宣布软件镜像的哈希值(其本身必须存储在可验证的透明度日志中，以防止任何新软件被偷偷添加)。苹果甚至表示将发布其软件镜像(虽然不幸的是不是[更新：全部]源代码)，以便安全研究人员可以检查错误。

这个系统的目标是使攻击者和苹果员工都难以从这些设备中窃取数据。我不会说我对这个感到兴奋。不言而喻，苹果的方法是一个比加密弱得多的保证——它仍然集中了大量有价值的数据，其安全性依赖于苹果正确实现一堆复杂的软件和硬件安全功能，而不是加密算法的数学。然而，这种方法显然比在OpenAI等公司所做的要好得多，在那里数据由员工(大概)可以登录和访问的服务器处理。

尽管PCC目前是苹果独有的，我们可以希望其他以隐私为中心的服务很快会借鉴这个想法——毕竟，模仿是最好的奉承形式。在这个世界里，如果我们绝对必须处处有AI，至少结果将比原本可能的情况更安全一些。

你的AI代理实际为谁工作？

在这篇文章中我还没有讨论许多重要问题，我感到内疚，因为我不打算涉及它们。例如，我没有讨论用于训练(和微调)未来AI模型的数据的非常重要的问题，这打开了整个海洋的隐私问题。如果你感兴趣，NYU/康奈尔论文中讨论了这些问题。

但与其深入讨论，我想将讨论转向一个不同的问题：即，这些模型实际将为谁工作？

正如我上面提到的，在过去几年里，我一直在观察英国和欧盟辩论新的法律，这些法律将强制对私人加密消息进行自动"扫描”。欧盟的提案侧重于检测现有和新颖的儿童性虐待材料(CSAM)；它在不同时间点还包括检测代表"诱拐行为"的音频和文本对话的提案。英国的提案更狂野，涵盖许多不同类型的非法内容，包括仇恨言论、恐怖主义内容和欺诈——一项拟议的修正案甚至涵盖了"乘坐小船穿越海峡的移民图像"。

虽然扫描已知的CSAM不需要AI/ML，但检测几乎所有其他类型的内容都需要强大的ML推理，可以操作你的私人数据。(例如，考虑检测新颖CSAM内容涉及什么。)检测音频或文本"诱拐行为"和仇恨言论的计划将需要更强大的能力：不仅需要语音到文本能力，还需要一些在没有误报的情况下真正理解人类对话主题的能力。很难相信政治家们甚至理解他们在要求什么。然而他们中的一些人正在要求它，在少数情况下非常热切。

这些提案尚未实施。但在某种程度上，这是因为安全处理私人数据的ML系统非常具有挑战性，技术平台一直抵制构建它们。现在我邀请你想象一个世界，我们自愿继续构建能够完成所有这些任务及更多的通用代理。你可能会尽一切技术努力使它们处于用户控制之下，但你能保证它们将保持这种方式吗？

或者换句话说：你甚至会责怪政府要求访问这样的资源吗？你将如何阻止他们？毕竟，想想执法机构通过向你的代理询问关于你行为和数据的复杂问题可以节省多少时间和金钱，问题如：“这个用户有任何潜在的CSAM吗”，或"他们在私人笔记中写过任何可能是仇恨言论的内容吗"，或"你认为他们可能在逃税吗？“你甚至可能说服自己这些问题"保护隐私”，因为没有人类警察会翻阅你的文件，而且执法部门只有在你(可能)做非法事情时才会知道答案。

这个未来让我担心，因为我们在隐私方面做出什么技术选择真的不重要。你的模型是在本地运行，还是使用可信云硬件——一旦一个足够强大的通用代理部署在你的手机上，唯一剩下的问题是谁被允许与它对话。是只有你吗？还是我们会优先考虑政府监控公民的利益，而不是各种过时的个人隐私观念。

虽然我希望我们作为一个社会在这种情况下会做出正确的政治选择，但坦率地说，我对此不是那么有信心。

注释：

¹ (快速说明：有些人会建议苹果应该使用全同态加密[FHE]进行这种计算，这样私人数据可以保持加密。这在理论上是可能的，但不太可能实用。我们今天拥有的最佳FHE方案实际上只适用于评估非常小的ML模型，这种模型在弱客户端设备上运行是可行的。虽然方案会变得更好，硬件也会如此，但我怀疑这个障碍将在未来很长一段时间内存在。)