避免AI引发的灭绝真的是当务之急吗？

技术史表明，最大风险并非来自技术本身，而是来自控制技术的人

今年，AI灭绝风险议题进入主流视野：顶尖刊物专题报道、英国首相府引用、白宫AI战略文件提及。但一批有影响力的AI技术专家认为当前重视程度仍不足，他们联合签署声明称：“缓解AI灭绝风险应成为与流行病和核战争同等级别的全球优先事项。”

“全球优先事项"应是人类面临的最重要且紧迫的问题。2023年AI能力实现飞跃，确实带来新风险，包括可能增加未来AI系统失控毁灭人类的概率。但我们不认为缓解这种风险应成为全球优先事项——其他AI风险同样重要且更为紧迫。

风险焦点的错位

“AI风险"这个模糊短语暗示着自主性恶意智能体，但那些因疏忽、鲁莽或恶意使用AI系统的人类呢？任何由恶意AI可能造成的伤害，在"人类恶意使用AI"的场景下会更早出现。

历史表明，最大风险并非来自技术本身，而是来自控制技术并用以积累权力与财富的人。签署声明的AI行业领袖恰恰是最有能力这样做的人群。他们呼吁通过监管应对未来恶意AI系统风险，但其提议的干预措施反而会巩固自身权力。我们应警惕这种既想从普罗米修斯之火中获利，又想被尊为消防员的矛盾立场。

紧迫性的质疑

声明前言承认AI存在其他社会级风险，但为何独聚焦灭绝风险？全球优先事项不仅重要更需紧迫：全球疫情尚未结束，俄乌冲突使核战威胁迫在眉睫，灾难性气候变化很可能已经开始。AI灭绝威胁是否同等紧迫？若签署者真认为现有AI系统或其迭代版本会毁灭人类，就该立即关闭数据中心并将一切移交政府，研究人员应停止优化现有系统并呼吁其销毁。

事实上多数签署者可能认为失控AI尚需重大科学突破才能实现——这种突破无法预测，尽管我们确信终会发生。若如此，至少可推出两点结论：

重新定位优先方向

首先应更重视更紧迫的AI风险。即使现有系统不会导致灭绝，它们已在造成更集中的伤害：加剧不平等，被权力饥渴的政府和无良企业利用时会破坏个人与集体自由。这些风险现在就能缓解——无需等待不可预测的科学突破，理应成为优先事项。如果我们连现有风险都不愿努力解决，凭什么相信能应对未来AI风险？

其次，我们应减少对未来担忧的模糊预测，更多关注实际行动。未来AI的极端风险应是对话组成部分而非主导内容。首先要承认：AI的未来（比疫情、核战和气候变化更甚）根本在于人类集体掌控。现在就需要追问：我们究竟想要怎样的未来？这不仅意味着征集"神级AI"管理规则的意见，更要质疑是否存在创建这种系统的民主共识。

构建应对体系

应着力建设既能降低现有AI风险，又能随认知深化稳健应对新风险的制度体系。这既需要采取预防原则，在可预见范围内对未实现风险采取具体措施；更需要增强在AI权力体系中代表性不足的声音——许多群体长期关注AI社会级风险却未获足够重视。基于他们的工作，我们应聚焦可研究、理解和控制的领域：现有AI系统及其迭代版本的设计与真实应用，以及它们所处的社会政治系统。