ADD / XOR / ROL: 互联网上有人错了（AGI末日版）

关于AGI风险的错误假设

近年来，关于大型语言模型（LLM）获得意识并突然试图消灭人类的歇斯底里情绪浪潮涌现。这种常以“LessWrong”论坛典型的伪贝叶斯语言表达的恐慌，已渗透到媒体并影响立法。恐慌源于声称存在由AGI突然出现带来的人类生存风险，其通过一系列无法阻止的快速步骤消灭人类。本文聚焦于“快速起飞场景”，指出其多数内容完全错误。

文本训练的局限性

人类文本充满难以理论证伪的谎言。作为应用数学家，我曾尝试制作有偏硬币，发现即使微小偏差（如0.52:0.48）也需剧烈修改形状，导致物体不再像硬币。基于文本训练的AI模型无法理解制作有偏硬币的困难，它需要实际感知和实验。对AI而言，思想实验和真实实验无法区分，因此通过文本分析学习的世界模型将是现实的糟糕近似。

实践知识未被书面记录

几乎所有高效生产实体的经济和组织都有学徒制系统。多数重要实践任务无法从书面描述中学到：没有厨师仅通过读菜谱成为好厨师，也没有木匠仅通过读木工书成为好木匠。影响现实世界的技能涉及大量试错和从未书面记录但关键的知识。

无实验则无进步

快速起飞场景中最奇怪的假设是：一旦实现超级智能，它就能通过抽象推理创造各种新奇发明，而无需基础科学（如验证假设或检查理论与现实一致性的实验）。现实是，尽管计算流体动力学（CFD）等领域进步显著，减少了许多物理实验需求，但技术创新仍无法仅凭“纸上谈兵”实现。具体例子：

• CFD模拟列车受侧风阻力的结果仍需实验验证，模拟常错重要细节。
• 即使窃取所有芯片制造文档，也无法获得制造尖端芯片的工艺知识。
• 生产圆珠笔尖困难，中国2017年才达到该制造水平。

真实生产需要理论/假设形成、实验设计、执行和缓慢迭代改进。许多物理和化学过程无法人工加速，芯片晶圆制造需5-8周或更长时间。

游戏与现实的差异

AlphaGo等系统的成功依赖于围棋规则固定、已知，且评估位置质量和模拟未来对局廉价高效。但现实不同：

• 准确廉价地模拟现实不可行，即使简单部分（如湍流水龙头）也无法高精度模拟。
• 现实规则未知，人类和超级智能都需通过仔细实验和逐步改进创建新近似。
• 对抗性游戏（如与人类冲突）的规则不稳定。
• 评估现实实验成本高昂，尤其对AI。

智能并非唯一因素

常用思想实验：假设缩放是智能提升的唯一途径，那么虎鲸或抹香鲸已比最聪明人类更智能，但即使配备所有人类书面知识和键盘，它们也无法快速策划消灭人类。人类成功源于三要素：双足行走与对生拇指、可生火环境、智能。缺一不可，虎鲸和抹香鲸缺拇指和火，无法仅靠思考统治世界。

信息理论限制超级智能

超级智能可任意精度模拟现实的假设违背热力学、计算不可约性和信息理论。许多叙述假设超级智能可摆脱“计算成本”、“存储信息成本”、“获取信息成本”等约束，但即使假设全知存在无限计算能力，也无法构建麦克斯韦妖或永动机。信息理论与热力学的关系无法被打破，包括超级智能。

冲突中无零风险移动

传统兵棋推演广泛使用随机数——单位有杀伤概率（通常经验确定），用随机数模拟随机事件是现实兵棋推演的组成部分。这意味着移动“失败”或出错是冲突中的常态，通常无零风险移动；每个移动都为对手创造机会。在所有X风险场景中，超级智能 somehow 找到零风险或近零风险移动序列实现目标，而人类未发现任何证据，这令人困惑。

更现实场景（假设牵强且不实际的合成超级智能决定伤害人类）涉及AI基于高度不确定数据做出对自身有风险的移动。冲突因此不会短暂，并有多个人类与超级智能的交互点。

下一词预测无法处理库恩范式转移

有人认为下一词预测将导致超级智能，但我不认同，因为不清楚下一词预测如何处理库恩范式转移。科学进展断断续续；通常停留在陈旧范式直到“科学革命”。科学革命必然改变语言产生方式——例如，科学革命前所有人类文本语料不能很好代表革命后使用的语言——但LLM被训练模仿训练语料分布。人们指出情境学习（ICL）认为LLM可吸收新知识，但我尚未信服——所有当前模型失败于生成一词序列（当切成二元组时）在训练语料中罕见或从未出现，显示ICL调整LLM输出分布的方式极有限。

今日足够。接触现实，构建实物

理论上，理论等于实践。实践中不然。走出软件理论领域（几代电子工程和芯片工程师牺牲生命给软件工程师提供理论多数时间接近实践的环境），进入涉及灰尘、阳光、辐射和设备 chatter 的现实事物，是令人清醒的体验，我们应更常做。如果不构建任何东西，很容易退化为经院哲学。

Posted by halvar.flake at 10:36 AM