通用型人工智能无法扩展

Daemonic Dispatches
Colin Percival的随想

通用型人工智能无法扩展

最近关于人工智能的讨论很多，科技行业特别关注一个关键点：模型训练的成本。据一些业内人士透露——以及英伟达的市值表明——AI训练所需的计算能力可能会颠覆整个半导体行业。这并不令人意外：通用型人工智能无法扩展。

从根本上说，训练一个规模为N的模型相当于在N维空间中进行爬山优化。你需要O(N)个输入，将它们输入模型，在每次输入后微调模型参数使其更接近期望响应。需要O(N)个输入是因为如果少于这个数量，模型就会过拟合——本质上是在记忆特定的输入集而不是从中进行泛化——而对每个输入都需要执行O(N)计算，因为模型中有N个参数需要调整。最终结果：O(N²)的计算复杂度。

当然，AI领域还存在许多其他问题——最大的挑战之一是生成足够的训练数据（对于象棋或围棋这类游戏很容易，可以让AI自我对弈，但对于通用知识，最终会耗尽教科书资源）——你可以通过投入更多资金暂时对抗扩展定律；但最终无法战胜扩展性。最终会导致计算成本飙升到无法承受的程度。

那么解决方案是什么？不要做通用型AI。相反，我们需要转向使用专家AI池。不是使用单个规模为N的模型，而是将模型拆分为k个部分，每个部分在N/k个输入上进行训练。一个子模型学习所有医学知识；另一个学习所有现代艺术知识。你仍然有N个输入，但由于每个输入仅用于优化N/k个参数集，训练成本现在变为O(N²/k)。

这样做确实会损失一些东西——你可能不会看到描绘多肽的现代艺术作品的幻觉生成。但是，就像人类一样，大多数查询可以由合适的专家回答；拥有一组专家比训练一个成本过高而无法有效训练的通用型模型更好。（甚至可以有一个"调度器"子模型，它足够了解如何识别应该将查询转交给哪个专家。）通过降低训练成本，你能够构建一个比通用模型更大——也更智能——的模型集合。

专业化不仅仅适用于昆虫。它也适用于人工智能。

发布于 2024-04-06 15:30 | 永久链接 | 评论