通用AI无法扩展

恶魔派遣

来自Colin Percival的思考

通用AI无法扩展

最近关于AI的讨论很多，科技行业特别关注一个重点：模型训练的成本。根据一些内部人士的说法——以及NVIDIA的市值——AI训练所需的计算能力可能会颠覆整个半导体行业。这并不令人惊讶：通用AI无法扩展。

从根本上说，训练一个规模为N的模型的任务是在N维空间中进行爬山。你获取O(N)个输入，将它们通过模型运行，并在每个输入之后稍微向上调整模型以接近期望的响应。你需要O(N)个输入，因为如果少于这个数量，模型就会过拟合——本质上是记住特定的输入集而不是从中泛化——而对于每个输入，你需要执行O(N)计算，因为模型中有N个参数需要调整。最终结果：O(N²)计算。

现在，AI中还有很多其他问题——最大的问题之一是生成足够的训练数据（对于国际象棋或围棋来说很容易，你可以让AI与自己玩游戏，但对于一般知识，你最终会耗尽教科书）——你可以通过投入更多资金来暂时对抗扩展定律；但最终你无法击败扩展。你最终会煮沸海洋。

那么解决方案是什么？不要做通用AI。相反，我们需要转向使用专家AI池。与其使用单个规模为N的模型，不如将模型分成k个部分，每个部分在N/k个输入上训练。一个子模型学习所有关于医学的知识；另一个学习所有关于现代艺术的知识。你仍然有N个输入，但由于每个输入仅用于优化一组N/k参数，你的训练成本现在是O(N² / k)。

是的，这样做你会失去一些东西——你可能不会得到描绘多肽的现代艺术作品的幻觉。但是，就像人类一样，大多数查询可以由适当的专家回答；拥有一组专家比一个训练成本太高而无法有效训练的通用AI更好。（你甚至可以有一个“调度器”子模型，它知道足够的知识来识别将查询转交给哪个专家。）通过降低训练成本，你能够构建一个比通用模型更大、更聪明的模型集合。

专业化不仅仅适用于昆虫。它也适用于AI。

发布时间 2024-04-06 15:30 | 永久链接 | 评论

查看论坛线程。 博客评论由Disqus提供支持