我讨厌AI的所有理由及你也应该如此

AI狂热

有一件事是确定的：生成式AI正处于泡沫之中。这并非说AI作为一种技术会破裂，或者没有更多真实增长空间；只是目前的炒作程度远远超过了该技术的当前价值。

与我交谈的大多数（理性）人士持有以下三种观点之一：

• 这些技术从根本上不可持续，炒作将是短暂的
• 未来会有突破性进展使技术符合炒作，但目前所有人基本上都依靠创意营销来维持资金流动
• 该技术在狭窄用例中极具价值，但其他几乎所有东西都只是炒作

大型科技公司的AI对冲赌注

科技公司目前最大的威胁是AGI（人工通用智能）。AGI是一种理论上的AI模型，在学习、推理、思考和适应能力上超越人类。

风险在于，如果有一家公司能够实现AGI，他们将在几乎所有领域获得极端竞争优势。向AI研究投入1000亿美元不会杀死任何大型科技公司。如果事情不顺利，甚至无关紧要。其他所有公司都会在追逐幽灵中损失相似金额的资金。

但如果AGI真的实现，市场将如此快速且显著地转变，以至于任何没有AGI的主要参与者都将被抛在后面。简而言之，AGI的可能性对大型科技公司是生存威胁。

LLMs不是通往AGI的道路

苹果的结论与我在早期实验LLMs时得出的结论相同。我始终持有的立场是：LLMs不是，也永远不会是AGI。

真正的推理只是关于LLMs如何产生输出的众多理论之一；它也是需要最多假设的理论（参见：奥卡姆剃刀原则）。所有当前LLM的能力都可以通过更简单的现象来解释，这些现象远未达到思考或推理的水平。

真正推理与统计模式匹配

对我来说，真正推理和模式匹配之间的一个明显区别是当你移除对新信息的访问时会发生什么。

LLM智能和推理的真正衡量标准不应该是重构现有信息，而是产生真正新颖作品的能力。每次我尝试让LLMs进行新颖研究时，它们都失败了，因为它们无法访问该主题的现有文献。

证明LLM推理的困难

测试LLM推理的主要挑战之一通常依赖于给它一个新奇的问题。但一旦新问题发布，答案也会发布，此时LLM就可以从训练数据中 regurgitate 现有答案。

LLMs的局限性

我个人倾向于认为LLMs作为一种技术很快就会达到上限，或者已经达到上限。它们快速碰到了一个天花板，给它们更多数据、更多参数和更多token不再带来任何明显改进。

思维链推理（CoT）

CoT本质上只是让LLM将问题分解成更小的部分。但这并不是对LLM技术的真正改进，它只是通过添加更多LLMs来解决LLMs的基本缺陷。

检索增强生成（RAG）

作为研究人员和作家，这是我最不喜欢的LLM功能。RAG基本上只是美化的抄袭。虽然我认为LLMs总体上只是"抄袭即服务"，但RAG比典型的LLM行为更接近实际抄袭。

恐惧替代与冲动决策

科技现状

对我来说变得非常清楚的是，与区块链、大数据、云计算和NFT类似，LLM领域的许多活动是由恐惧驱动的。

LLM列车尚未离站

科技界我最常见的谬误之一是认为早期有回报。“先发优势”。这与现实似乎从未一致。

当前研究

有趣的是，试图衡量因使用LLMs而提高生产力的研究实际上发现了相反的结果。每个人都感觉更有效率，但数据显示LLM用户的客观生产力显著下降。

“你不会被AI替代，但会被使用AI的员工替代”

在主流的解释中，人们不应该做的是"学习"用AI做所有事情。你应该做的是学习常规技能。成为领域专家并用LLM提示不好，会比外行有"世界最佳提示工程师"杯子的人获得无限更好的结果。

LLM过度依赖与认知衰退

我实际上更进一步，并愿意赌1000美元，在未来5年内，我们将开始看到大量研究表明过度使用LLMs实际上会导致显著的认知衰退。

大脑很像肌肉，因为神经通路必须通过心理练习不断强化。我怀疑我们许多人都有过因长时间不使用某项技能而完全忘记它的经历。LLMs使这种情况成为可能，但是针对每一项技能。

最终想法

所以是的，虽然我可能看起来像个巨大的LLM仇恨者，但我觉得我有我的理由。话虽如此，我仍然积极研究和定期实验LLM，并且我总是愿意被证明是错误的。