我讨厌AI的所有理由（你也应该如此）

经常有人指责我反对创新。如果你关注我一段时间，可能看到我批评从加密货币到大语言模型的一切。这常常让人们提出疑问：“为什么一个技术背景如此深厚的人会反技术？”

AI狂热

可以肯定的是，生成式AI正处在泡沫中。这并非说AI技术会破灭，或者没有真正的增长空间；只是当前的炒作远远超过了技术的实际价值。

与我交流的大多数理性人士持以下三种观点之一：

• 这些技术本质上不可持续，炒作将是短暂的
• 未来会有突破性进展使技术符合炒作，但目前大家主要依靠创意营销来维持资金流动
• 技术在狭窄用例中极具价值，但其他几乎所有都是炒作

大型科技公司的AI对冲赌注

科技公司当前最大的威胁是AGI（人工通用智能）。AGI是一种理论上的AI模型，在学习、推理、思考和适应能力上超越人类。

投入1000亿美元进行AI研究不会杀死任何大型科技公司。如果事情不顺利，甚至无关紧要。每家公司都会在追逐幽灵中损失类似金额。但如果AGI真的实现，市场将如此快速和显著地转变，任何没有AGI的主要参与者都将被淘汰。

涓滴式炒作经济学

当所有这些大型科技公司几乎每天发布关于AI的大胆声明时，你开始被问到：“那么，我们正在做什么来为AI做准备？”

正确答案当然是：什么都不做。

除非你有数十亿美元来构建和训练自己的AI模型，否则你基本上只是某些大型科技公司昂贵订阅服务的未来客户。

Apple的方法

我发现最有趣的是Apple。我一直是Apple的粉丝，但不是传统意义上的。我不太关心iPhone或MacBook，但我一直对公司运营方式着迷。

他们倾向于避免抓稻草寻找新商业模式、大规模过度招聘和解雇，或立即追随每个新趋势。

Apple最初开始探索LLM领域，进行内部研究，甚至曾洽谈投资OpenAI。后来他们发布了两项关于LLM推理的研究。两项研究都认为LLM不进行推理，它们只是执行统计模式匹配，并将其伪装成推理。

LLM不是通往AGI的道路

Apple的结论与我早期实验LLM时得出的结论相同。

真正的推理只是关于LLM如何产生输出的众多理论之一；它也是需要最多假设的理论。所有当前LLM能力都可以用更简单的现象来解释，这些现象远未达到思考或推理的水平。

真实推理与统计模式匹配

对我来说，真实推理和模式匹配之间的一个明显区别是，当你移除对新信息的访问时会发生什么。

LLM智能和推理的真正衡量标准不应该是重构现有信息，而是产生真正新颖作品的能力。

证伪LLM推理的困难

测试LLM推理的主要挑战之一通常依赖于给它一个新问题。但一旦新问题发布，答案也随之发布，此时LLM只能从训练数据中 regurgitate 现有答案。

LLM的局限性

我个人倾向于认为LLM作为一种技术很快就会达到上限，或者已经达到上限。它们快速碰到了一个天花板，给它们更多数据、更多参数和更多token不再带来任何显著改进。

思维链推理

思维链推理本质上只是让LLM将问题分解为更小的部分。但这仍然依赖于LLM首先能够分解问题，不在任何阶段产生幻觉，并且需要更多时间和计算。

检索增强生成

作为研究人员和作家，这是我最不喜欢的LLM功能。RAG基本上允许LLM搜索互联网获取与用户查询相关的新鲜数据，使其能够获取最新信息。

我讨厌这个的原因是，它基本上是美化的抄袭。虽然我认为LLM总体上只是“抄袭即服务”，但RAG比典型的LLM行为更接近实际抄袭。

恐惧与冲动决策

科技现状

对我来说变得非常清楚的是，与区块链、大数据、云和NFT类似，LLM领域的许多活动是由恐惧驱动的。

LLM列车尚未离站

我在科技领域看到的最常见谬误之一是早入场有回报。“先发优势”。这与现实似乎从未一致。

一点历史

第一个网络搜索引擎“Archie”于1990年推出。Yahoo于1995年推出，同时还有AltaVista。Dogpile和AskJeeves出现于1996年，AOL出现于1997年。

当前的行业巨头Google直到1998年才进入竞赛。他们不是第一，不是早期，他们只是做得更好。

为什么我对早参加派对没有兴趣

目前，LLM是一种极不成熟的技术。我个人认为它们不会比现在好多少，但突破性创新可能改变这一点。

蛇已经在吃自己的尾巴

LLM自我蚕食

我认为LLM已经达到顶峰的另一个主要论据是来源蚕食。

由于LLM不思考也不推理，它们严重依赖大量人类生产的数据进行训练和RAG。

虚假生产力与LLM成瘾

LLM本质上劫持了人脑的奖励系统。通过允许人们快速总结和操纵他人的作品，LLM的使用给人一种自己完成工作获得的成就感，但没有任何繁重工作。

Adderall研究与AI

一段时间前，我遇到了几项研究Adderall对神经典型人群影响的研究。一项研究表明，神经典型人群服用Adderall时感觉比服用安慰剂时更有生产力。但他们的客观生产力保持不变甚至下降。

当前研究

有趣的是，试图衡量因使用LLM而提高生产力的研究实际上发现了相反的情况。每个人都感觉更有生产力，但数据显示LLM用户的客观生产力显著下降。

“你不会被AI取代，但会被使用AI的员工取代”

被视为“LLM是无用的抄袭机器”和“LLM将取代一切”之间折衷的流行智慧是假设的AI加速员工。

LLM过度依赖与认知衰退

LLM有点像整个互联网的有损压缩。它们将 nuanced 主题简化为不完全 layperson 水平的形式，但失去了很多细微差别，同时仍唤起完全理解的感觉。

但我实际上会更进一步，赌1000美元，在未来5年内，我们将开始看到大量研究表明过度使用LLM实际上导致显著的认知衰退。

大脑很像肌肉，因为神经通路必须通过心理练习 continuously 重新强化。

最后想法

所以是的，虽然我可能看起来像个巨大的LLM仇恨者，但我觉得我有我的理由。

话虽如此，我仍然积极研究和定期实验LLM，并且我总是乐于被证明是错误的。