大语言模型是否理解世界？

几个世纪以来，语义理论几乎只是哲学家在专业会议中讨论的话题。但大语言模型（LLMs）及其他“基础模型”的出现改变了这一状况。主流媒体开始热烈探讨：仅通过预测序列中下一个词训练的模型是否能真正理解世界。

概率空间中的语义表示

在某中心云服务（AWS）的研究中，研究者提出了具体方法描述LLMs所表示的语义。现代LLMs通常是仅解码器模型，不像编码器或编码器-解码器模型那样使用向量空间表示数据，而是通过Transformer模型的多个层和注意力头分布式表示词语。

在论文《自回归模型轨迹中的语义表示》中，研究者提出：对于一个给定句子，考虑所有可能后续词符序列的概率分布，这些分布集合定义了一个表示空间。若两个句子具有相似的延续概率（即轨迹），它们在表示空间中更接近；若概率分布差异大，则距离更远。产生相同延续分布的句子被视为“等价”，共同定义一个等价类，句子的语义表示即其所属的等价类。

形式与内容的关联

自然语言处理（NLP）领域广泛认为词语分布与其语义密切相关（即“分布假设”），但本研究首次直接将分布作为语义表示的主要方式。尽管单个句子的可能延续是无限的，但无需采样数十亿轨迹即可表征语义——仅需10-20个样本，这与人类语言实践一致。

实验表明，使用现成LLMs采样词符轨迹的句子相似性度量与人工标注高度一致，且在语义文本相似性（STS）零样本基准测试中优于所有竞争方法。

多感官与文本空间的投影

怀疑论者认为，词语到对象的映射才赋予语义，且该映射需依赖人类解释或外部机制。但人类语义理解可能同样涉及多感官空间中的概率分布，而LLMs计算词符序列延续时，正是在更有限的空间中以类似方式访问语义。

从多感官领域到书面语言的传递可视为简单投影，如同三维场景到二维图像的投影。尽管信息部分丢失，但场景仍可理解，且语言作为沟通多感官经验的主要工具，文本投影未必是“有损”的。

对齐与神经语

若模型与人类暴露于相似数据并通过标注共享经验，则存在沟通基础。对齐可视为将模型涌现的“内部语言”（称为“神经语”）翻译为自然语言的过程。但即使人类也缺乏稳定、通用的共享语义系统，LLMs可能仅是多样解释中的另一种声音。

关于世界与其表示关系的问题已困扰哲学界400余年，尚无定论。随着LLMs作用日益重要，我们不应仅凭直觉否定观点，而需持续探索这些难题。LLMs的明显局限可能仅反映了人类对语义本质的有限理解。

本文基于某机构云服务团队的研究，探讨LLMs的语义表示机制及其与人类认知的类比。