几个世纪以来，语义理论几乎只引起哲学家的兴趣，仅在小型专业会议的研讨室中进行辩论。但大型语言模型（LLM）和其他“基础模型”的出现改变了这一状况。突然间，主流媒体开始热烈猜测仅通过预测序列中下一个词训练的模型是否能真正理解世界。
自然会产生怀疑。一个以如此机械方式生成语言的机器如何理解词语的含义？仅仅处理文本，无论多么流利，似乎并不意味着任何更深层次的理解。这种怀疑论有着悠久的历史。1980年，哲学家约翰·塞尔提出了一个名为“中文房间”的思想实验，其中不懂中文的人遵循一组规则来操纵汉字，对中文问题生成中文回答。该实验旨在表明，由于房间里的人从不理解语言，符号操作本身无法导致语义理解。
同样，今天的批评者经常认为，由于LLM只能处理“形式”（符号或词语），它们原则上无法实现理解。这些批评者认为，意义取决于形式（语言表达，或语言模型中的标记序列）与外部事物之间的关系，而仅基于形式训练的模型对这些关系一无所知。
但这是真的吗？在本文中，我们将论证语言模型不仅能够而且确实表示意义。
概率空间
在某中心云服务部门，我们一直在研究具体方法来描述LLM所表示的意义。这些模型的第一个挑战是，没有明确的候选位置可以容纳“意义”。今天的LLM通常是仅解码器模型；与仅编码器或编码器-解码器模型不同，它们不使用向量空间来表示数据。相反，它们以分布式方式在Transformer模型的多个层和注意力头中表示词语。我们应该如何思考这类模型中的意义表示？
在我们的论文《自回归模型中轨迹的意义表示》中，我们提出了一个答案。对于给定句子，我们考虑所有可能跟随它的标记序列的概率分布，所有此类分布的集合定义了一个表示空间。如果两个句子具有相似的延续概率（或轨迹），它们在表示空间中更接近；如果它们的概率分布不同，则相距更远。产生相同延续分布的句子是“等价的”，它们共同定义了一个等价类。句子的意义表示就是它所属的等价类。
在自然语言处理领域，人们广泛认识到语言中词语的分布与其含义密切相关。这一想法被称为“分布假说”，通常在word2vec嵌入等方法中被引用，这些方法从词语共现统计中构建意义表示。但我们相信我们是第一个使用分布本身作为表示意义的主要方式。由于LLM提供了一种计算这些分布的方法，这成为可能。
当然，单个句子的可能延续实际上是无限的，因此即使使用LLM，我们也永远无法完全描述它们的分布。但这种不可能性反映了意义的根本不确定性，这对人类和AI模型都成立。意义不是直接观察到的：它们编码在大脑的数十亿突触中，或训练模型的数十亿激活中，这些可用于产生表达。任何有限数量的表达可能与多个（实际上是无限多个）意义兼容；人类或语言模型意图传达的意义永远无法确定。
然而，令人惊讶的是，尽管当今模型具有高维度，我们不需要采样数十亿或数万亿轨迹来表征一个意义。少数（例如10或20个）就足够了。这再次与人类语言实践一致。被问及特定陈述含义的教师通常会以几种方式重新表述，这可以被描述为试图识别陈述所属的等价类。
在我们论文报告的实验中，我们展示了使用现成LLM采样标记轨迹的句子相似性度量与人类标注基本一致。事实上，我们的策略在语义文本相似性的零样本基准测试中优于所有竞争方法。
形式与内容
这是否表明我们论文中意义的定义（可能轨迹的分布）反映了人类在归因意义时的行为？怀疑论者可能会说这不可能：文本延续仅基于“形式”，缺乏意义所需的外部基础。
但延续的概率可能捕捉到关于我们如何解释世界的更深层内容。考虑一个以“在梳妆台上站着……”开头的句子，以及该句子的三种可能延续的概率：（1）“一张照片”；（2）“一座奥斯卡小金人”；（3）“一块钚锭”。这些概率是否告诉了你关于在某人梳妆台上实际可能找到什么的信息？所有可能句子延续的概率可能是找到梳妆台上不同对象可能性的良好指南；在这种情况下，LLM编码的“形式”模式将告诉你关于世界的特定信息。
然而，怀疑论者可能反驳，词语到对象的映射赋予词语意义，而映射并非词语本身固有；它需要人类解释或LLM外部的某种其他机制。但人类如何进行这种映射？当你读到短语“梳妆台上的物体”时，你内部发生了什么？也许你想象了一些不确定的东西——从多个角度或高度观看梳妆台的叠加，上面有特定大小和颜色范围内的抽象物体。也许你还想象了梳妆台在房间中的可能位置、房间的其他家具、梳妆台木材的触感、梳妆台或上面物体的气味等等。
所有这些可能性都可以通过概率分布来捕捉，涵盖多感官模态和多个概念模式中的数据。因此，也许对人类而言，意义也涉及延续的概率，但在多感官空间中而非文本空间中。根据这种观点，当LLM计算标记序列的延续时，它以一种类似于人类的方式访问意义，只是在更有限的空间中。
怀疑论者可能认为，从多感官领域到书面语言的通道是意义无法挤过的瓶颈。但该通道也可以解释为简单投影，类似于从三维场景投影到二维图像。二维图像仅提供部分信息，但在许多情况下，场景仍然相当可理解。而且由于语言是我们交流多感官体验的主要工具，投影到文本可能毕竟不是那么“有损”。
这并不是说今天的LLM以与人类相同的方式掌握意义。我们的工作仅表明大型语言模型发展了具有语义价值的内部表示。我们还发现证据表明此类表示由离散实体组成，这些实体以复杂方式相互关联——不仅仅是接近性，还包括方向性、蕴含和包含。
但这些结构关系可能不同于用于训练模型的语言中的结构关系。即使我们在感官信号上训练模型，这仍然成立：我们无法直接看到特定表达背后支撑的意义，无论对模型还是人类都是如此。
然而，如果模型和人类接触过类似数据，并且如果他们共享了足够多的经验（今天，标注是共享的媒介），那么就存在沟通的基础。对齐然后可以被视为在模型 emergent 的“内部语言”（我们称之为“神经语”）和自然语言之间翻译的过程。
这种对齐能有多忠实？随着我们继续改进这些模型，我们将需要面对这样一个事实：即使人类也缺乏稳定、通用的共享意义系统。LLM以其独特的信息处理方法，可能只是多元解释合唱中的另一个声音。
以某种形式，关于世界与其表示之间关系的问题至少400年来一直是哲学的核心，尚未出现明确答案。随着我们走向LLM可能扮演越来越重要角色的未来，我们不应仅基于直觉 dismiss 想法，而应继续提出这些困难问题。LLM的明显局限性可能仅反映了我们对意义实际是什么的贫乏理解。