大语言模型中的长度表征机制

大型语言模型（LLMs）通过海量文本数据学习展现出卓越的多任务处理能力。尽管LLMs能够控制输出序列长度（尤其在指令导向场景中），但其内部控制机制尚未被深入探索。本研究通过实证证据揭示了输出序列长度信息在LLMs内部表征中的编码方式。

核心发现

• 多头注意力的关键作用：研究发现多头注意力机制对输出序列长度的确定具有决定性影响，且该机制支持解耦式调节
• 隐藏单元的缩放控制：通过调整模型内特定隐藏单元的缩放参数，可在保持生成文本信息量的前提下精确控制输出长度，证明长度信息与语义信息存在部分解耦
• 提示词敏感度响应：当提示词包含更明确的长度要求时，部分隐藏单元激活程度显著增强，反映模型内部对该属性的感知机制

机制特点

研究表明，大型语言模型通过自适应内部机制实现输出长度控制，该机制具备以下特性：

• 无需外部干预的自主调控能力
• 长度信息与语义信息的局部分离性
• 通过注意力头实现的精细化调节

这一发现为理解语言模型内部工作机制提供了新视角，表明模型在训练过程中自发形成了对输出序列长度的鲁棒控制体系。