语言模型角色驱动推理的激活修补分析

大型语言模型（LLMs）在采用不同角色方面展现出卓越的多样性。本研究通过激活修补技术，首次探索角色分配如何影响模型在客观任务中的推理过程。

核心发现

早期MLP层的双重处理机制
研究发现，早期多层感知机（MLP）层不仅关注输入的语法结构，同时处理其语义内容。这些层将角色标记转化为更丰富的表征，供后续层使用。

中层MHA层的角色表征利用
中间多层注意力头（MHA）层利用早期层生成的角色表征来塑造模型输出，形成角色驱动的推理路径。

身份关注偏差识别
研究还识别出特定注意力头对种族和颜色身份存在不成比例的高度关注，揭示了模型在处理身份相关信息时的内在偏差。

技术方法

通过系统性激活修补实验，研究人员定位了模型中编码角色特定信息的关键组件。该方法为理解语言模型如何内部处理角色信息提供了新的技术路径。

研究意义

该工作为解析语言模型的角色化推理机制提供了重要技术洞察，对提升模型透明度和理解其决策过程具有重要价值。