大型语言模型位置偏差机制揭秘
研究表明，大型语言模型(LLM)在处理文档或对话时存在过度关注开头和结尾而忽视中间内容的"位置偏差"现象。例如在法律文件检索场景中，模型在30页 affidavit 中更易识别首尾页的关键短语。
机制发现与理论框架
MIT研究人员构建了基于图论的理论框架，系统分析Transformer架构中注意力掩码和位置编码对信息流的影响：
- 因果掩码缺陷：仅允许词语关注前文的设计会引发固有偏差，即使前文信息重要性较低
- 位置编码作用：强化词语与邻近词关联的位置编码可缓解偏差，但在深层网络中效果减弱
- 训练数据影响：数据本身的分布偏差会与模型架构偏差产生叠加效应
实验显示，信息检索任务中模型准确率呈现U型曲线——首尾位置表现最佳，中间内容识别率显著下降。
应用改进方向
研究提出的诊断框架可指导以下优化：
- 医疗AI系统：公平处理患者数据全貌
- 代码助手：全面关注程序所有部分
- 对话系统：维持长对话的主题一致性
通过调整注意力掩码策略、精简网络层数或优化位置编码方案，可有效降低位置偏差。研究同时强调需结合特定任务数据分布进行针对性优化。
该成果为提升Transformer模型在非自然语言生成任务中的可靠性提供了理论基础，相关论文将发表于国际机器学习会议。研究获得美国海军研究办公室、国家科学基金会等机构支持。