多语言大模型内部语言表征机制解析
大型语言模型（LLMs）在多语言任务中表现出色，但其内部语言处理机制仍未被充分理解。本研究分析了Aya-23-8B（一个基于平衡多语言数据训练的仅解码器LLM）在处理代码混合、完形填空和翻译任务时的表现，并与以单语言为主的模型（如Llama 3和Chinese-LLaMA-2）进行对比。
通过logit lens和神经元专业化分析，发现：
- Aya-23在翻译过程中会激活类型学相关的语言表征，这与以英语为中心的模型依赖单一枢纽语言的处理方式不同；
- 代码混合的神经元激活模式随混合比例变化，且更多受基础语言而非混合语言的影响；
- Aya-23针对代码混合输入的语言特定神经元集中在最终层，这与先前对仅解码器模型的研究发现存在差异。
神经元重叠分析进一步表明，文字系统相似性和类型学关系会影响不同模型类型的处理过程。这些发现揭示了多语言训练如何塑造LLM的内部机制，并为未来的跨语言迁移研究提供了参考。
注释：本文为预印本。