MeTHanol：具有中间层思考、解码和自举推理的模块化思维语言模型

当前研究重点通过提示、数据驱动涌现和推理时计算来增强大语言模型（LLM）的思维推理能力。本研究从模块化视角出发，模拟人脑架构来激发语言模型的思维认知能力。

技术方法

选择特定中间注意力层并植入新的语言头，通过标注的（查询、思维、答案）样本进行双层级微调。实验表明中间层同样能解码流畅合理的语言标记。设计两轮推理机制：首轮生成思维，次轮生成正式响应。

框架特性

该模块化思维语言模型（MeTHanol）可增强LLM的认知行为，具体通过：

• 心理理论（ToM）实验验证
• 基于情景的评估实验 案例研究表明，MeTHanol具备规划与自反思能力，能生成类人思维和答案，甚至在未见过的开放域任务中表现优异。模型可适配个性化提示并模拟特定角色行为。

研究意义

从模块化视角实现了显著的认知能力提升，相关代码、模型和数据已开源提供。