https://blog.qife122.com/tags/%E5%A4%9A%E5%B1%82%E6%84%9F%E7%9F%A5%E6%9C%BA/ Recent content in 多层感知机 on 办公AI智能小助手 Hugo zh-cn qife Sun, 14 Sep 2025 04:28:15 +0800 https://blog.qife122.com/p/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%A7%92%E8%89%B2%E9%A9%B1%E5%8A%A8%E6%8E%A8%E7%90%86%E6%9C%BA%E5%88%B6%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ Sun, 14 Sep 2025 04:28:15 +0800 https://blog.qife122.com/p/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%A7%92%E8%89%B2%E9%A9%B1%E5%8A%A8%E6%8E%A8%E7%90%86%E6%9C%BA%E5%88%B6%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ <h1 id="语言模型角色驱动推理的激活修补分析">语言模型角色驱动推理的激活修补分析</h1> <p>大型语言模型（LLMs）在采用不同角色方面展现出卓越的多样性。本研究通过激活修补技术，首次探索角色分配如何影响模型在客观任务中的推理过程。</p> <h2 id="核心发现">核心发现</h2> <p><strong>早期MLP层的双重处理机制</strong><br> 研究发现，早期多层感知机（MLP）层不仅关注输入的语法结构，同时处理其语义内容。这些层将角色标记转化为更丰富的表征，供后续层使用。</p>