https://blog.qife122.com/tags/%E7%A8%80%E7%96%8F%E5%AD%90%E7%BD%91%E7%BB%9C/ Recent content in 稀疏子网络 on 办公AI智能小助手 Hugo zh-cn qife Sun, 14 Sep 2025 04:12:04 +0800 https://blog.qife122.com/p/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%BE%AE%E8%B0%83%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%A8%80%E7%96%8F%E5%AD%90%E7%BD%91%E7%BB%9C%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ Sun, 14 Sep 2025 04:12:04 +0800 https://blog.qife122.com/p/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%BE%AE%E8%B0%83%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%A8%80%E7%96%8F%E5%AD%90%E7%BD%91%E7%BB%9C%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ <h1 id="强化学习微调大语言模型中的稀疏子网络">强化学习微调大语言模型中的稀疏子网络</h1> <p>强化学习（RL）是将大语言模型（LLMs）与复杂任务和人类偏好对齐的关键后预训练步骤。尽管通常认为RL微调需要更新模型的大部分参数，但我们通过一个惊人发现挑战了这一假设：RL微调仅一致地修改一个小型子网络（通常占权重的5-30%），而大多数参数保持不变。我们称这一现象为<strong>RL诱导的参数更新稀疏性</strong>。</p>