https://blog.qife122.com/tags/%E5%8A%A8%E9%87%8F%E6%B3%95/ Recent content in 动量法 on 办公AI智能小助手 Hugo zh-cn qife Wed, 10 Sep 2025 13:36:08 +0800 https://blog.qife122.com/p/%E5%8A%A8%E9%87%8F%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95%E7%9A%84%E5%B7%A5%E4%BD%9C%E5%8E%9F%E7%90%86%E4%B8%8E%E6%95%B0%E5%AD%A6%E8%A7%A3%E6%9E%90/ Wed, 10 Sep 2025 13:36:08 +0800 https://blog.qife122.com/p/%E5%8A%A8%E9%87%8F%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95%E7%9A%84%E5%B7%A5%E4%BD%9C%E5%8E%9F%E7%90%86%E4%B8%8E%E6%95%B0%E5%AD%A6%E8%A7%A3%E6%9E%90/ <h1 id="为什么动量法真正有效">为什么动量法真正有效</h1> <h2 id="梯度下降的局限性">梯度下降的局限性</h2> <p>梯度下降法通过反复执行小步长的梯度更新来最小化平滑函数：</p> <p>$$w^{k+1} = w^k - \alpha \nabla f(w^k)$$</p> <p>虽然该算法能保证收敛，但在存在<strong>病态曲率</strong>（即函数在不同方向上尺度差异显著）时性能会急剧下降。此时迭代要么在谷壁间震荡，要么以微小步长缓慢逼近最优点，收敛速度受限于条件数 $\kappa = \lambda_n / \lambda_1$（最大与最小特征值之比）。</p>