https://blog.qife122.com/tags/%E9%9A%8F%E6%9C%BA%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D/ Recent content in 随机梯度下降 on 办公AI智能小助手 Hugo zh-cn qife Thu, 18 Sep 2025 07:30:10 +0800 https://blog.qife122.com/p/%E5%88%86%E5%B8%83%E6%BC%82%E7%A7%BB%E4%B8%8B%E7%9A%84%E5%AE%9E%E6%97%B6%E5%BC%82%E5%B8%B8%E6%A3%80%E6%B5%8B%E6%8A%80%E6%9C%AF/ Thu, 18 Sep 2025 07:30:10 +0800 https://blog.qife122.com/p/%E5%88%86%E5%B8%83%E6%BC%82%E7%A7%BB%E4%B8%8B%E7%9A%84%E5%AE%9E%E6%97%B6%E5%BC%82%E5%B8%B8%E6%A3%80%E6%B5%8B%E6%8A%80%E6%9C%AF/ <h1 id="分布漂移下的实时异常检测">分布漂移下的实时异常检测</h1> <h2 id="理论分析与实验">理论分析与实验</h2> <p>理论分析和实验表明，裁剪随机梯度下降（clipped SGD）能够实现鲁棒的在线统计估计。异常检测旨在识别超出统计规范的行为，异常可能表明某种恶意活动，如网站密码破解尝试、未经授权的信用卡购买或服务器的侧信道攻击。</p> https://blog.qife122.com/p/sgd%E6%89%B9%E9%87%8F%E5%A4%A7%E5%B0%8F%E5%AF%B9%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%BD%B1%E5%93%8D/ Wed, 17 Sep 2025 12:13:23 +0800 https://blog.qife122.com/p/sgd%E6%89%B9%E9%87%8F%E5%A4%A7%E5%B0%8F%E5%AF%B9%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%BD%B1%E5%93%8D/ <h1 id="sgd批量大小对自编码器学习的影响稀疏性锐度与特征学习">SGD批量大小对自编码器学习的影响：稀疏性、锐度与特征学习</h1> <h2 id="摘要">摘要</h2> <p>本研究探讨了在正交数据上训练具有线性或ReLU激活函数的单神经元自编码器时，随机梯度下降(SGD)的动态特性。研究表明，对于这一非凸优化问题，使用恒定步长的随机初始化SGD能够在任何批量大小设置下成功找到全局最小值。然而，所找到的具体全局最小值取决于批量大小的选择。</p>