https://blog.qife122.com/tags/%E6%A2%AF%E5%BA%A6%E5%8E%8B%E7%BC%A9/ Recent content in 梯度压缩 on 办公AI智能小助手 Hugo zh-cn qife Sun, 14 Sep 2025 06:18:40 +0800 https://blog.qife122.com/p/%E7%AA%81%E7%A0%B4%E5%86%85%E5%AD%98%E9%99%90%E5%88%B6%E6%A2%AF%E5%BA%A6%E5%B0%8F%E6%B3%A2%E5%8F%98%E6%8D%A2%E4%BC%98%E5%8C%96%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/ Sun, 14 Sep 2025 06:18:40 +0800 https://blog.qife122.com/p/%E7%AA%81%E7%A0%B4%E5%86%85%E5%AD%98%E9%99%90%E5%88%B6%E6%A2%AF%E5%BA%A6%E5%B0%8F%E6%B3%A2%E5%8F%98%E6%8D%A2%E4%BC%98%E5%8C%96%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/ <h1 id="突破内存限制梯度小波变换增强大语言模型训练">突破内存限制：梯度小波变换增强大语言模型训练</h1> <p>大语言模型（LLMs）在自然语言处理任务中展现出卓越性能，但其海量参数在训练过程中（尤其是使用类似Adam等内存密集型优化器时）带来了显著的内存挑战。现有内存高效算法通常依赖于奇异值分解投影或权重冻结等技术，虽然这些方法有助于缓解内存限制，但与全秩更新相比通常产生次优结果。</p>