https://blog.qife122.com/tags/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E4%BC%98%E5%8C%96/ Recent content in 梯度下降优化 on 办公AI智能小助手 Hugo zh-cn qife Tue, 16 Sep 2025 21:15:11 +0800 https://blog.qife122.com/p/%E6%B7%B1%E5%85%A5%E8%A7%A3%E6%9E%90transformer%E8%AE%AD%E7%BB%83%E5%8A%A8%E6%80%81%E4%B8%8E%E4%BC%98%E5%8C%96%E7%AD%96%E7%95%A5/ Tue, 16 Sep 2025 21:15:11 +0800 https://blog.qife122.com/p/%E6%B7%B1%E5%85%A5%E8%A7%A3%E6%9E%90transformer%E8%AE%AD%E7%BB%83%E5%8A%A8%E6%80%81%E4%B8%8E%E4%BC%98%E5%8C%96%E7%AD%96%E7%95%A5/ <h1 id="理解transformer的训练动态">理解Transformer的训练动态</h1> <p>理论分析揭示了模型训练过程中的优化机制，并发现对于某些优化任务，高斯注意力核可能比softmax表现更优。</p> <h2 id="核心发现">核心发现</h2> <p>当前突破性AI模型大多基于Transformer架构，其核心特征在于注意力机制。例如在大型语言模型（LLM）中，Transformer通过注意力机制确定生成下一个词时需要重点关注文本中的哪些词汇；在多模态模型中，则可能决定在计算像素值时需要关注指令中的哪些词汇。</p> https://blog.qife122.com/p/%E6%B7%B1%E5%85%A5%E8%A7%A3%E6%9E%90transformer%E8%AE%AD%E7%BB%83%E5%8A%A8%E6%80%81%E4%B8%8E%E4%BC%98%E5%8C%96%E6%9C%BA%E5%88%B6/ Sat, 13 Sep 2025 13:36:45 +0800 https://blog.qife122.com/p/%E6%B7%B1%E5%85%A5%E8%A7%A3%E6%9E%90transformer%E8%AE%AD%E7%BB%83%E5%8A%A8%E6%80%81%E4%B8%8E%E4%BC%98%E5%8C%96%E6%9C%BA%E5%88%B6/ <h1 id="理解transformer的训练动态">理解Transformer的训练动态</h1> <p>理论分析为模型训练期间的优化过程提供了深入见解，并揭示对于某些优化场景，高斯注意力核可能比Softmax表现更优。</p> <h2 id="核心发现">核心发现</h2> <p>当前突破性AI模型大多基于Transformer架构，其核心特征在于注意力机制的应用。例如在大型语言模型（LLM）中，Transformer通过注意力机制确定生成下一个词时需要重点关注文本中的哪些词汇；在多模态模型中，则可能决定在计算像素值时需要关注指令中的哪些词语。</p>