https://blog.qife122.com/tags/%E6%B7%B7%E5%90%88%E4%B8%93%E5%AE%B6%E6%A8%A1%E5%9E%8B/ Recent content in 混合专家模型 on 办公AI智能小助手 Hugo zh-cn qife Mon, 08 Sep 2025 12:14:06 +0800 https://blog.qife122.com/p/%E5%BC%80%E6%BA%90%E6%99%BA%E8%83%BD%E4%BD%93kimi-k2%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ Mon, 08 Sep 2025 12:14:06 +0800 https://blog.qife122.com/p/%E5%BC%80%E6%BA%90%E6%99%BA%E8%83%BD%E4%BD%93kimi-k2%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ <h1 id="kimi-k2开源智能体智能">Kimi K2：开源智能体智能</h1> <p>我们介绍Kimi K2，这是一个混合专家（MoE）大语言模型，具有320亿激活参数和1万亿总参数。我们提出MuonClip优化器，通过新颖的QK-clip技术改进Muon，解决训练不稳定性问题，同时享受Muon的高级令牌效率。基于MuonClip，K2在15.5万亿令牌上进行了预训练，零损失峰值。</p>