https://blog.qife122.com/tags/%E9%80%9A%E4%BF%A1%E6%95%88%E7%8E%87/ Recent content in 通信效率 on 办公AI智能小助手 Hugo zh-cn qife Wed, 24 Sep 2025 01:51:41 +0800 https://blog.qife122.com/p/%E5%B7%A8%E5%9E%8B%E6%A8%A1%E5%9E%8B%E8%BF%91%E7%BA%BF%E6%80%A7%E6%89%A9%E5%B1%95%E8%AE%AD%E7%BB%83%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ Wed, 24 Sep 2025 01:51:41 +0800 https://blog.qife122.com/p/%E5%B7%A8%E5%9E%8B%E6%A8%A1%E5%9E%8B%E8%BF%91%E7%BA%BF%E6%80%A7%E6%89%A9%E5%B1%95%E8%AE%AD%E7%BB%83%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ <h1 id="近线性扩展巨型模型训练的技术突破">近线性扩展巨型模型训练的技术突破</h1> <p>现有顶尖语言模型参数规模达数十亿，为在可控时间内完成训练，需将工作负载分布到大型计算集群。理想情况下，训练时间应随集群规模线性减少，但由于节点间协调通信会抵消并行化收益，实现线性扩展极具挑战。</p>