https://blog.qife122.com/tags/%E9%80%9A%E4%BF%A1%E4%BC%98%E5%8C%96/ Recent content in 通信优化 on 办公AI智能小助手 Hugo zh-cn qife Sat, 06 Sep 2025 07:02:23 +0800 https://blog.qife122.com/p/%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E5%BA%93mics%E5%AE%9E%E7%8E%B0%E8%BF%91%E7%BA%BF%E6%80%A7%E6%89%A9%E5%B1%95/ Sat, 06 Sep 2025 07:02:23 +0800 https://blog.qife122.com/p/%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E5%BA%93mics%E5%AE%9E%E7%8E%B0%E8%BF%91%E7%BA%BF%E6%80%A7%E6%89%A9%E5%B1%95/ <h2 id="近线性扩展巨型模型训练">近线性扩展巨型模型训练</h2> <p>最先进的语言模型拥有数十亿参数。为了在可控时间内训练这些模型，需要将工作负载分布到大型计算集群中。理想情况下，训练时间应随集群规模线性减少。但由于协调集群节点工作所需的通信会抵消并行化带来的收益，实现线性扩展十分困难。</p>