https://blog.qife122.com/tags/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/ Recent content in 大语言模型训练 on 办公AI智能小助手 Hugo zh-cn qife Mon, 15 Sep 2025 02:23:31 +0800 https://blog.qife122.com/p/%E5%85%89%E8%B7%AF%E4%BA%A4%E6%8D%A2%E6%9E%84%E5%BB%BA%E6%97%A0%E9%99%90%E5%B8%A6%E5%AE%BDllm%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%BF%83%E6%8A%80%E6%9C%AF/ Mon, 15 Sep 2025 02:23:31 +0800 https://blog.qife122.com/p/%E5%85%89%E8%B7%AF%E4%BA%A4%E6%8D%A2%E6%9E%84%E5%BB%BA%E6%97%A0%E9%99%90%E5%B8%A6%E5%AE%BDllm%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%BF%83%E6%8A%80%E6%9C%AF/ <h1 id="infinitehbd采用光路交换收发器构建llm数据中心级高带宽域">InfiniteHBD：采用光路交换收发器构建LLM数据中心级高带宽域</h1> <p>扩展大语言模型（LLM）训练依赖于多维并行技术，其中高带宽域（HBD）对于张量并行（TP）和专家并行（EP）等通信密集型并行方式至关重要。然而，现有HBD架构在可扩展性、成本和容错性方面存在根本性限制：以交换机为中心的HBD（如NVL-72）导致扩展成本过高，而以GPU为中心的HBD（如TPUv3/Dojo）存在严重的故障传播问题。TPUv4等交换机-GPU混合HBD采取折中方案，但故障爆炸半径仍保持在立方体级别（例如64个TPU）。</p>