跨职能协作团队体系

技术协作中的关键发现是：运行多组织参与的国家级机器学习项目需要跨内部团队的协同支持。为此专门组建了虚拟团队，整合客户经理团队、解决方案架构师专家团队及服务团队。该协作模式依赖于客户与多层技术支持团队的紧密配合。

客户团队通常包含业务技术负责人、机器学习及平台工程师，负责执行训练任务。客户经理团队负责维护客户关系、文档管理及内外部沟通。全球专家组织框架团队专注于大规模机器学习工作负载，核心负责高性能计算与容器服务（包括集群管理工具、容器服务及机器学习专用集群服务）。该团队负责建立协作框架并监督技术对接，作为其他协作者的上报节点，直接与服务团队（云计算服务、对象存储服务、文件存储服务及机器学习集群服务）协作处理技术问题。

为确保协作效率，建立了多层沟通机制：

• 内部即时通讯频道用于项目协调，实现实时问题排查与知识共享
• 外部频道连接技术团队与客户，创建协作环境
• 详细的工作负载跟踪文档记录每个客户的训练实施细节（模型架构、分布式训练框架）和基础设施规格
• 每周召开评审会议跟踪技术问题，促进经验共享与持续改进

参考架构设计

项目早期的重要认知是可靠参考架构的价值。为避免团队从零配置集群，提供了两种经过验证的部署方案：开源集群管理工具（用户自管理HPC集群）和托管式弹性集群服务。这些架构覆盖完整技术栈（计算、网络、存储、容器环境与监控），并通过代码托管平台以最小化部署阻力交付。

开源集群管理工具通过简单配置即可部署基于开源调度器的HPC集群。托管集群服务则为大规模机器学习提供GPU与专用芯片集群的托管服务，支持与调度器或容器编排平台的集成，提供额外的集群弹性管理功能。

参考架构（如下图所示）将计算、网络、存储和监控无缝集成为专门针对大规模训练设计的系统：

基础架构栈通过基础设施即代码模板实现一键部署，自动配置专用虚拟网络与高性能文件系统（支持可选共享目录方案），并通过对象存储桶提供跨训练周期的持久化存储。该架构采用分层存储策略平衡性能与成本效益，通过数据存储关联机制实现对象存储与高性能文件系统间的自动数据传输。

可选监控基础设施结合托管监控服务与可视化平台（或自托管方案），提供全面的可观测性。集成GPU监控导出器与网络指标导出器，支持实时系统健康监测与性能追踪，通过定制化仪表板实现异常自动告警。

可复现部署指南与体系化赋能

2024年10月3日，技术团队为项目参与者举办了大规模赋能会议，邀请美国框架团队成员分享在云端训练基础模型的最佳实践。会议包含讲座、实践实验室与小组讨论，参与人数超过80人。

讲座内容涵盖：

• 基础设施基础原理
• 编排工具选项对比分析
• 构建大规模模型所需的软件组件
• 实际开发挑战（海量计算需求、可扩展网络、高吞吐存储）的解决方案

实践环节重点培训：

• 使用监控工具搭建性能仪表板
• 监控高速网络流量
• 通过诊断工具包与定制仪表板排查GPU故障

技术团队同时准备了详细的工作坊材料，提供前述参考架构的部署指南。参与者通过实践练习掌握了以下技能：

• 使用调度器部署训练集群
• 配置高性能文件系统
• 运行多节点分布式训练
• 监控资源利用率与网络吞吐量
• 系统健康检查与性能调优

赋能会议结束后，客户通过专属入驻会议与首席架构师开展针对性协作，重点部署符合特定用例的定制化集群，实时验证环境配置并解决技术问题。

成果与展望

项目实践证明：大规模基础模型训练本质上是组织协作挑战而非单纯硬件问题。通过体系化支持、可复现模板和跨职能协作团队，小型团队也能在云端成功执行海量工作负载。12家客户单日跨区域部署超过127个GPU实例与24个训练芯片实例，成功训练了包括320亿参数多模态模型和4050亿参数旅游多语言模型在内的多个大型模型。

基于项目经验，技术团队正在多个维度推进改进：增强协作模型、完善技术资产、优化实施指南。通过强化跨职能协作和系统化知识共享，建立更高效的支持体系。参考架构与自动化训练模板持续增强，实践技术工作坊和最佳实践正在基于经验教训进行系统化整理。

2025年4月3日，技术在东京举办了综合技术活动，为基础模型构建者提供实践体验与架构指导。超过50名参与者通过研讨会获得了多节点GPU集群、分布式训练和可观测性工具的实操经验。会议展示了技术端到端生成式AI支持生态，为后续项目周期奠定基础。

通过这些举措，技术将继续提供强有力的技术支持，促进大规模基础模型训练的顺利执行，持续通过技术专长推动全球生成式AI发展。