群序列策略优化（GSPO）

本文介绍了群序列策略优化（Group Sequence Policy Optimization, GSPO），这是一种稳定、高效且性能卓越的强化学习算法，专为训练大语言模型而设计。与先前采用令牌级重要性比例的算法不同，GSPO基于序列似然定义重要性比例，并执行序列级裁剪、奖励和优化。

研究表明，GSPO相比GRPO算法实现了更优的训练效率和性能表现，显著稳定了混合专家（Mixture-of-Experts, MoE）强化学习训练过程，并具有简化强化学习基础设施设计的潜力。GSPO的这些优势为最新Qwen3模型的显著改进做出了重要贡献。

技术特点

• 序列级优化机制：突破传统令牌级处理方式，采用基于序列似然的重要性比例计算
• 训练稳定性提升：特别针对混合专家模型的强化学习训练过程实现稳定化
• 基础设施简化：降低强化学习系统架构的设计复杂度

性能表现

实验结果表明，该算法在训练效率和模型性能方面均超越现有基准方法，为大规模语言模型的强化学习训练提供了新的技术路径。