最强开源代码生成模型Qwen3-Coder发布

某机构旗下Qwen团队推出开源代码生成模型Qwen3-Coder-480B-A35B-Instruct,该模型采用混合专家架构,支持256K上下文长度,在SWE-bench测试中取得67%的准确率,具备多步骤代码工作流处理能力和完整的应用开发功能,支持本地部署和云端API调用。

模型发布与定位

某电商巨头旗下Qwen团队发布新一代开源代码大语言模型Qwen3-Coder-480B-A35B-Instruct。该模型专注于软件开发辅助,能够处理复杂的多步骤编码工作流,在数秒或数分钟内创建完整可用的应用程序。作为开源模型,它在代理编码任务中可与Claude Sonnet-4等专有模型竞争,并在开放模型中创下新的基准测试成绩。

技术架构

  • 模型类型:采用混合专家(MoE)架构,总参数量4800亿,每个查询激活350亿参数
  • 上下文支持:原生支持256K令牌上下文,通过YaRN技术可扩展至100万令牌
  • 层次结构:62层注意力机制,96个查询头与8个键值对头
  • 训练数据:基于7.5万亿令牌预训练(其中70%为代码数据)

性能表现

在多项代理评估套件中取得领先成绩:

  • SWE-bench验证:67.0%(标准)/69.6%(500轮)
  • 对比模型成绩:GPT-4.1(54.6%)、Gemini 2.5 Pro预览版(49.0%)、Claude Sonnet-4(70.4%) 在代理浏览器使用、多语言编程和工具使用等任务中均表现优异

部署与集成

  • 开源许可:采用Apache 2.0许可证,允许免费商用部署
  • 部署平台:支持Hugging Face、GitHub、Qwen Chat及第三方编程工具平台
  • 云API服务:通过某云平台提供API服务,输入/输出令牌费用每百万1/5美元起
  • 开发工具:提供开源CLI工具Qwen Code,支持Node.js环境和npm安装

后训练技术

采用两项先进后训练技术:

  1. 代码强化学习:在多样化可验证代码任务上执行高质量执行驱动学习
  2. 长视野代理强化学习:训练模型进行多轮交互中的计划制定和工具使用

企业级应用价值

  • 代码库级理解:适用于需要理解大型代码库、技术文档或架构模式的AI系统
  • 自动化工作流:支持自动生成和审查拉取请求
  • 工具集成:通过原生工具调用API可嵌入内部工具和CI/CD系统
  • 数据驻留:支持本地基础设施部署,避免供应商锁定

开发者最佳实践

推荐参数配置:

  • 温度值:0.7
  • top_p:0.8
  • top_k:20
  • 重复惩罚系数:1.05
  • 最大输出长度:65,536令牌 要求Transformers版本4.51.0及以上

技术社区反响

早期测试者反馈积极,开发者可通过OpenAI兼容的Python客户端使用API,支持在对话或代码生成任务中动态调用自定义工具。模型展现出对任务上下文的深度感知能力,在仿真任务中不仅能执行提供的框架,还能在输出中嵌入上下文信息。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计