开源瑞士语言模型今夏发布

今年夏天，瑞士两所顶尖高校将发布基于公共基础设施开发的大语言模型（LLM）。该模型在瑞士国家超算中心的“阿尔卑斯”超级计算机上训练完成，标志着开源AI和多语言处理领域的重大突破。

国际开源生态建设

本月在日内瓦举行的国际开源LLM构建者峰会上，50余家致力于开源LLM和可信AI的全球机构共同见证了这一里程碑。开源LLM正日益成为美中两国闭源商业系统的可信替代方案。

完全开放透明

由瑞士多所高校与超算中心工程师联合开发的模型具有以下特点：

• 源代码和权重完全公开
• 训练数据透明可复现
• 支持科研、政府、教育和私营部门使用
• 采用Apache 2.0许可证发布

千语言多语言支持

该模型的显著特性是支持1000多种语言：

• 基础模型使用1500多种语言文本数据集训练
• 训练数据包含60%英语和40%非英语内容
• 同时包含代码和数学数据
• 保持全球最高适用性

双版本参数设计

模型提供两个规格版本：

• 80亿参数版：满足普通用户需求
• 700亿参数版：跻身全球最强开源模型之列 参数数量反映模型学习和生成复杂响应的能力。

可靠训练基础

模型通过超过15万亿高质量训练token进行训练，实现了：

• 强大的语言理解能力
• 多样化的使用场景支持
• 100%碳中和电力训练

负责任数据实践

开发过程严格遵循：

• 瑞士数据保护法
• 瑞士版权法
• 欧盟AI法案透明度要求 研究表明，尊重网络爬虫退出选择不会影响模型性能。

超算基础设施支撑

训练依托全球最先进的AI平台之一：

• 使用超过10,000个NVIDIA Grace Hopper超级芯片
• 基于与某机构和某中心长达15年的合作
• 通过跨国合作实现大规模计算基础设施扩展

学术机构主导

瑞士AI计划于2023年12月启动，具有以下特点：

• 覆盖瑞士10多所学术机构
• 汇聚800余名研究人员
• 每年可获得超2000万GPU时
• 2025-2028年获某委员会资金支持

该计划由欧洲学习与智能系统实验室的地区单位共同领导，致力于可信AI基础研究、技术创新和社会影响。