引入前沿安全框架 - 某机构深度智能

框架概述

某机构深度智能持续推动人工智能边界，开发改变认知范式的模型。我们相信即将出现的AI技术将为社会提供宝贵工具，帮助应对气候变化、药物发现和经济生产力等全球性挑战。同时我们认识到，随着AI能力前沿的不断推进，这些突破最终可能带来超越当前模型的新风险。

今日我们推出前沿安全框架——一套主动识别未来可能造成严重危害的AI能力，并建立检测和缓解机制的协议体系。该框架专注于模型层面强大能力导致的严重风险，如卓越的自主行动能力或复杂网络能力。它旨在补充对齐研究（训练模型符合人类价值观和社会目标）以及某机构现有AI责任与安全实践体系。

该框架具有探索性，我们预计随着实施经验的积累、对AI风险与评估理解的深化，以及与产业界、学术界和政府合作的推进，它将显著演进。尽管这些风险超出当前模型能力范围，但我们希望通过实施和改进该框架为应对未来风险做好准备。目标是在2025年初全面实施此初始框架。

框架构成

今日宣布的框架第一版基于我们对前沿模型关键能力评估的研究，遵循负责任能力扩展的新兴方法。框架包含三个关键组成部分：

1. 识别可能具有严重危害潜力的模型能力：通过研究模型在高风险领域可能造成严重危害的路径，确定模型必须具备的最小能力水平（称为"关键能力等级"，CCLs），指导评估和缓解方法

2. 定期评估前沿模型以检测何时达到关键能力等级：开发称为"预警评估"的模型评估套件，在模型接近CCL时发出警报，并以足够频率运行以确保在达到阈值前获得通知

3. 在模型通过预警评估时实施缓解计划：考虑收益与风险的总体平衡以及预期部署环境，缓解措施主要关注安全性（防止模型权重泄露）和部署（防止关键能力滥用）

风险领域与缓解级别

我们的初始关键能力等级基于对四个领域的研究：自主性、生物安全、网络安全以及机器学习研发（R&D）。初步研究表明，未来基础模型的能力最可能在这些领域构成严重风险。

对于自主性、网络安全和生物安全，主要目标是评估威胁行为者利用具有先进能力的模型执行有害活动并造成严重后果的程度。对于机器学习研发，重点是评估具有此类能力的模型是否会促播具有其他关键能力的模型，或导致AI能力快速且无法管理的升级。

随着对这些及其他风险领域的进一步研究，我们预计这些CCL将演进，并会增加更高级别或其他风险领域的多个CCL。

为使我们能够根据每个CCL调整缓解力度，我们还制定了一套安全性和部署缓解措施。更高级别的安全性缓解措施可提供更好的模型权重泄露防护，更高级别的部署缓解措施可实现关键能力的更严格管理。然而，这些措施也可能减缓创新速度并降低能力的广泛可及性。在缓解风险与促进访问和创新之间找到最佳平衡，对负责任的AI发展至关重要。

投入科学研究

支撑该框架的研究处于初期阶段但进展迅速。我们已显著投入前沿安全团队，该团队协调了我们框架背后的跨职能工作。他们的职责是推进前沿风险评估科学，并根据我们改进的知识完善框架。

该团队开发了评估套件来评估关键能力的风险，特别强调自主LLM代理，并在我们最先进的模型上进行了实际测试。他们最近描述这些评估的论文还探索了可能构成未来"预警系统"的机制，描述了评估模型距离当前失败任务成功有多接近的技术方法，并包含了专家预测团队对未来能力的预测。

坚守AI原则

我们将定期审查和发展该框架。特别是，在我们试点框架并加深对风险领域、CCL和部署环境的理解时，将继续开展针对CCL校准特定缓解措施的工作。

我们工作的核心是某机构的AI原则，这些原则承诺我们在追求广泛利益的同时缓解风险。随着系统改进和能力增强，像前沿安全框架这样的措施将确保我们的实践继续满足这些承诺。

我们期待与产业界、学术界和政府其他方面合作开发和改进该框架。希望通过分享我们的方法促进与他人合作，就评估下一代AI模型安全性的标准和最佳实践达成共识。