Trail of Bits对NTIA人工智能问责RFC的回应

Artem Dinaburg, Heidy Khlaaf
2023年6月16日
机器学习, 政策

美国国家电信和信息管理局（NTIA）就支持人工智能审计、评估、认证等机制发展的政策发布征求意见，旨在建立对AI系统的可信度。Trail of Bits已提交关于AI系统问责措施和政策的回应。

我们基于在关键任务软件网络安全和安全审计领域的丰富经验提出多项建议，支持NTIA推动问责和监管的开放讨论。在回应中，我们强调以下要点：

基于声明和上下文的AI问责

我们的核心建议是：没有明确的上下文就不存在AI问责或监管。AI系统审计必须基于系统预期功能的可验证声明，而非狭窄范围的基准测试。执行范围应涉及监管、安全、伦理或技术声明，相关方需对此承担责任。

我们此前提出采用源自自动驾驶系统的操作设计域（ODD）概念，为基于AI的系统（包括生成模型）定义风险评估的操作边界。ODD有助于界定AI系统设计正常运行的具体条件，从而明确可确定系统风险和危害的安全边界。

风险阈值与民主决策

AI创新的问责机制只能相对于必须由立法机构、规则制定机构和监管机构确定的风险阈值来考虑。对AI系统的信任没有通用规则，信任程度取决于社会在其使用场景中接受的风险水平。不同风险级别应通过民主程序确定。

在考虑问责机制成本及其对创新的潜在阻碍时，必须首先证明风险降低措施与所获收益严重不成比例。然而，目前没有证据表明开发AI系统的机构提供了实施问责机制的成本数据。

网络安全基础实践的价值

基础网络安全和软件安全最佳实践能够帮助识别新型AI危害。技术评估旨在支持关于系统适用性的更高层次社会技术、法律或监管声明。

NTIA补充信息中描述的技术与社会技术评估二分法并未反映历史上和实践中不同技术评估方法的目的。技术评估不仅支持纯技术目标，还涉及系统整体行为及其技术实现方式。也就是说，技术评估也是支持关于系统适用性的社会技术、法律或监管声明的必要工具。

鉴于现有基于AI的系统未遵循基本软件安全和安全最佳实践（如IEC 61508、NIST 800-154、ODD），目前难以评估可能促进或阻碍问责机制实施的技术属性。使用基础软件安全和安全最佳实践作为第一步，能够推动进一步开发AI特定的问责机制。

软件系统扩展的监管方式

当前基于AI的系统没有任何独特的软件组件需要通用许可方案，这种方案会严重阻碍整体软件使用。鉴于开发机制的相同性，AI系统应作为基于软件系统的扩展受到监管。由于AI系统的广泛定义和软件组件，任何通用许可方案的实施都可能导致严重越权。AI监管政策通常应反映其部署领域的现有实践。对于被视为安全关键的应用，只有当监管机构对安全案例中的论证满意时，才应授予安全证书或许可。

独立机构的关键作用

独立审计机构和监管机构对公众信任至关重要。独立性使公众能够信任评估的准确性和完整性以及监管结果的公正性。这一直是安全关键领域等其他领域既定审计实践的关键属性。因此，必须由独立机构（而非供应商自身）评估AI系统的可信度和问责性。

我们的回应针对选定问题提供了更详细的探讨。我们相信，来自网络安全和安全关键领域的既定方法和专业知识是构建AI特定问责机制的必要基础，我们希望继续推动新型AI审计技术的发展。