Trail of Bits 对 NTIA AI 问责制 RFC 的回应

美国国家电信和信息管理局（NTIA）发布了一份关于人工智能（AI）问责制政策的征求意见，探讨哪些政策可以支持 AI 审计、评估、认证和其他机制的发展，以建立对 AI 系统的可信信任。Trail of Bits 已提交了对 NTIA 关于 AI 系统问责措施和政策的 RFC 的回应。

我们基于在关键任务软件网络安全和安全审计方面的广泛专业知识，提供了各种建议。我们支持 NTIA 在促进关于问责制和监管的开放讨论方面的努力。在我们的回应中，我们强调了以下内容：

AI 问责制依赖于 AI 使用和部署的主张和背景

我们建议的主要主题是，没有定义的背景，就不可能有 AI 问责制或监管。对 AI 系统的审计必须根据关于系统应该做什么的实际可验证主张来衡量，而不是狭窄范围的基准。执行的范围应与监管、安全、伦理或技术主张相关，利益相关者可能对此负责。

我们之前提出了使用操作设计域（ODDs）的概念，这是从汽车驾驶系统借鉴的，用于定义基于 AI 的系统（包括生成模型）的风险评估操作范围。ODD 有助于定义 AI 系统设计为正确行为的特定操作条件，从而概述可以确定系统危害和伤害的安全范围。

AI 创新的问责机制只能相对于必须由立法机构、规则制定机构和监管机构部分确定的风险阈值水平来考虑

对于 AI 系统的信任没有一刀切的规则。确定 AI 技术可以且需要被信任的程度取决于社会在其使用背景下接受的风险。不同的风险水平应通过民主过程确定：由立法机构、规则制定机构和监管机构决定。在考虑问责机制的成本以及它们如何可能阻碍创新时，首先必须能够证明风险降低措施与所获利益严重不成比例。然而，开发基于 AI 的系统的人尚未提供关于实施问责机制成本的证据，以便能够做出这样的决定。

基础网络安全和软件安全最佳实践可以识别新的 AI 危害和伤害

技术评估旨在支持关于系统适用性的更高级别的社会技术、法律或监管主张。

NTIA 补充信息中描述的技术与社会技术评估的二分法在历史和实践上并未反映不同技术评估方法的目的。技术评估不仅旨在支持纯粹的技术目标，还旨在支持关于系统整体行为以及系统如何在技术上实现这些主张的主张。也就是说，技术评估也是支持关于系统适用性的社会技术、法律或监管主张的必要工具。鉴于现有的基于 AI 的系统未遵循基本的软件安全和安全最佳实践（例如，IEC 61508、NIST 800-154、ODDs），目前很难评估可以促进或阻碍问责机制实施的技术属性。使用基础软件安全和安全最佳实践作为第一步可以促进进一步开发 AI 特定的问责机制。

当前的基于 AI 的系统没有任何独特的软件组件需要通用的许可方案，这将严重阻碍软件的整体使用

鉴于其开发机制的相同性，AI 系统应作为基于软件的系统扩展进行监管。任何通用许可方案的实施都可能由于 AI 系统的广泛定义和软件组件而导致严重的过度扩张。AI 监管政策通常应反映其部署的现有行业的实践。对于被视为安全关键的应用，只有当监管机构对安全案例中提出的论点满意时，才应授予安全证书或许可证。

独立机构（审计师、监管机构等）应评估基于 AI 系统的可信度和问责主张

独立审计师和监管机构是公众信任的关键。独立性使公众能够信任评估的准确性和完整性以及监管结果的完整性。这是其他领域（如安全关键领域）已建立的审计实践的关键属性。因此，重要的是由独立机构（而不是供应商自己）评估 AI 系统的可信度和问责制。

我们的回应深入探讨了所选问题的更多细节。我们相信，来自网络安全和安全关键领域的已建立的方法和专业知识是构建 AI 特定问责机制的必要基础，我们希望继续促进新型 AI 审计技术的发展。