Trail of Bits对NTIA人工智能问责征求意见稿的回应

Artem Dinaburg, Heidy Khlaaf
2023年6月16日
机器学习, 政策

美国国家电信和信息管理局（NTIA）发布了一份关于人工智能（AI）问责政策的征求意见稿，旨在探讨哪些政策可以支持AI审计、评估、认证和其他机制的发展，以建立对AI系统的可信度。Trail of Bits已针对NTIA关于AI系统问责措施和政策的征求意见稿提交了回应。

我们基于在关键任务软件网络安全和安全审计方面的丰富专业知识，提出了多项建议。我们支持NTIA在推动关于问责和监管的公开讨论方面所做的努力。在我们的回应中，我们强调了以下要点：

上下文定义是AI问责的基础

AI问责取决于AI使用和部署的具体声明和上下文。我们的建议核心在于：没有明确的上下文，就不可能有AI问责或监管。对AI系统的审计必须基于关于系统预期功能的实际可验证声明，而非狭隘定义的基准。执行的范围应与监管、安全、伦理或技术声明相关，利益相关方可能对此承担责任。

我们之前提出使用操作设计域（ODDs）——一个从汽车驾驶系统借鉴的概念——来定义基于AI系统（包括生成模型）风险评估的操作范围。ODD有助于定义AI系统设计为正常运行的特定操作条件，从而勾勒出可以确定系统危险和损害的安全边界。

风险阈值需通过民主程序确定

AI创新的问责机制只能相对于必须由立法机构、规则制定机构和监管机构部分确定的风险阈值水平来考虑。对AI系统的信任没有一刀切的规则。确定AI技术可以且需要被信任的程度取决于社会在其使用上下文中接受的风险。不同风险水平应通过民主程序确定：由立法机构、规则制定机构和监管机构决定。在考虑问责机制的成本及其如何阻碍创新时，首先必须能够证明风险降低措施与所获收益严重不成比例。然而，开发基于AI系统的各方尚未提供关于实施问责机制成本的证据，以做出此类确定。

基础网络安全实践助力识别AI风险

基础网络安全和软件安全最佳实践能够帮助识别新型AI危险和损害。技术评估旨在支持关于系统适用性的更高层次的社会技术、法律或监管声明。

NTIA补充信息中描述的技术与社会技术评估的二分法并未反映历史上和实践中不同技术评估方法的目的。技术评估不仅旨在支持纯技术目标，还支持关于系统整体行为以及系统如何在技术上实现此类声明的声明。也就是说，技术评估也是支持关于系统适用性的社会技术、法律或监管声明的必要工具。鉴于现有基于AI的系统未遵循基本软件安全和安全最佳实践（例如IEC 61508、NIST 800-154、ODDs），目前很难评估可以促进或阻碍问责机制实施的技术属性。使用基础软件安全和安全最佳实践作为第一步，能够推动进一步开发AI特定的问责机制。

反对通用许可方案

当前基于AI的系统没有任何独特的软件组件需要通用许可方案，这将严重阻碍软件的整体使用。鉴于其开发机制相同，AI系统应作为基于软件系统的扩展进行监管。任何通用许可方案的实施都可能由于AI系统的广泛定义和软件组件而导致严重越权。AI监管政策通常应反映其部署现有行业的实践。对于被视为安全关键的应用，只有当监管机构对安全案例中提出的论证满意时，才应授予安全证书或许可证。

独立机构的关键作用

独立机构（审计师、监管机构等）应评估基于AI系统的可信度和问责声明。独立审计师和监管机构是公众信任的关键。独立性使公众能够信任评估的准确性和完整性以及监管结果的公正性。这是其他领域（如安全关键领域）既定审计实践的关键属性。因此，重要的是由独立机构而非供应商自身来评估AI系统的可信度和问责性。

我们的回应针对选定的问题进行了更详细的探讨。我们相信，来自网络安全和安全关键领域的既定方法和专业知识是构建AI特定问责机制的必要基础，我们希望继续推动新型AI审计技术的发展。