首届网络AI配置文件研讨会的思考 | NIST

感谢所有参与NIST于今年四月主办的首届网络AI配置文件研讨会的同仁！这项工作旨在支持网络安全和AI社群，而您在研讨会期间提供的意见至关重要。我们正在努力发布一份研讨会总结，以捕捉活动的主题和亮点。在此期间，我们想分享一下我们听到的意见预览。

网络AI配置文件研讨会背景

在NIST开始探索网络AI配置文件的想法并撰写会前的《网络安全与AI研讨会概念文件》时，利益相关方告诉我们，随着企业采用AI，有几个网络安全主题是他们最关心的。网络AI配置文件旨在通过应用NIST网络安全框架来解决三个焦点领域的问题，从而提供实用指南：保护AI系统组件、开展AI增强的网络防御、以及阻止AI驱动的网络攻击。网络AI配置文件将通过帮助组织了解相关领域，使其能够有效地优先处理AI行动和投资，并实施网络安全风险管理实践，来加速AI的开发和采用。

四月研讨会的目的，是收集社群对概念文件的反馈，以指导网络AI配置文件的开发。概念文件收到的公众反馈为议程和研讨会讨论提供了信息。

我们在研讨会上听到的

研讨会包括一场演示、一次炉边谈话和两场对所有现场及直播观众开放的专题讨论，随后进行了三轮现场分组讨论。

在研讨会讨论中，利益相关方分享了这些系统的安全性很重要，以及随着对手开始利用AI进行网络攻击，如何最好地利用AI来增强和调整其网络防御。与会者普遍认为网络AI配置文件是一个有用的工具，并同意从网络安全框架入手，指出关键特性应包括针对不同规模和风险承受能力的组织的可扩展性，以及减少框架之间和不断发展的法规、标准及指南环境的冗余。

以下是我们在研讨会期间从与会者那里听到的关键主题：

企业风险管理与治理：与会者普遍认为，AI风险是组织风险。因此，将AI风险管理整合到现有的企业风险管理实践和治理结构中至关重要。

多学科协作与教育：AI的使用引入了组织运营多个方面的考量，包括法律、技术、采购/获取和治理团队。跨这些领域的协作被强调为应对AI相关网络安全风险的关键。与会者呼吁通过多学科团队整合视角，以确保全面的企业视野。他们还讨论了弥合AI与网络安全专家之间知识差距的教育和跨团队协作的必要性。

AI的双重用途性质：AI既可作为增强防御的工具，也可作为对手放大攻击手段的双重用途性质，既带来了机遇，也带来了风险。网络安全考量需要同时应对这两种用途。AI可以增强网络安全工具，例如异常检测和事件响应，同时也使对手能够扩展和自动化攻击，包括钓鱼攻击、数据投毒和模型反转。主动防御措施，如自动化红队演练和零信任原则，被认为是必不可少的。

网络防御的有效性：AI提高了网络安全效率，例如更快的数据分析和减少对第三方服务的依赖。然而，与会者强调了可衡量基准的重要性，以评估AI性能并缓解误报和漏报等挑战，确保AI驱动的网络防御能力按预期运行。

供应链安全：研讨会强调了保护AI供应链的重要性，包括需要了解AI组件（例如微服务、容器、库）和数据的来源、它们可能引入的新漏洞及其对网络安全的潜在影响。讨论还涵盖了开源模型、第三方模型的训练和使用、理解模型随时间变化的影响以及第三方依赖性（以及对信任和来源验证的需求）。

透明度：与会者呼吁提高用于支持网络安全的AI系统的透明度，包括明确记录数据来源、模型行为和决策过程。数据分布导致错误结果的问题被确定为需要更多关注的领域，以确保网络安全实施的可信度。

人在回路：与会者强调了人在回路流程和培训的重要性，以确保用于网络安全的AI系统的有效实施和监督。讨论强调了理解AI行为方面的挑战，包括响应的可变性和解释AI驱动决策的困难。弥合AI研究人员和网络安全专业人员之间的知识差距被认为是使这两个社群能够共同努力构建和维护可信AI系统的关键。

框架整合：与会者强调了在AI和网络安全社群之间建立共同理解和统一分类法的必要性，并指出将AI特定风险整合到现有框架中的重要性，例如NIST网络安全框架、NIST AI风险管理框架、NIST隐私框架、NIST风险管理框架以及信息系统和组织的安全与隐私控制。建议包括与欧盟通用数据保护条例和预期的ISO/IEC 27090等国际标准进行映射，并利用MITRE ATLAS等其他资源进行威胁建模。针对医疗保健、金融和能源等行业制定的特定领域社群配置文件的需求也进行了讨论。

实施指南和参考信息：多次讨论强调了对AI系统控制措施实施指南的需求，以及帮助组织了解如何管理AI相关风险的参考信息。

数据治理：数据治理被确定为一个关键主题，特别是对于依赖外部或第三方数据源的AI系统。与会者呼吁设立一个单独的焦点领域来处理敏感数据及其在AI系统中的使用，包括隐私考量。

此外，与会者还大量强调了需要用针对AI量身定制的网络安全措施来补充传统网络安全措施。研讨会期间讨论的定制方法示例包括：

• 模型的加密签名。
• 认证系统。
• 使用AI软件物料清单以增强AI组件的透明度和问责制。
• 保护反馈循环，即模型输出被重新用于进一步训练或决策，以防止错误或对抗性操作的放大。
• 强大的治理策略以应对风险，例如数据投毒和模型操纵。
• 自适应的身份管理和访问控制策略及政策，以应对非人类身份（如AI代理和应用程序）在组织环境中日益增长且复杂的作用。
• 区分针对AI模型的攻击与传统网络安全事件的事件响应策略和计划，并促进对AI系统攻击的适当响应（例如，在模型投毒后恢复到最后一个已知良好版本的模型）。
• AI系统中数据整个生命周期（例如，模型输入和输出）的数据安全。

这些要点为未来的社群参与奠定了基础。

下一步计划

为了继续进行这种开放和持续的对话，NIST将在今年夏季剩余时间和初秋期间举办一系列虚拟工作会议，以进一步探索这三个焦点领域。

第一次虚拟工作会议将于2025年8月05日举行。希望在那里见到您！

我们还更新了网络AI配置文件路线图。最新版本如下所示。以黄色标注的COI工作会议包含了这些虚拟工作会议。从这些讨论中收集的信息将影响为网络AI配置文件初步草案开发的内容。

我们期待在即将举行的COI工作会议中听到您的意见！ 一如既往，欢迎您通过 CyberAIProfile@nist.gov 给我们发送电子邮件。如果您还没有这样做，请考虑加入我们的COI社群。