首届网络AI配置文件研讨会思考 | NIST

感谢所有参与今年四月NIST主办的网络AI配置文件研讨会的各位同仁！这项工作旨在支持网络安全和AI社区——您在研讨会期间提供的意见至关重要。我们正在编写一份研讨会总结报告以捕捉活动主题和亮点。在此，我们愿先分享所收集意见的预览。

网络AI配置文件研讨会背景（观看研讨会介绍视频）

当NIST开始探索网络AI配置文件概念并撰写[网络安全与AI研讨会概念文件]时，利益相关方告诉我们，随着企业采用AI，有几个网络安全主题备受关注。网络AI配置文件旨在通过应用NIST网络安全框架解决三个重点领域来提供实用指导：保护AI系统组件、开展AI增强型网络防御、以及阻止AI增强型网络攻击。网络AI配置文件将通过帮助组织了解形势，使其能够有效优先处理AI行动和投资，并实施网络安全风险管理实践，来加速AI的开发和采用。

四月研讨会的目的是收集社区对概念文件的反馈，以指导网络AI配置文件的开发。公众对概念文件的反馈影响了议程和研讨会讨论。在研讨会期间，NIST工作人员、NCCoE工作人员和参与者探讨了网络AI配置文件的范围和实际应用，包括保护AI系统组件、阻止AI增强型网络攻击以及利用AI进行网络防御活动这三个重点领域。

我们在研讨会期间听到的意见

研讨会包括一场演讲、一场炉边谈话和两场小组讨论，对所有现场和直播观众开放，随后进行了三轮现场分组会议。

在研讨会讨论期间，利益相关方分享了这些系统的安全性很重要，以及随着对手使用AI进行网络攻击的出现，如何最好地使用AI来增强和调整其网络防御。参与者普遍认为网络AI配置文件是一个有用的工具，并同意从网络安全框架开始，指出关键特征应包括针对不同规模和风险承受能力的组织的可扩展性，以及减少框架之间和不断发展的法规、标准和指南环境中的冗余。

以下是我们从研讨会参与者那里听到的关键主题：

企业风险管理和治理：参与者普遍认为AI风险是组织风险。因此，将AI风险管理整合到现有的企业风险管理实践和治理结构中至关重要。

多学科协作与教育：AI的使用引入了组织运营多个方面的考虑，包括法律、技术、采购/获取和治理团队。跨这些领域的协作被强调为应对AI相关网络安全风险的关键。参与者呼吁通过多学科团队整合观点，以确保全面的企业视野。他们还讨论了需要教育和跨团队协作以弥合AI和网络安全专家之间的知识差距。

AI的双重用途性质：AI的双重用途性质，既作为增强防御的工具，又作为对手放大攻击的手段，既带来机遇也带来风险。网络安全考虑需要解决这些双重用途。AI可以增强网络安全工具，例如异常检测和事件响应，并且它也使对手能够扩展和自动化攻击，包括网络钓鱼、数据投毒和模型反转。主动防御措施，如自动化红队和零信任原则，被确定为必不可少。

网络防御的有效性：AI提高了网络安全的效率，例如更快的数据分析和减少对第三方服务的依赖。然而，参与者强调了可衡量基准的重要性，以评估AI性能并缓解误报和漏报等挑战，确保AI驱动的网络防御能力按预期执行。

供应链安全：研讨会强调了保护AI供应链的重要性，包括需要了解AI组件（例如微服务、容器、库）和数据的来源、它们可能引入的新漏洞以及它们对网络安全的潜在影响。讨论还涵盖了开源模型、第三方模型的训练和使用、理解模型随时间变化的影响以及第三方依赖关系（以及信任和来源的需要）。

透明度：参与者呼吁提高用于支持网络安全的AI系统的透明度，包括数据来源、模型行为和决策过程的清晰文档。对导致不正确结果的数据分布的担忧被确定为需要更多关注的领域，以确保网络安全实施中的可信度。

人在回路：参与者强调了人在回路流程和培训的重要性，以确保用于网络安全的AI系统的有效实施和监督。讨论强调了理解AI行为方面的挑战，包括响应的可变性和解释AI驱动决策的困难。弥合AI研究人员和网络安全专业人员之间的知识差距被确定为关键，以使这两个社区能够共同努力构建和维护可信的AI系统。

框架整合：参与者强调了AI和网络安全社区之间需要共同理解和共同分类法，并指出将AI特定风险整合到现有框架中的重要性，例如[NIST网络安全框架（CSF）]、[NIST AI风险管理框架（AI RMF）]、[NIST隐私框架]、[NIST风险管理框架（NIST RMF）]和[信息系统和组织的安全与隐私控制]。建议包括映射到国际标准，例如[欧盟的通用数据保护条例（GDPR）]和预期的ISO/IEC 27090，并利用其他资源如[MITRE ATLAS™]进行威胁建模。还讨论了对针对医疗保健、金融和能源等行业特定社区配置文件的需求。

实施指南和参考信息：多次讨论强调需要关于实施AI系统控制的指南和参考信息，以帮助组织了解如何管理AI相关风险。请参阅这篇关于与此领域一致的新倡议的NIST博客文章：[网络安全与AI：整合并基于现有NIST指南]。

数据治理：数据治理被确定为一个关键主题，特别是对于依赖外部或第三方数据源的AI系统。参与者呼吁设立一个单独的重点领域来处理敏感数据及其在AI系统中的使用，包括隐私考虑。请参阅此相关的NIST工作：[数据治理和管理配置文件]。

此外，还着重强调了需要用针对AI量身定制的网络安全措施来补充传统网络安全措施。研讨会期间讨论的定制方法示例包括：

• 模型的加密签名。
• 认证系统。
• 使用AI软件物料清单（AI SBOM）来增强AI组件的透明度和问责制。
• 保护反馈循环（模型输出被重新用于进一步训练或决策），以防止错误或对抗性操纵的放大。
• 稳健的治理策略以应对风险——例如数据投毒和模型操纵。
• 自适应身份管理和访问控制策略及策略，以应对非人类身份（如AI代理和应用程序）在组织环境中日益增长和复杂的作用。
• 事件响应策略和计划，区分针对AI模型的攻击与传统网络安全事件，并促进对AI系统攻击的适当响应（例如，在模型投毒后恢复到上次已知良好的模型版本）。
• AI系统中数据整个生命周期的数据安全（例如，模型输入和输出）。

这些要点为未来的社区参与奠定了基础。

下一步行动

为了继续这种开放和持续的对话，NIST将在今年夏季剩余时间和初秋期间举办一系列虚拟工作会议，以进一步探讨这三个重点领域中的每一个。第一次虚拟工作会议将于2025年8月05日举行。我们希望在那里见到您！

我们还更新了网络AI配置文件路线图。最新版本如下所示。以黄色标出的COI工作会议涵盖了虚拟工作会议。从这些讨论中收集的信息将影响为网络AI配置文件初步草案开发的内容。

我们期待在即将到来的COI工作会议中听到您的意见！一如既往，欢迎您通过电子邮件CyberAIProfile@nist.gov联系我们。如果您还没有这样做，请考虑加入我们的COI。