首届网络AI框架工作坊的思考与启示

感谢所有参与今年四月NIST主办的网络AI框架工作坊的与会者！这项工作旨在支持网络安全和AI社区，而您在研讨会期间提供的意见至关重要。我们正在编写一份工作坊总结报告以记录会议主题和亮点。在此，我们希望能提前分享收集到的关键见解。

网络AI框架工作坊背景（观看工作坊介绍视频）

当NIST开始探索网络AI框架概念并撰写会前发布的《网络安全与AI工作坊概念文件》时，利益相关方指出，在企业采用AI过程中有几个网络安全主题最受关注。网络AI框架旨在通过应用NIST网络安全框架解决三个重点领域来提供实践指导：保护AI系统组件、开展AI驱动的网络防御，以及阻止AI驱动的网络攻击。该框架将通过帮助组织了解整体形势，使其能够有效优先安排AI行动和投资，并实施网络安全风险管理实践，从而加速AI的开发与采用。

四月工作坊的目标是收集社区对概念文件的反馈，以指导网络AI框架的开发。公众对概念文件的反馈影响了议程和研讨会讨论。在工作坊期间，NIST员工、NCCoE员工及参与者探讨了网络AI框架的范围和实际应用，包括保护AI系统组件、阻止AI驱动的网络攻击以及利用AI进行网络防御活动这三个重点领域。

工作坊期间收集的见解

工作坊包含面向所有现场和直播观众的演讲、炉边谈话和两场小组讨论，随后进行了三轮现场分组会议。

在讨论中，利益相关方指出这些系统的安全性至关重要，同时需要最佳地利用AI来增强和调整其网络防御，以应对对手使用AI进行网络攻击的情况。参与者普遍认为网络AI框架是一个有用的工具，并同意以网络安全框架为基础，指出关键特征应包括适应不同规模和风险承受能力的组织的可扩展性，以及减少框架间冗余和不断发展的法规、标准及指南之间的重复。

以下是我们从参与者那里听到的关键主题：

企业风险管理和治理：参与者普遍认为AI风险是组织风险。因此，将AI风险管理整合到现有企业风险管理实践和治理结构中至关重要。

多学科协作与教育：AI的使用引入了组织运营多个方面的考虑，包括法律、技术、采购/获取和治理团队。跨这些领域的协作被强调为应对AI相关网络安全风险的关键。参与者呼吁通过多学科团队整合视角，以确保全面的企业视图。他们还讨论了教育和跨团队协作的必要性，以弥合AI和网络安全专家之间的知识差距。

AI的双重用途性质：AI的双重用途性质，既作为增强防御的工具，也作为对手放大攻击的手段，带来了机遇和风险。网络安全考虑需要解决这些双重用途。AI可以增强网络安全工具，如异常检测和事件响应，同时也使对手能够扩展和自动化攻击，包括钓鱼、数据投毒和模型反转。主动防御措施，如自动化红队和零信任原则，被确定为必不可少。

网络防御的有效性：AI提高了网络安全的效率，例如更快的数据分析和减少对第三方服务的依赖。然而，参与者强调了可衡量基准的重要性，以评估AI性能并缓解误报和漏报等挑战，确保AI驱动的网络防御能力按预期执行。

供应链安全：工作坊强调了保护AI供应链的重要性，包括需要了解AI组件（例如微服务、容器、库）和数据的来源、它们可能引入的新漏洞及其对网络安全的潜在影响。讨论还涵盖了开源模型、第三方模型的训练和使用、理解模型随时间变化的影响以及第三方依赖性（以及信任和来源的需要）。

透明度：参与者呼吁提高用于支持网络安全的AI系统的透明度，包括数据来源、模型行为和决策过程的清晰文档。对导致不正确结果的数据分布的担忧被确定为需要更多关注的领域，以确保网络安全实施中的可信度。

人在回路：参与者强调了人在回路流程和培训的重要性，以确保用于网络安全的AI系统的有效实施和监督。讨论强调了理解AI行为方面的挑战，包括响应的可变性和解释AI驱动决策的困难。弥合AI研究人员和网络安全专业人员之间的知识差距被确定为关键，以使这两个社区能够共同构建和维护可信的AI系统。

框架整合：参与者强调了AI和网络安全社区之间需要共同理解和共同分类法，并指出将AI特定风险整合到现有框架中的重要性，如NIST网络安全框架（CSF）、NIST AI风险管理框架（AI RMF）、NIST隐私框架、NIST风险管理框架（NIST RMF）以及信息系统和组织的安全与隐私控制。建议包括映射到国际标准，如欧盟的《通用数据保护条例》（GDPR）和预期的ISO/IEC 27090，并利用其他资源如MITRE ATLAS™进行威胁建模。还讨论了针对医疗、金融和能源等行业定制特定行业社区框架的需要。

实施指南和参考信息：多次讨论强调需要关于实施AI系统控制的指南和参考信息，以帮助组织了解如何管理AI相关风险。请参阅此NIST博客文章，了解与该领域一致的新倡议：网络安全与AI：整合并构建于现有NIST指南之上。

数据治理：数据治理被确定为一个关键主题，特别是对于依赖外部或第三方数据源的AI系统。参与者呼吁设立一个单独的重点领域来解决敏感数据及其在AI系统中的使用，包括隐私考虑。请参阅此相关的NIST工作：数据治理和管理框架。

此外，还显著强调了需要用针对AI量身定制的网络安全措施来补充传统网络安全措施。工作坊期间讨论的定制方法示例包括：

• 模型的加密签名。
• 认证系统。
• 使用AI软件物料清单（AI SBOM）以增强AI组件的透明度和问责制。
• 保护反馈循环，其中模型输出被重新用于进一步训练或决策，以防止错误或对抗性操纵的放大。
• 稳健的治理策略以应对风险——如数据投毒和模型操纵。
• 自适应身份管理和访问控制策略及政策，以应对非人类身份（如AI代理和应用程序）在组织环境中日益增长和复杂的作用。
• 事件响应策略和计划，区分针对AI模型的攻击与传统网络安全事件，并促进对AI系统攻击的适当响应（例如，在模型投毒后恢复到上次已知良好的模型版本）。
• 在AI系统中数据整个生命周期的数据安全（例如，模型输入和输出）。

这些要点为未来的社区参与奠定了基础。

下一步行动

为了继续这种开放和持续的对话，NIST将在夏季剩余时间和初秋期间运行一系列虚拟工作会议，以进一步探索三个重点领域的每一个。第一次虚拟工作会议将于2025年8月05日举行。我们希望在那里见到您！

我们还更新了网络AI框架路线图。最新版本如下所示。以黄色标出的COI工作会议包括虚拟工作会议。从这些讨论中收集的信息将影响为网络AI框架初步草案开发的内容。

我们期待在即将到来的COI工作会议中听到您的意见！

一如既往，欢迎您通过CyberAIProfile@nist.gov给我们发送电子邮件。如果您还没有这样做，请考虑加入我们的COI。