宣布微软机器学习成员推断竞赛（MICO）

我们兴奋地宣布启动一项聚焦机器学习（ML）系统安全与隐私的新竞赛。机器学习已成为众多产品和服务的关键推动力，这一趋势将持续发展。因此，理解最先进ML算法提供的安全与隐私保障至关重要——这实际上是微软负责任AI原则之一。

从根本上说，ML模型需要训练数据。这些训练数据可来自多种来源，包括公开和非公开数据。在许多领域，如果使用专业或特定领域数据训练，ML模型能实现更好性能。这类专业数据通常不直接向模型用户提供（例如为保护数据贡献者隐私或模型所有者的知识产权）。理想情况下，访问ML模型不应透露哪些个体数据记录用于训练模型。然而，最近的成员推断研究表明，情况并非总是如此。

什么是成员推断？

成员推断是一类被广泛研究的针对ML模型的威胁。给定模型访问权限，目标是推断特定数据记录是否用于训练该模型。根据训练数据的性质，成功的成员推断攻击可能带来严重负面后果。例如，预测句子中下一个词的模型可能使用公司大量电子邮件和文档数据集进行训练。如果模型易受成员推断攻击，任何模型用户均可猜测候选句子，并使用模型测试这些是否用于训练，从而表明它们出现在公司电子邮件或文档中。类似地，医学图像分类模型可能使用特定医院患者的真实图像数据集进行训练。成功的成员推断攻击可让模型用户测试特定个人的图像是否包含在训练数据集中，从而获悉他们曾是该医院患者。

重要的是，成员推断本身可能不是攻击者的最终目标。例如，攻击者可能实际想推断个体训练数据记录的敏感属性（属性推断），甚至重建训练数据记录（重建攻击）。但请注意，在这些攻击中，攻击者试图获取比成员推断更多的训练数据信息，而成员推断只需推断单个比特（成员或非成员）。因此，如果我们能证明特定模型对成员推断具有韧性，这强烈表明该模型也能抵抗这些更破坏性的攻击。

成员推断如何工作？

科学文献中已演示了多种不同复杂度的成员推断攻击类型。例如，在简单情况下，模型可能对训练数据过拟合，因此在查询训练记录时比查询训练期间未见记录时输出更高置信度预测。认识到这一点，攻击者只需用感兴趣记录查询模型，建立模型置信度阈值，并推断置信度高于阈值的输出可能是训练数据成员。在此设置中，攻击者仅需能够用特定输入查询模型并观察输出。另一方面，攻击者可能访问模型内部结构（例如，因模型部署到边缘设备），这可能实现更复杂的攻击策略。

什么是MICO？

MICO是一项公共竞赛，旨在汇集和比较最先进的成员推断技术。竞赛包含四个独立任务：针对图像、文本和表格数据分类模型的成员推断，以及一个跨所有三个领域的特殊差分隐私（DP）区分器类别。对于每个任务，我们在公共数据集的不同分割上训练了600个神经网络模型。对于每个模型，我们提供一组来自同一数据集的挑战点。恰好一半挑战点是成员（即它们用于训练模型），另一半是非成员。参与者的目标是确定哪些挑战点是成员，哪些是非成员。参与者可完全访问所有模型，允许他们对每个模型进行无限任意查询并检查模型参数。这代表了最强的攻击者能力。

所有模型均使用广泛使用的公共数据集训练，因此不存在任何私有或个人数据风险。本竞赛已根据微软开源和负责任AI指南进行审查。

如何参与？

请访问GitHub上的MICO竞赛主页。从那里您将找到四个不同任务的链接。这些托管在CodaLab平台上，我们用于处理提交和跟踪分数。GitHub存储库还包含每个任务的“入门工具包”笔记本，演示如何下载竞赛数据、运行基本成员推断攻击以及在CodaLab上提交结果。

为使竞赛尽可能普及，每个任务将单独评分。这意味着您可参与任意多或少任务，而不影响您在排行榜上的表现。

评分、获胜者和奖项

竞赛将运行至2023年1月12日（世界任何地方23:59）。 基于部分评估数据的实时排行榜将在活动期间显示。最终分数将在数据的单独子集上确定。 每个任务的获胜者有资格获得2,000美元奖励，每个任务的亚军有资格获得1,000美元奖励（如果条目并列，这些奖励可能调整）。这些奖项由MSRC赞助。 本竞赛与2023年IEEE安全可信机器学习会议（SaTML）共同举办。获胜者将被邀请在该会议上展示他们的策略。

竞赛目标是什么？

尽管有大量科学文献描述各种成员推断攻击（和防御），但至今没有评估和比较这些不同技术的通用基准。本竞赛的目标之一是提供此基准数据集。这是一项非平凡的工作，因为我们的数据集包含2,400个训练模型，总大小超过400 GB，估计训练时间为600 GPU小时。我们有幸拥有资源创建这样的数据集，因此我们希望这将有益于研究社区，甚至超越本竞赛。竞赛结束后，我们计划发布整个数据集，以及挑战点标签和训练脚本，供任何人使用。

更广泛地说，我们认为公共竞赛（如MICO）在定义数字隐私最佳实践甚至未来标准方面发挥着重要作用。公共竞赛已在各个领域得到良好建立。例如，NIST等组织在密码算法评估和标准化中使用它们。在机器学习中，有繁荣的公共竞赛传统，以推进不同任务和数据集上最先进的模型性能。我们看到使用竞赛推进可信机器学习科学的类似价值。拥有评估攻击的通用基准是实现此目标的第一步，第二步是汇集、比较和讨论该领域的最先进方法。因此，我们欢迎并鼓励您参与MICO！

MICO由微软的Ahmed Salem、Giovanni Cherubin、Santiago Zanella-Béguelin和Andrew Paverd，以及伦敦帝国学院的Ana-Maria Cretu组织。