微软机器学习成员推理竞赛(MICO)正式启动 - 探索AI安全前沿技术

微软宣布启动全球首个专注于机器学习安全与隐私的成员推理竞赛(MICO),旨在评估AI模型对成员推理攻击的防御能力,推动可信机器学习研究发展。竞赛涵盖图像/文本/表格分类模型及差分隐私场景四大任务,总奖金达1.2万美元。

微软机器学习成员推理竞赛(MICO)的公告

微软安全响应中心(MSRC)宣布启动一项聚焦机器学习(ML)系统安全与隐私的全新竞赛。随着ML技术日益成为核心基础设施,理解其安全与隐私保障机制变得至关重要——这也符合微软"负责任AI原则"的基本要求。

什么是成员推理?

成员推理是ML安全领域的重要研究方向,攻击者通过访问模型来推断特定数据记录是否被用于模型训练。这种攻击可能导致严重后果:

  • 文本预测模型若被成功攻击,可能泄露企业机密邮件内容
  • 医疗影像模型若遭入侵,可能暴露患者就诊隐私

值得注意的是,成员推理往往只是攻击链的第一步,后续可能衍生属性推理、重构攻击等更危险的攻击形式。

攻击技术原理

现有研究展示了多种复杂度的攻击方法:

  1. 基础攻击:利用模型对训练数据的过拟合特性,通过置信度阈值判断成员身份
  2. 高级攻击:当攻击者能访问模型内部参数时,可实施更复杂的攻击策略

MICO竞赛详情

竞赛包含四大任务:

  1. 图像分类模型攻击
  2. 文本分类模型攻击
  3. 表格数据分类模型攻击
  4. 差分隐私场景专项挑战

技术特点:

  • 提供600个预训练神经网络模型
  • 总数据量超400GB,等效600 GPU小时训练时长
  • 允许参赛者执行无限制查询和模型参数检查
  • 所有数据均来自公开数据集,无隐私风险

参赛方式

  1. 访问GitHub上的MICO竞赛主页
  2. 通过CodaLab平台提交方案
  3. 使用官方提供的"Starter Kit"笔记本快速入门

奖项设置

  • 各任务冠军:$2,000
  • 各任务亚军:$1,000
  • 优胜者将受邀在SaTML 2023会议发表演讲

竞赛意义

MICO创造了首个ML安全领域的标准化评估基准:

  1. 提供2400个预训练模型构成的科研数据集
  2. 建立统一的攻防技术评估框架
  3. 推动可信机器学习研究发展

竞赛由微软研究院Ahmed Salem博士团队与伦敦帝国理工学院Ana-Maria Cretu教授共同主办,将于2023年1月12日截止提交。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计