微软机器学习成员推理竞赛(MICO)的公告
微软安全响应中心(MSRC)宣布启动一项聚焦机器学习(ML)系统安全与隐私的全新竞赛。随着ML技术日益成为核心基础设施,理解其安全与隐私保障机制变得至关重要——这也符合微软"负责任AI原则"的基本要求。
什么是成员推理?
成员推理是ML安全领域的重要研究方向,攻击者通过访问模型来推断特定数据记录是否被用于模型训练。这种攻击可能导致严重后果:
- 文本预测模型若被成功攻击,可能泄露企业机密邮件内容
- 医疗影像模型若遭入侵,可能暴露患者就诊隐私
值得注意的是,成员推理往往只是攻击链的第一步,后续可能衍生属性推理、重构攻击等更危险的攻击形式。
攻击技术原理
现有研究展示了多种复杂度的攻击方法:
- 基础攻击:利用模型对训练数据的过拟合特性,通过置信度阈值判断成员身份
- 高级攻击:当攻击者能访问模型内部参数时,可实施更复杂的攻击策略
MICO竞赛详情
竞赛包含四大任务:
- 图像分类模型攻击
- 文本分类模型攻击
- 表格数据分类模型攻击
- 差分隐私场景专项挑战
技术特点:
- 提供600个预训练神经网络模型
- 总数据量超400GB,等效600 GPU小时训练时长
- 允许参赛者执行无限制查询和模型参数检查
- 所有数据均来自公开数据集,无隐私风险
参赛方式
- 访问GitHub上的MICO竞赛主页
- 通过CodaLab平台提交方案
- 使用官方提供的"Starter Kit"笔记本快速入门
奖项设置
- 各任务冠军:$2,000
- 各任务亚军:$1,000
- 优胜者将受邀在SaTML 2023会议发表演讲
竞赛意义
MICO创造了首个ML安全领域的标准化评估基准:
- 提供2400个预训练模型构成的科研数据集
- 建立统一的攻防技术评估框架
- 推动可信机器学习研究发展
竞赛由微软研究院Ahmed Salem博士团队与伦敦帝国理工学院Ana-Maria Cretu教授共同主办,将于2023年1月12日截止提交。