机器学习安全规避竞赛2020邀请研究者攻防对抗
机器学习(ML)在网络安全中日益重要,因为对手不断演变策略和技术以规避检测。随着机器学习的发展,复杂的ML模型被开发用于协助安全专业人员保护云环境,对手也在忙于开发旨在规避ML模型的恶意软件。
为主动应对这一挑战,微软与合作伙伴CUJO AI、VMRay和MRG Effitas共同赞助了一场机器学习安全规避竞赛,提供了一个独特的真实世界环境,让研究者锻炼他们的防御和攻击能力。重要的是,该竞赛鼓励ML从业者和网络安全专业人员参与。
这一新竞赛建立在2019年8月DEFCON 27上AI Village举办的类似竞赛基础上,该竞赛邀请参赛者对静态恶意软件ML模型进行白盒攻击。2019年竞赛中的多名研究者发现了完全并同时绕过三个ML反恶意软件模型的方法。其他数十名研究者在规避这些开源模型方面取得了高分。几位顶级参赛者发表了他们的发现——这是竞赛的明确目标。
2020年机器学习安全规避竞赛同样旨在揭示对抗行为的对策,并提高对恶意软件可能规避ML系统多种方式的认识,以更好地防御这些技术。顶级研究者必须发表他们的检测或规避策略才能赢得竞赛。
从两个方向攻击恶意软件挑战
微软在2019年竞赛的基础上,今年提供了两个不同的挑战:增加了防御者挑战,并将攻击者挑战从“白盒”威胁模型改为“黑盒”威胁模型。
防御者挑战将于2020年6月15日至7月23日进行,通过为攻击者提供新的防御措施来促进对抗性攻击对策的开发。提交的防御必须通过真实世界的测试,在中等误报率下检测真实世界的恶意软件。
攻击者挑战将于2020年8月6日至9月18日进行,提供一个黑盒威胁模型,提供对托管反恶意软件模型的API访问,包括在防御者挑战中成功开发的模型。参赛者可以通过“硬标签”查询结果发现如何规避它们。最终提交的样本将在沙箱中引爆,以验证它们是否仍然有效。除了规避率,参赛者所需的API查询总数也将影响最终排名。
每个挑战的冠军和亚军将分别获得大奖(2500美元Azure积分)和一等奖(500美元Azure积分)。个人或团队可以在挑战窗口期间通过https://mlsec.io/注册参加竞赛。
有兴趣参加此挑战的研究者可以了解2019年发表发现的顶级参赛者,以及2020年竞赛合作伙伴CUJO AI、VMRay和MRG Effitas。
微软为何与研究者和行业合作伙伴合作
安全形势不断演变,微软致力于与研究者和行业合作伙伴合作,揭示、沟通并努力解决客户面临的挑战,造福整个技术生态系统。这一承诺延伸到机器学习,它已成为信息安全的极其积极的工具。
尽管针对计算机视觉模型的规避攻击(其中图像像素被微妙修改)已成为标志性案例,但该竞赛旨在将对抗性ML研究推进到恶意软件领域,这是一个更复杂的安全挑战,具有更现实的威胁模型和复杂约束。
该竞赛的一个期望结果是鼓励有规避图像识别系统经验的ML研究者了解信息安全的常见威胁模型。同时,安全从业者可以更深入地了解在他们已经熟悉的领域中保护ML系统的含义。
可信机器学习倡议
微软赞助该竞赛是对可信机器学习的多项投资之一。正如我们在白皮书《对抗性机器学习——行业视角》中指出的,大量投资于机器学习的公司正面临不同程度的对抗行为,大多数组织尚未准备好适应。我们的目标是通过内部研究和外部合作伙伴关系及参与——包括该竞赛——共同开始改变这一状况。
Hyrum Anderson,企业保护与检测首席架构师