方法利用无标注数据预测人脸识别模型偏差

消除标注需求使得偏差测试更加实用。

近年来，算法偏差已成为人工智能各研究领域的核心议题。自2018年一项关于人脸识别软件偏差的调查后，对该主题的兴趣急剧增长——其中偏差被定义为在不同人口群体受试者上的差异化表现。

测试人脸识别模型偏差的自然方法是向其输入大量来自不同群体的受试者图像，并观察其表现。但这需要标注图像中受试者身份的数据，而身份标注成本极高——特别是在需要 conclusive 评估人脸识别模型的规模下。

在今年的欧洲计算机视觉会议（ECCV）上，我们提出了一种评估人脸识别系统偏差的新方法，该方法不需要带有身份标注的数据。尽管该方法仅估计模型在不同人口群体数据上的性能，但我们的实验表明这些估计足够准确，能够检测出表明偏差存在的性能差异。

这一结果——能够在不需标注面部身份信息的测试数据情况下预测人脸识别模型的相对性能——令人惊讶，它提出了一种评估范式，应该使人脸识别软件的创建者测试模型偏差变得更加实用。

该图表绘制了在故意省略"非洲"类别的Racial Faces in the Wild数据集上训练的人脸识别模型的误报率（错误匹配率，FMR）与漏报率（错误不匹配率，FNMR）的关系。实线表示真实情况，虚线表示我们模型的预测，彩色区域表示我们模型的置信区间。即使在置信区间的最外边缘，差异化表现也很明显。

除了成本效益外，我们的方法还具有可以即时适应新人口群体的优势。它确实需要一些识别属于这些群体受试者的方法——例如来自自我报告的图像元数据——但不需要身份标签。

为了评估我们的方法，我们在故意保留特定人口统计数据的数据集上训练了人脸识别模型，以引入偏差。在所有情况下，我们的方法都能够识别在保留人口群体上的差异化表现。

我们还将我们的方法与贝叶斯校准进行了比较，后者是预测机器学习模型输出的基线方法。我们的方法在所有方面都优于贝叶斯校准，有时优势很大——特别是考虑到贝叶斯校准需要一些标注数据进行引导，而我们的方法完全依赖于未标注数据。

模型

从标注的训练数据中，人脸识别模型通常学习生成输入图像的向量表示——嵌入——并测量它们在嵌入空间中彼此之间的距离。任何距离低于某个阈值的嵌入都被分类为表示同一个人。

我们假设真实匹配之间的距离属于某种分布，而非相同人脸之间的距离属于不同的分布。我们方法的目标是学习这两个分布的参数。

我们假设真实匹配的分数（p1）和非相同人脸的分数（p0）属于两个不同的分布（蓝色曲线和黄色曲线）。我们的目标是学习这些分布的参数（q1和q0）。

根据经验，我们发现分数分布往往略有偏斜，因此我们使用两段分布对其进行建模。两段分布在众数——最常出现的值——周围划分分布，众数两侧的分布具有不同的参数。

为了评估经过训练的人脸识别模型，我们向其输入带有人口统计信息但无身份信息标注的图像对。人脸验证配对是随机的：有些是匹配的，有些不是，但我们不知道哪些是匹配的。

从得到的分数中，我们的模型学习一对分布，一个用于匹配，一个用于非匹配，基于分布之间的分离，我们可以预测模型的准确性。我们对数据集中的每个人口类别重复此过程并比较结果。

基于测试样本的层次聚类，我们可以计算准确性估计的误差范围，我们的实验表明，即使考虑误差，我们的方法仍能提供清晰的差异信号。我们希望这种方法论能够帮助从事人脸识别或类似生物识别任务的人工智能从业者确保其模型的公平性。

研究领域

计算机视觉
机器学习