无标注数据预测人脸识别模型偏差的方法

近年来，算法偏差已成为人工智能各研究领域的核心议题。自2018年一项人脸识别软件偏差调查后，该主题关注度急剧上升——其中偏差被定义为模型在不同人口群体对象上的差异化性能。

传统方法的局限性

自然情况下，测试人脸识别模型偏差需要输入大量包含不同群体对象的图像并观察其性能表现。但这需要标注跨图像对象身份的数据，而身份标注成本极高——特别是在需要 conclusive 评估人脸识别模型的规模下。

在今年欧洲计算机视觉会议（ECCV）上，提出了一种无需身份标注数据即可评估人脸识别系统偏差的新方法。虽然该方法仅估计模型在不同人口群体数据上的性能，但实验表明这些估计足够准确，能够检测出表明偏差存在的性能差异。

这一结果——无需标注面部身份测试数据即可预测人脸识别模型相对性能的能力——令人惊讶，它提出了一种评估范式，使人脸识别软件创建者测试模型偏差变得更加实用。

从标注训练数据中，人脸识别模型通常学习生成输入图像的向量表示（嵌入），并测量它们在嵌入空间中的相互距离。任何距离低于某个阈值的嵌入都被分类为表示同一个人。

假设真实匹配之间的距离服从某种分布，而非相同人脸之间的距离服从不同分布。该方法的目标是学习这两个分布的参数。

通过经验发现分数分布往往略有偏斜，因此使用两段分布进行建模。两段分布在众数（最常出现的值）周围划分分布，众数两侧的分布具有不同参数。

为了评估训练好的人脸识别模型，向其输入带有人口统计信息但无身份信息标注的图像对。人脸验证配对是随机的：有些是匹配的，有些不是，但不知道哪些是哪些。

从得到的分数中，模型学习一对分布，一个用于匹配，一个用于不匹配，基于分布之间的分离程度，可以预测模型的准确性。对数据集中的每个人口统计类别重复此过程并比较结果。

基于测试样本的层次聚类，可以计算准确性估计的误差界限，实验表明即使考虑误差，该方法仍能提供明显的差异信号。希望这种方法论能帮助从事人脸识别或类似生物识别任务的AI从业者确保其模型的公平性。

除了成本效益外，该方法还具有可即时适应新人口群体的优势。确实需要某些识别属于这些群体对象的方法——例如来自自我报告的图像元数据——但不需要身份标签。

在评估中，通过在故意保留特定人口统计数据的数据集上训练人脸识别模型来引入偏差。在所有情况下，该方法都能识别出在保留人口群体上的差异化性能。

与贝叶斯校准（预测机器学习模型输出的基线方法）的比较显示，该方法全面优于贝叶斯校准，有时优势明显——特别是考虑到贝叶斯校准需要一些标注数据进行引导，而该方法完全依赖未标注数据。

研究领域: 计算机视觉、机器学习
相关会议: ECCV 2022
技术标签: 无监督学习、偏差检测、人脸识别