实现更公平机器学习的技术路径探索

算法公平性的定义与挑战

算法公平性具有多种形式化定义，如人口统计均等、机会均等和几率均等。其核心思想是：机器学习模型在不同人口亚组（如男性和女性）中应具有相同或相似的行为表现。以最常用的人口统计均等为例，要求模型输出特定结果（如贷款审批）的概率不应依赖于性别、种族或年龄等敏感属性。

三大技术路径

1. 数据预处理方法

通过消除历史偏差数据后，再输入传统机器学习模型进行训练。

2. 模型后处理方法

对已训练完成的复杂模型进行公平化调整，适用于模型重训练成本过高或不可行的情况。

3. 过程处理方法

在模型训练阶段通过施加统计约束来强制实现公平性，这是最自然但需要针对特定任务定制解决方案的方法。

基于实证风险最小化的技术突破

研究团队基于统计学习理论中的实证风险最小化框架，将传统风险估计概念扩展至模型公平性风险评估。关键技术贡献包括：

公平约束下的实证风险最小化

• 提出将公平约束转化为权重向量与亚组歧视向量间的正交约束
• 在线性模型中可实现为简单的数据预处理操作
• 支持线性模型和支持向量机等广泛算法家族

基于Wasserstein重心的公平回归

• 针对回归任务提出后处理方案
• 通过最优传输理论建立公平预测与概率分布距离的数学连接
• 推导出最优公平预测器的闭式表达式：其分布均值为各亚组分布的Wasserstein重心

多任务学习中的公平表示学习

• 在深度学习场景下使用最大均值差异和Sinkhorn散度度量分布距离
• 确保仅敏感属性不同的输入获得相似表示
• 理论证明该表示迁移至新任务时仍能保持公平性

技术实现要点

• 对于线性模型，公平约束可转化为向量正交条件
• 回归任务中，最优公平预测器对应各亚组分布的Wasserstein重心
• 深度学习中使用MMD和Sinkhorn散度约束表示空间分布

未来研究方向

算法公平性仍需深入探索，包括明确定义、可解释性、隐私保护等关联领域的协同研究，最终目标是构建可信赖的机器学习系统。需要保持人类在模型生命周期中的监督作用，确保模型行为符合预期。