某中心研究人员因促进AI公平性获最佳论文奖

在国际机器学习会议（ICML 2020）的第七届自动化机器学习（AutoML）研讨会上，某中心研究人员凭借题为《公平贝叶斯优化》的论文获得最佳论文奖。该论文致力于解决确保AI系统公平性的问题，这一话题近年来受到越来越多关注。

大多数关于AI公平性计算方法的研究（与政策方法或社会学方法相对）都专注于特定的公平标准或特定类型的机器学习系统。某中心的研究人员——包括某机构的机器学习科学家Valerio Perrone、应用科学家Michele Donini、首席应用科学家Krishnaram Kenthapadi和首席应用科学家Cédric Archambeau——着手开发一种适用于任何公平标准或任何类型机器学习系统的方法。

他们的方法是在优化机器学习模型的超参数时强制执行公平约束：超参数是模型的结构特征或模型学习算法的参数，可以针对特定任务或训练数据集进行调整。例如，在神经网络模型中，超参数包括网络层数和每层的处理节点数；而在基于决策树的模型中，超参数可能包括决策树的数量或深度。

研究人员在论文中表明，修改超参数足以提供准确性和公平性的保证，并且这种方法与先前的方法（如在模型训练期间强制执行公平约束或预处理训练数据以减少偏差）同样有效。然而，与这些方法不同，它适用于各种任务和模型。

双重分布

机器学习模型的超参数通常使用贝叶斯优化（BO）进行调整，这是一种寻找未知且采样成本高的函数最优值的方法。在超参数优化的情况下，该函数将特定的超参数设置与所得模型的准确性相关联。

由于该函数是未知的，优化过程通过采集输入-输出对的样本来探索它。BO提供了一种指导采样过程的方法，使其快速收敛到可能的最优值。

具体来说，BO假设函数的输出符合某种概率分布——通常是高斯分布。随着采样过程的进行，BO会改进对分布的估计，这反过来又指导新样本点的选择。

某中心的研究人员修改了这一过程，使其涉及两个分布：一个描述模型输出的准确性，另一个描述模型在某种公平性度量上的得分。然后选择新样本，目的是找到同时最大化准确性并满足特定公平约束的超参数。

通常，公平约束要求模型在不同用户子组中表现出相似的性能。研究人员的方法适用于具有这种一般形式的任何公平约束。

在探索使用高斯分布近似函数输出的BO时，该论文是今年ICML上另一篇获奖论文《bandit设置中的高斯过程优化：无遗憾和实验设计》的续篇，其合著者包括某机构的首席应用科学家Matthias Seeger。Seeger的论文获得了会议的时间检验奖， specifically because BO has proved so useful for hyperparameter optimization.

该图显示了单独进行超参数调优对三种不同类型机器学习模型——随机森林（RF，蓝色）、神经网络（NN，橙色）和梯度提升决策树（XGBoost，绿色）——的影响，这些模型应用于一个基准数据集（COMPAS），该数据集将犯罪历史和人口统计信息与再犯率相关联，旨在测试AI公平性方法。