公平AI研究获最佳论文奖
在国际机器学习大会的第七届自动化机器学习研讨会上,某中心研究人员凭借题为《公平贝叶斯优化》的论文获得最佳论文奖。该论文致力于解决确保AI系统公平性的问题,这一话题近年来受到越来越多关注。
大多数关于AI公平性计算方法的研究都专注于特定的公平标准或特定类型的机器学习系统。某中心的研究团队着手开发一种能够适用于任何公平标准或任何类型机器学习系统的方法。
他们的方法是在优化机器学习模型超参数时强制执行公平约束:超参数是模型的结构特征或模型学习算法的参数,可以根据特定任务或训练数据集进行调整。例如,在神经网络模型中,超参数包括网络层数和每层处理节点数;而在基于决策树的模型中,超参数可能包括决策树的数量或深度。
在论文中,研究人员证明修改超参数足以提供准确性和公平性的保证,并且这种方法与先前的方法(如在模型训练期间强制执行公平约束或预处理训练数据以减少偏差)同样有效。然而,与这些方法不同,它适用于各种任务和模型。
双重分布
机器学习模型的超参数通常使用贝叶斯优化进行调整,这是一种寻找未知且采样成本高昂函数最优值的方法。在超参数优化的情况下,该函数将特定的超参数设置与所得模型的准确性相关联。
由于该函数是未知的,优化过程通过采集输入-输出对样本来探索它。贝叶斯优化提供了一种指导采样过程的方法,使其能够快速收敛到可能的最优值。
特别是,贝叶斯优化假设函数的输出符合某种概率分布——通常是高斯分布。随着采样过程的进行,贝叶斯优化会完善对分布的估计,这反过来又指导新采样点的选择。
某中心研究人员修改了这一过程,使其涉及两个分布:一个描述模型输出的准确性,另一个描述模型在某种公平性度量上的得分。然后选择新样本的目的是找到同时最大化准确性并满足特定公平约束的超参数。
通常,公平约束要求模型在不同用户子组中表现出相似的性能。研究人员的方法适用于具有这种一般形式的任何公平约束。
在探索使用高斯分布近似函数输出的贝叶斯优化时,该论文在某种程度上是另一篇论文的续篇,该论文同样在今年ICML上获奖,其合著者包括某中心的首席应用科学家。该论文获得了会议的时间检验奖,特别是因为贝叶斯优化在超参数优化方面被证明非常有用。