自动化机器学习会议最佳论文奖：超参数优化终止新方法

在首届自动化机器学习会议（AutoML Conference 2022）上，某篇论文获得最佳论文奖，提出了一种决定贝叶斯优化终止时机的新方法。贝叶斯优化是广泛使用的超参数优化方法。

超参数配置机器学习模型，关键影响其性能。决策树模型中树的深度和数量，或神经网络中层数和宽度都是超参数示例。优化超参数需用不同配置多次重新训练模型以确定最佳配置。

通常，遍历所有可能超参数配置耗时过长，因此超参数优化（HPO）算法旨在高效搜索配置空间。但搜索仍需在某个时点停止，研究人员提出了多种停止准则。例如，朴素方法是在最佳配置连续多次评估未改变时终止HPO。

该论文提出新的原则性停止准则，在实验中实现了HPO时间消耗与模型精度间更好的权衡。该准则承认泛化误差（真正但未知的优化目标）与HPO优化的经验估计不完全一致的事实。因此，过度优化经验估计可能适得其反。

超参数优化的收敛准则

机器学习模型的目标是对未见数据产生良好预测，这意味着好模型需最小化泛化误差f。例如，群体风险衡量模型对给定输入预测与真实值之间的预期距离。

HPO算法总是在某种预算下运行——可考虑配置数量的限制、挂钟时间、相对于当前最佳配置的改进幅度等。算法目标是最小化理想配置γ与预算耗尽前找到的最佳配置γt之间的距离，该距离称为遗憾值rt：rt = f(γt*) – f(γ*)。遗憾值量化HPO算法的收敛性。

然而，找到的配置质量根据f的经验估计f-hat（带抑扬符的f）判断。经验估计在验证集（模型训练数据子集）上计算。如果验证集与整体数据集分布不同，经验估计相对于真实泛化误差存在统计误差。

新停止准则基于以下观察：特定超参数配置评估的准确性取决于经验估计f-hat的统计误差。如果统计误差大于遗憾值，则进一步优化配置无意义。可能改善验证集性能，但给定分布不匹配，实际上可能损害整体数据集性能。

论文核心处理在既不知道遗憾值也不知道统计误差时建立停止准则。该工作适用于贝叶斯优化（BO），这是一种样本高效的HPO方法，意味着需要相对较少的超参数评估。

首先，基于超参数配置与性能间函数输出值服从正态（高斯）分布的假设，证明遗憾值的上下界。这实际上是HPO中的标准假设。

然后基于交叉验证中观察到的统计方差估计经验估计的统计误差。交叉验证是将数据集划分为固定数量相等子集的过程，每个子集依次作为验证集，其余子集作为训练数据。交叉验证也是HPO中的常见程序。

停止准则是统计误差超过遗憾值上下界之间的距离。

在两种不同决策树模型（XGBoost和随机森林）和深度神经网络上，使用两个不同数据集，测试该方法与五个基线的对比。结果各异，但平均而言，该方法最佳优化了模型精度与HPO时间消耗之间的权衡。

论文提供了验证终止准则的技术细节和实验。