自动化机器学习中的超参数优化停止准则研究
在首届自动化机器学习会议（AutoML Conference 2022）上，一项关于超参数优化终止方法的研究荣获最佳论文奖。该论文提出了一种新的原则性停止准则，在贝叶斯优化过程中实现更高效的超参数配置搜索。
超参数优化挑战
超参数作为机器学习模型的关键配置参数（如决策树的深度、神经网络层数等），显著影响模型性能。超参数优化（HPO）需要多次重新训练模型以寻找最佳配置，但穷举搜索通常耗时过长。现有停止准则多采用启发式方法，例如当最佳配置在后续评估中保持不变时终止优化。
新停止准则的核心思想
研究提出的停止准则基于一个重要发现：泛化误差（真正的优化目标）与HPO优化的经验估计并不完全一致。过度优化经验估计可能适得其反，因为：
- 遗憾值（regret）rt = f(γt*) - f(γ*) 衡量找到的配置与理想配置的差距
- 经验估计f-hat在验证集上计算，存在统计误差
- 当统计误差大于遗憾值时，继续优化无法保证提升真实性能
技术实现方法
该方法适用于样本高效的贝叶斯优化（BO）算法，包含两个关键步骤：
- 遗憾值边界计算：基于超参数配置与性能关系函数输出服从正态分布的假设，推导遗憾值的上下界
- 统计误差估计：通过交叉验证过程中观察到的统计方差来估计经验误差
停止条件设定为：当统计误差超过遗憾值上下界距离时终止优化过程。
实验验证
在XGBoost、随机森林和深度神经网络上使用两个不同数据集进行测试，与五种基线方法对比。结果表明：
- 该方法在模型精度与HPO时间消耗之间实现了最佳平衡
- 在不同模型和数据集上表现稳定
- 为超参数优化提供了理论保证的终止标准
论文详细描述了技术实现细节和实验验证过程，为自动化机器学习提供了重要的方法论进步。