噪声贝叶斯优化中累积遗憾最小化的调整期望改进方法

摘要

期望改进（EI）是贝叶斯优化（BO）中最常用的采集函数之一，在简单遗憾最小化的许多应用中展现了良好的经验性能。然而，在累积遗憾的评估指标下，EI的性能可能不具备竞争力，且其现有的理论遗憾上界仍有改进空间。

为调整EI在累积遗憾下的性能，引入了一个称为评估成本的新量度，将其与采集函数进行比较，并由此开发了期望改进-成本（EIC）算法。在EIC的每次迭代中，仅当采集函数值超过其评估成本时，才对具有最大采集函数值的新点进行采样。如果没有点满足此标准，则重新采样当前最佳点。该评估成本量化了采样一个点的潜在缺点，这在累积遗憾指标下非常重要，因为每次迭代中的目标函数值都会影响性能度量。

理论上基于最大信息增益建立了EIC的高概率遗憾上界，该上界比现有基于EI的算法的界限更紧密。它也与其他流行BO算法（如汤普森采样（GP-TS）和上置信界（GP-UCB））的遗憾界限相当。通过实验进一步说明了EIC相对于几种流行BO算法的改进。

[摘要][PDF][文献]