超参数优化库Syne Tune的技术解析

后端执行支持

Syne Tune提供通用后端接口和三种具体实现：

• 本地后端：在单机通过子进程并发执行试验，支持多GPU轮转调度（将试验分配给当前负载最低的GPU），检查点和日志存储于本地文件
• 云端后端：基于某中心SageMaker实现，支持多试验并行运行，突破单机并发限制，满足多GPU或分布式节点训练需求
• 模拟后端：基于表格化基准测试，在单CPU实例上模拟真实实验，仅支付决策制定的实际时间成本。通过时间管理器和时间戳事件优先级队列确保试验与调度器交互的有序性

优化算法对比

算法类型

• 单保真度算法：需完整训练评估超参数配置，包含随机搜索(RS)、正则化进化架构搜索(REA)及贝叶斯优化变体（如基于高斯过程GP和密度比BORE）
• 多保真度算法：提前终止低潜力训练，包含中位数停止规则(MSR)、异步连续减半(ASHA)及异步贝叶斯优化变体（如BOHB和MOB）

基准测试结果

在FCNet、NAS201、LCBench三个神经架构搜索基准测试中：

• 多保真度算法整体优于单保真度算法，因其更高效利用计算资源
• 多保真度算法中MSR（未采用连续减半）性能最差
• 超参数迁移学习方法（ASHA-BB、ASHA-CTS、零射击ZS、RUSH）均能加速优化过程

迁移学习支持

通过调度器与迁移学习数据的抽象映射实现热启动：

• ASHA-BB：基于边界框的迁移学习
• ASHA-CTS：基于分位数的迁移学习
• ZS：根据历史性能贪婪选择互补配置
• RUSH：用历史最优配置热启动ASHA

技术价值

• 使表格化基准模拟成为一等公民，降低计算资源需求
• 支持超参数迁移学习等高级用例，提升实践问题解决能力
• 提供0.3版本新增HPO算法、基准测试及TensorBoard可视化功能