神经网络硬件适配优化技术解析

研究背景

神经架构搜索旨在自动寻找适合特定任务的最佳神经网络架构。通常，这需要找到在特定硬件平台上能高效运行的架构。

在计算机视觉与模式识别会议上，研究团队提出了一种探索卷积神经网络（CNN）神经架构的新方法。测试表明，使用该方法训练的网络在保持运行效率的同时，准确率得到了提升。

卷积神经网络的每个层都会对输入应用多个变换，每个变换都会建立一个"通道"。在计算机视觉应用中，典型CNN的输入层可能有三个通道（每个主颜色一个），但输出层可能有1000个通道。

该技术能在给定延迟约束（计算完成的最大允许时间）的情况下，找到网络每层的最佳通道数量。

与传统方法不同，新技术在训练期间同时优化所有网络层的通道数量。这使得每个网络层执行的计算量与最终准确率之间能够实现更好的权衡。

通过经验分析，研究团队反复使用不同通道数量运行相同数据，建立线性方程组来准确估计不同网络层各种通道宽度产生的延迟。结果按每层每通道估算存储在表中，便于网络训练期间高效查找。

在初始训练轮次中，每个新训练样本都会随机改变一个网络层的通道宽度，范围从原始值的20%到150%。通过比较当前通道配置与完整网络的准确率，获得了每个通道配置牺牲准确率的聚合度量。

使用标准统计模型马尔可夫随机场来模拟不同通道宽度在连续网络层组合的影响。基于准确率损失测量和延迟变化估计，求解在延迟约束内产生最佳性能的通道宽度组合。

与使用贪婪通道宽度搜索的基线相比，该方法在相同延迟下实现了4%的相对准确率提升。通过逐步缩小搜索空间，实验中还带来了另外1%的相对准确率改进。

这项研究为神经网络架构优化提供了新的技术路径，特别是在资源受限的硬件环境中具有重要应用价值。