神经网络硬件适配优化新方法

一种确定卷积神经网络"通道配置"的新方法在保持运行效率的同时提高了准确性。

在IEEE计算机视觉与模式识别会议上，研究人员提出了一种探索卷积神经网络架构的新方法，该网络类型常见于计算机视觉应用。测试发现，采用此方法训练的神经网络在保持最佳运行效率的同时提升了准确性。

卷积神经网络（CNN）的每一层都会对输入进行多重变换，每个变换在层中建立一个"通道"。在计算机视觉应用中，典型CNN的输入层可能有三个通道（每个主颜色一个），但输出层可能有1000个通道。

该技术在给定延迟约束（计算完成的最大允许时间）的情况下，找到网络每层的最佳通道数。

技术方法

先前的方法训练具有大量通道集的网络，然后贪婪地修剪每层中不会过度影响准确性的通道。新方法在训练期间同时优化所有网络层的通道数量，实现了每层计算量与最终准确性之间更好的权衡。

典型CNN将输入数据分成重叠块，并对每个块应用相同的分析"过滤器"。对于图像，CNN可能以8×8像素块逐步扫描图像，检查每个块是否具有相同的视觉特征。

每个过滤器定义一个独立通道，在网络每层，多个过滤器可能应用于相同输入。每层的通道数称为通道宽度。

早期工作使用基于14层CNN MobileNet（v1）的模型进行通道宽度优化。研究人员采用全局优化方法而非逐层贪婪选择，准确捕获所有网络层间通道宽度的依赖关系。

通过实证分析，研究人员通过不同通道数多次运行相同数据，得到线性方程组来精确估计不同网络层各种通道宽度产生的延迟。将每层每通道估计值保存在表中，便于网络训练期间高效查找。

使用MobileNet（v1）作为基础网络。在初始训练轮次中，每个新训练样本随机改变一个网络层的通道宽度，从原始值的20%到150%。比较当前通道配置与完整网络的准确性，获得每个通道配置准确性损失的聚合度量。

使用马尔可夫随机场标准统计模型模拟连续网络层不同通道宽度组合的影响。基于准确性损失测量和延迟变化估计，求解在延迟约束内产生最佳性能的通道宽度组合。与使用贪婪通道宽度搜索的基线相比，该方法在相同延迟下实现了4%的相对准确性提升。

在连续训练轮次中，该方法识别出一些对准确性或延迟有灾难性影响的通道宽度变化。经过初始基线阶段后，逐步缩小模型可探索的配置范围。实验中，搜索空间的逐步缩减带来了另外1%的相对准确性提升。