神经网络鲁棒性认证的最优分支线性与半定规划松弛方法

本文研究通过分支定界方法改进线性规划和半定规划松弛技术,以提升ReLU神经网络对抗对抗性输入扰动的鲁棒性认证效果。实验证明该方法在MNIST、CIFAR-10等数据集上显著提高测试样本的认证比例。

本文研究针对ReLU神经网络对抗对抗性输入扰动的鲁棒性认证问题。为减少现行线性规划(LP)和半定规划(SDP)认证方法存在的松弛误差,采用分支定界方法对输入不确定集进行分区,并在每个子域单独求解松弛问题。研究表明:该方法能有效降低松弛误差,且当采用针对ReLU激活特性设计的智能分区方案时,LP松弛误差可完全消除。

为将该方法扩展至大型网络,提出采用更粗粒度的分区以减少计算量。理论证明直接最小化LP松弛误差的粗分区计算属于NP难问题。通过转而优化最坏情况下的LP松弛误差,在单隐藏层场景中开发出闭式分支方案。进一步将分析延伸至SDP领域,利用可行集几何特性设计出能最小化最坏情况SDP松弛误差的分支方案。

在MNIST、CIFAR-10和威斯康星乳腺癌诊断分类器上的实验表明,该方法使测试样本认证比例显著提升。通过分别增加输入规模和网络层数的对照实验,实证揭示了分支LP与分支SDP各自的最佳适用场景。最终将LP分支方法扩展为多层分支启发式算法,在大规模深度神经网络认证基准测试中达到与当前最优启发式方法相当的性能。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计