正则化难例提升对抗鲁棒性

摘要

近期研究证实，从训练中剔除难以学习的样本能够提升神经网络（NNs）的泛化性能。本研究探讨了这一有趣现象——即难例对泛化的负面影响——在对抗训练中的表现。特别地，从理论上证明了在对抗训练中，难例难度增加的程度显著大于易例难度增加的程度。此外，验证了在对抗训练中，难例仅通过标签记忆来进行拟合。通过对这种记忆现象进行理论和实证分析，表明在对抗训练中剔除难例能够增强模型的鲁棒性。然而，如何找到去除降低鲁棒性表现的难例的最佳阈值仍然是一个挑战。基于这些观察，提出了一种新方法——难度比例标签平滑（DPLS）——来自适应地缓解难例的负面影响，从而提升神经网络的对抗鲁棒性。值得注意的是，实验结果表明该方法能够成功利用难例同时规避其负面影响。

[摘要][PDF][BibTeX]