基于权重熵最大化的深度分布外不确定性量化

摘要

本文研究利用贝叶斯和集成方法进行深度学习中的不确定性量化及分布外检测。针对现有标准方法在分布外场景下出现的预测多样性缺失问题（Ovadia等人2019；Liu等人2021），提出解决方案。该问题主要源于权重多样性不足——标准方法因使用权重衰减、零均值高斯先验等"过度正则化"过程，导致仅在权重空间的"过度受限"区域采样。

通过采用权重分布的最大熵原则，以最大化权重多样性为核心思想解决问题。在此范式下，认知不确定性由能产生"符合"训练观测的神经网络的最大熵权重分布描述。针对随机神经网络推导出实际优化方法，构建平衡平均经验风险与权重分布熵的分布方案。

通过理论分析和数值实验验证方法有效性。在包含30多种对比方法的综合分布外检测基准测试中，所提算法在所有配置下均位列前三。

[摘要][PDF][文献]