从全局到局部：局部后验采样的可扩展基准测试

退化是神经网络损失景观的固有特征，但随机梯度MCMC（SGMCMC）算法如何与这种退化特性交互尚未得到充分理解。特别值得注意的是，当前常见SGMCMC算法的全局收敛保证所依赖的假设，很可能与退化损失景观不相容。

本文主张需要将研究重点从全局采样转向局部后验采样，并作为初步探索，提出了一种新颖的可扩展基准测试方法，用于评估SGMCMC算法的局部采样性能。通过对多种常见算法进行评估，发现经RMSProp预处理的SGLD算法在忠实反映后验分布局部几何特征方面最为有效。

尽管缺乏关于采样器全局收敛的理论保证，但实证结果表明，在参数规模高达1亿量级的模型中，能够提取出非平凡的局部信息。

研究特点：

• 25页详细方法论阐述
• 专注于统计机器学习（stat.ML）与机器学习（cs.LG）交叉领域
• 提供PDF与HTML两种格式的论文访问方式

技术贡献： 提出首个针对大规模参数模型的局部后验采样评估框架，为理解SGMCMC算法在退化损失景观中的行为提供了实证基础。