粒子梯度下降误差界及对数索伯列夫与塔拉格兰不等式扩展

本文推导了粒子梯度下降算法的非渐近误差界,并扩展了对数索伯列夫不等式与塔拉格兰不等式的应用范围,为大型潜变量模型的最大似然估计提供了理论保证。

我们推导了粒子梯度下降(PGD,Kuntz等人2023年提出)的非渐近误差界,这是一种通过离散化自由能梯度流来实现大型潜变量模型最大似然估计的新算法。研究首先证明:对于满足广义对数索伯列夫不等式(LSI)和Polyak-Łojasiewicz不等式(PŁI)条件的模型,该梯度流能以指数速度收敛至自由能最小化点。这一结论通过扩展最优传输理论(LSI蕴含塔拉格兰不等式)和优化理论(PŁI蕴含二次增长条件)的经典结果得以实现,并将扩展应用于新场景。

研究还推广了Bakry-Émery定理,证明对于具有强凹对数似然的模型,LSI/PŁI扩展仍然成立。针对此类模型,进一步控制了PGD的离散化误差并获得非渐近误差界。虽然研究动机源于PGD算法分析,但所扩展的不等式与理论结果可能具有独立的理论价值。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计