分层随机微分方程在神经时间序列中的潜在流形学习

本文提出了一种新颖的分层随机微分方程模型,用于从高维神经时间序列中学习低维流形结构。该模型通过布朗桥和标记点过程构建连续可微的潜在过程,在计算效率和可解释性之间取得平衡,并在线性计算复杂度下实现精确的流形重建。

分层随机微分方程模型在神经时间序列潜在流形学习中的应用

流形假说认为,高维神经时间序列实际上位于由更简单底层动力学塑造的低维流形上。为揭示这一结构,潜在动态变量模型(如状态空间模型、循环神经网络、神经常微分方程和高斯过程潜在变量模型)被广泛使用。

本文提出了一种新颖的分层随机微分方程(SDE)模型,该模型在计算效率和可解释性之间取得平衡,解决了现有方法的关键局限性。该模型假设流形轨迹可以从流形轨迹的稀疏样本集中重建。潜在空间使用布朗桥SDE进行建模,其中在时间和值上指定的点从多元标记点过程中采样。

这些布朗桥定义了第二组SDE的漂移项,随后被映射到观测数据。随着流形点数量的增加,这产生了一个连续、可微的潜在过程,能够模拟任意复杂的时间序列。

推导了训练和推理程序,并表明推理的计算成本随观测数据长度线性扩展。随后在合成数据和神经记录上验证了该模型,证明其能够准确恢复底层流形结构,并有效随数据维度扩展。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计