分层随机微分方程模型在神经时间序列潜在流形学习中的应用
流形假说认为,高维神经时间序列实际上位于由更简单底层动力学塑造的低维流形上。为揭示这一结构,潜在动态变量模型(如状态空间模型、循环神经网络、神经常微分方程和高斯过程潜在变量模型)被广泛使用。
本文提出了一种新颖的分层随机微分方程(SDE)模型,该模型在计算效率和可解释性之间取得平衡,解决了现有方法的关键局限性。该模型假设流形轨迹可以从流形轨迹的稀疏样本集中重建。潜在空间使用布朗桥SDE进行建模,其中在时间和值上指定的点从多元标记点过程中采样。
这些布朗桥定义了第二组SDE的漂移项,随后被映射到观测数据。随着流形点数量的增加,这产生了一个连续、可微的潜在过程,能够模拟任意复杂的时间序列。
推导了训练和推理程序,并表明推理的计算成本随观测数据长度线性扩展。随后在合成数据和神经记录上验证了该模型,证明其能够准确恢复底层流形结构,并有效随数据维度扩展。