权重参数化在连续时间深度神经网络代理建模中的应用

连续时间深度学习模型（如神经常微分方程）为复杂物理系统的代理建模提供了有前景的框架。训练这些模型的核心挑战在于学习表达性强且稳定的时变权重，特别是在计算约束条件下。本研究探讨了将权重时序演化约束到多项式基函数张成的低维子空间的参数化策略。

在离散化后优化和优化后离散化两种训练范式下，评估了单项式和勒让德多项式基在神经ODE和残差网络（ResNet）架构中的表现。在三个高维基准问题上的实验结果表明：

• 勒让德参数化能产生更稳定的训练动态
• 显著降低计算成本
• 达到与单项式参数化和无约束权重模型相当或更好的精度

这些发现阐明了基函数选择在时间相关权重参数化中的作用，证明使用正交多项式基能在模型表达力和训练效率之间实现更优的平衡。

研究细节：
论文共34页，包含6张图表，已提交至《计算科学与工程》MoRE24特刊。研究涉及机器学习（cs.LG）和优化控制（math.OC）领域，通过多项式基函数约束有效提升了连续时间模型的训练效率与稳定性。