大语言模型在多模态时间序列预测中的概率建模

本文提出CAPTime方法,通过大语言模型实现多模态时间序列的概率预测。该方法整合文本信息与时间序列数据,采用分布混合专家模型和自回归解码,在能源市场、气候分析等任务中展现出优越的准确性和泛化能力。

基于大语言模型的多模态时间序列概率预测方法

时间序列预测在能源市场、气候分析和交通管理等领域具有重要应用价值。然而,现有方法难以有效整合外部文本信息,且无法与大语言模型的概率特性对齐。当前方法要么通过简单提示实现浅层文本-时间序列融合,要么依赖确定性数值解码,这与大语言模型的令牌生成范式存在冲突,限制了上下文感知和分布建模能力。

为解决这些局限性,提出CAPTime方法——一种基于上下文感知的概率多模态时间序列预测方法。该方法利用文本驱动的抽象化和自回归大语言模型解码,首先通过预训练的时间序列编码器捕捉时序模式,然后通过可学习的交互机制将文本上下文与时序模式对齐,生成联合多模态表示。通过将分布混合专家模型与冻结参数的大语言模型相结合,在保持大语言模型固有分布建模能力的同时,实现上下文感知的概率预测。

在多样化时间序列预测任务上的实验表明,CAPTime具有优越的准确性和泛化能力,特别是在多模态场景下。额外分析还揭示了该方法通过混合概率解码在数据稀缺场景中的鲁棒性优势。

关键技术特点

  • 文本信息驱动的时序模式抽象
  • 可学习的多模态交互机制
  • 分布混合专家模型与冻结大语言模型的结合
  • 自回归概率解码框架

该方法为多模态时间序列预测提供了新的技术路径,在保持预测精度的同时增强了模型对上下文信息的利用能力。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计