时间序列演进也是种扩散过程？基于移动自回归的时序扩散预测模型

see122

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

在人工智能领域，目前有很多工作采用自回归方法来模拟或是替代扩散模型，其中视觉自回归建模（Visual AutoRegressive modeling，简称 VAR）就是其中的典型代表，该工作利用自回归取得了比传统基于噪声的扩散模型更好的生成效果，并且获得了人工智能顶级会议 NeurIPS 2024 的 best paper。然而在时间序列预测领域，当前主流的扩散方法还是传统的基于噪声的方法，未能充分利用自回归技术实现时间序列建模。

近期，来自上海交通大学和东方理工的研究团队推出了自回归移动扩散（Auto-Regressive Moving Diffusion，简称 ARMD）模型。ARMD 模型受经典的自回归移动平均（ARMA）理论启发，重新定义了时间序列的扩散过程：如图一所示，与传统的基于噪声的扩散方法不同，ARMD 将时间序列的演进看成是一个扩散过程，并采用了基于链式扩散的方式。它的前向过程由未来序列扩散到历史序列，并根据扩散步数通过滑动序列的操作生成中间状态；反向过程则通过历史序列‘采样’生成未来序列，实现了采样和预测目标的统一。

图一：已有的基于噪声的时序扩散方法和 ARMD 的时序扩散方法对比。

相比于传统基于扩散的时序模型，ARMD 并没有将时间序列预测视为从噪声起步的条件生成任务，而是充分利用时间序列数据的连续演化特性，实现了扩散机制与时间序列连续性之间的对齐，从而提升了模型性能。该项研究以《Auto-Regressive Moving Diffusion Models for Time Series Forecasting》为题，被 AAAI 2025 接收。

• 论文标题：Auto-Regressive Moving Diffusion Models for Time Series Forecasting
• 论文地址：https://arxiv.org/abs/2412.09328
• 项目地址：https://github.com/daxin007/ARMD

方法先容

图二: ARMD 扩散模型示意图。在前向扩散（演进）过程中，未来序列逐渐被转化为历史序列。相反，反向去噪（反演进）过程则利用历史序列迭代地生成 / 预测未来序列。

模型结果

经过在七个广泛使用的时序预测数据集上的大量实验，ARMD 模型的表现超越了现有的基于扩散的时间序列预测模型，并且和最先进的端到端时间序列预测模型取得了相当的效果。模型的预测结果如表一和表二所示：

表一：时间序列预测实验之与基于扩散的时间序列预测基准模型的结果比较。最佳结果以粗体突出显示。“最佳次数” 列表明模型取得最佳结果的次数。

表二：时间序列预测实验之与端对端时间序列预测基准模型的结果比较。最佳结果以粗体突出显示。“最佳次数” 列表明模型取得最佳结果的次数。

另外，由于扩散过程的优化，ARMD 模型在训练推理时间和预测的稳定性方面相对于之前的时序扩散模型也有明显的优势。ARMD 模型的预测效果示例如图三所示：ARMD 在具有明显周期性或趋势特征的时间序列上展现了卓越的预测性能，能够有效地捕捉这些时间序列中的相关特征，且相对于其他扩散模型预测更加稳定。

总结

综上所述，Auto-Regressive Moving Diffusion (ARMD) 模型通过重新诠释时间序列的扩散过程，结合时间序列的自回归特性，成功弥合了扩散机制与时间序列预测目标之间的差距。不同于传统方法从白噪声开始逐步添加噪声，ARMD 采用链式扩散策略，通过滑动操作将未来序列逐渐转化为历史序列，更准确地模拟时间序列的演化路径。该模型还引入了独特的反向去噪（逆演化）过程，利用历史序列迭代生成（预测）未来序列，有效捕捉时间序列的特征。实验结果和理论分析共同证明了 ARMD 作为一种稳健且有效的时间序列预测方案的巨大潜力。

图三: ARMD 和 Diffusion-TS 在给定相同历史序列的情况下，分别做出的 10 次不同预测的分布情况。ARMD 实现了更稳定且准确的预测。


来源：网易