Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting

摘要

为了使图神经网络具有灵活实用的图结构，本文研究了如何对时间序列的演化和多尺度相互作用进行建模。特别地，我们首先提供了一个与扩展卷积相配合的层次图结构来捕获时间序列之间的尺度特定相关性。然后，以递归的方式构造一系列邻接矩阵来表示每一层的演化相关性。并通过统一的神经网络集成上述各部分，得到最终的预测结果。通过这种方式，我们可以同时捕获成对的相关性和时间依赖性。最后，在单步和多步预测任务上的实验证明了我们的方法比现有方法的优越性。

1. 介绍

挑战

• 进化图结构不仅受当前输入的影响，而且在前一个时间步上与自身有很强的相关性。循环施工方式很少被讨论。
• 通过已有的自学习方法生成每个时间步的图结构来建模演化，会带来过多的参数，导致模型收敛困难。
• 捕获节点之间特定于比例的图结构是一项艰巨的工作，因为它背后有过多的信息和混乱的关系。

为了应对上述挑战，我们提出了一种新的深度学习框架——进化多尺度图神经网络(evolutionary Multi-Scale Graph Neural Network, ESG)。具体而言，提出了一种与扩展卷积模块协作的层次结构，以同时捕获特定尺度的时间序列间和时间序列内的相关性。其次，我们不再一直保持固定的图结构，而是针对每个尺度构造一系列邻接矩阵来模拟带有门控循环单元的演化相关性。最后，通过融合多尺度表示的统一预测模型进行最终预测。

贡献

• 本文研究了如何改进基于gnn的多变量时间序列预测方法，通过构造多个进化图结构来模拟时间序列之间的相互作用。现有的方法大多建立在固定的图结构上，不足以捕捉时间序列的演化相互作用，也无法观察到不同时间尺度的相互作用。
• 时间卷积模块和进化结构学习器分别用于学习时间序列和一系列循环图结构的多尺度表示。
• 在真实数据集上的实验不仅验证了所提方法的有效性，而且说明了时间序列的相互作用如何随时间演变，以及如何在多个观测尺度下建模时间序列的相互作用。

2. 准备工作

• 定义1 图神经网络

• 定义2 问题定义

​

3. 方法

3.1 总览

3.2 学习进化图结构

3.3 时间卷积模块

3.4 进化图卷积模块

4. 实验

4.1 数据集和参数设置

对于单步预测，选择根相对平方误差(RSE)和经验相关系数(CORR)[23]。采用均方根误差(RMSE)、平均绝对误差(MAE)、经验相关系数(CORR)[27]对多步预测任务进行评价。较低的值表示除CORR外所有评估指标的性能都较好。

4.2 基线

4.3 主要结论

4.3.1

4.3.2

4.4 消融实验

4.5 进化图结构的研究