第四十八周：文献阅读

摘要

Abstract

文献阅读：时间序列预测的傅里叶图卷积网络

现有问题

提出方法

方法论

傅里叶级数

图信号的傅里叶变换

论文方法：F-GCN（傅立叶图卷积网络）

数据构建

傅立叶嵌入模块

时空ChebyNet层

框架伪代码

研究实验

数据集

评估指标

基线和最新方法

实验结果

总结

摘要

本周阅读的文献《Fourier Graph Convolution Network for Time Series Prediction》中，提出了一种新的鲁棒傅立叶图卷积网络模型来学习具有周期性和波动性模式的时间序列。该模型包括一个傅立叶嵌入模块和一个可堆叠的时空ChebyNet层，其中傅立叶嵌入模块的开发基于傅立叶级数理论的分析，表示具有傅立叶级数的周期函数，该傅立叶级数可以找到最佳系数和最佳频率参数以捕获周期性特征。时空ChebyNet层由细粒度波动率模块和时间波动率模块组成，用于模拟交通流的波动特征，以提高系统的鲁棒性。在两个开放数据集上的实验表明，该模型的预测精度明显优于现有的方法。

Abstract

The literature "Fourier Graph Convolutional Network for Time Series Prediction" read this week, proposes a new robust Fourier graph convolutional network model to learn time series with periodic and fluctuating patterns. This model includes a Fourier embedding module and a stackable spatiotemporal ChebyNet layer, where the development of the Fourier embedding module is based on the analysis of Fourier series theory, representing periodic functions with Fourier series that can find the best coefficients and frequency parameters to capture periodic features. The spatiotemporal ChebyNet layer consists of fine-grained volatility modules and temporal volatility modules, used to simulate the fluctuation characteristics of traffic flow and improve the robustness of the system. Experiments on two open datasets show that the prediction accuracy of this model is significantly better than existing methods.

文献阅读：时间序列预测的傅里叶图卷积网络

Fourier Graph Convolution Network for Time Series Predictionhttp://doi.org/10.3390/math11071649Mathematics 2023

现有问题

交通流数据是表现出周期性和波动性模式的时间序列。因此，从复杂的交通流中提取模式，并在此基础上进行可靠的预测，仍然存在一系列关键的挑战。虽然大量的努力已经投入到交通流预测的问题，仍然有一些关键的挑战，在捕捉各种周期性和动态波动。

现有的方法基于频域方法学习周期性，例如谱分析和传统的傅立叶变换。这些模型通常需要手动参数并遵守严格的假设，使得这些方法无法捕获各种周期。
动态波动性是交通网络动态时空模式识别的关键，目前还缺乏一种有效的方法来学习动态波动性以提高鲁棒性。
一些模型捕捉周期性和波动性，但这些方法独立地捕捉它们，忽略了它们的内在关系。

提出方法

为了解决这些问题，提出了一种鲁棒的傅立叶图卷积网络（F-GCN）架构，该架构由两个自适应模块组成，包括傅立叶嵌入（FE）和可堆叠的时空ChebyNet（STCN）层。与独立学习的周期性和波动性不同，F-GCN模型可以考虑两者之间的相关性。

FE模块：能够用于捕获各种周期性，而无需人工干预，和STCN模块与周期嵌入开发提取动态时间波动。
STCN：由两个子模块组成：细粒度波动率模块和时间波动率模块。具体而言，细粒度波动率模块首先捕获细粒度波动率，以降低复杂波动率学习的难度。然后，时间波动模块进一步捕获动态时间波动。

方法论

傅里叶级数

从数学角度上讲，在线性代数中我们知道，一个向量空间上的所有向量都可以由该空间的基向量线性表出，傅里叶级数同样如此。在希尔伯特空间上，傅里叶级数无穷个三角函数正交基能够线性表出整个希尔伯特空间上的函数值。此外，由于连续空间上内积和系数的定义，傅里叶级数可以看做是将函数f(x)投影到这组正交基上，并有这组正交基线性表出。通过这种正交投影的方式，一个周期性的信号就能够被拆解成无限个正弦波的线性组合。

傅里叶级数与其他级数都是一样的，一般级数就是把一个函数拆开成若干个简单的函数，傅里叶级数是拆开成若干三角函数。

图信号的傅里叶变换

任何一个周期函数都能等价为一系列的正（余）弦函数的和，这就是傅里叶级数。将一个周期函数经过傅里叶变换，也就是将一个时域上的函数表达，转换为其频域和相位的表示。通过对图片的傅里叶变换，可以根据变化后数据的频率特征，提取图片中的特征，如低频率的轮廓特征，高频率的细节特征。最后结果的输出只要将这些数据再做一次傅里叶反变换即可。

拉普拉斯变化是傅里叶变换的一种改进，与傅里叶相比，它能处理信号函数趋向于无穷大及振幅越来越大的情况，它有两种理解方式：一是这种变换引进了衰减因子，使原信号函数趋于平缓稳定；二是其通过增大傅里叶变换的正弦波，从而改变最后输出函数的振幅。

定义

D为度矩阵，它对角线上的值是从 i 节点出发的所有边的权重之和（对角矩阵）。

拉普拉斯矩阵（L）是度矩阵（D）减去邻接矩阵（A），即L = D - A。拉普拉斯矩阵是对称半正定矩阵，因此该矩阵的特征值一定非负，一定有n个线性无关的特征向量，它们是n维空间中的一组标准正交基，组成正交矩阵。

将拉普拉斯矩阵（L）进行特征分解即谱分解，是将矩阵分解为其特征值和特征向量表示的矩阵之积的方法。 $L=U\Lambda U^{T}$ ，其中 $\Lambda$ 为特征值矩阵， $U$ 为特征向量。

在如下的图中，我们把 $f(i)$ 看做是一个信号的属性大小，，它可以是一个向量也可以是一个标量（此文中假定f(0)、f(1)等4个信号都是标量）

上图中每个特征值 $\lambda _{i}$ 对应的特征向量 $U$ 都对应其相应点在该特征值频率下的强度大小。将信号乘以一个拉普拉斯矩阵 $L$ ，即对其做拉普拉斯变化。下面计算表明，对信号做拉普拉斯变换得到的结果，可以表示某节点与其所有邻域节点的能量差之和。

将图做傅里叶变化后，将矩阵L进行特征分解得到的特征向量看做是一组信号值，可根据上图计算的特征值 $\lambda _{i}$ 和特征向量 $u_{i}$ 将原图在频率上表达。

对应的每个特征值就是频率的大小，而每个特征值对应的特征向量的数值就是对应特征值频率下的强度大小（这里暂时不考虑正交的概念）。

论文方法：F-GCN（傅立叶图卷积网络）

F-GCN的架构如图所示，包括三个主要模块：数据构造模块、傅立叶嵌入（FE）模块和可堆叠时空ChebyNet（STCN）层。

首先，数据构造模块用于构造包含三种周期数据类型和拉普拉斯算子的图。
然后，FE模块学习图的各种周期嵌入。
进一步利用可堆叠STCN来探索动态时间波动性，
最后计算预测和地面实况之间的损失值以进行反向传播学习。

数据构建

数据构建模块的流程图如图所示。首先将交通流数据作为系统的输入，生成拉普拉斯矩阵并输出特征向量。具体来说，实际的交通流数据产生一个图G，其中节点代表道路网络上的传感器，边缘是传感器之间的连接。然后根据G计算拉普拉斯矩阵，在这项工作中，考虑了交通网络的三个时期，包括周周期、日周期和最近。最后将三个周期串联

基于时间序列数据的分解，交通流数据可以由多个分量组成。例如，包括时间序列分析和监督学习（TSA-SL）[14]和混合模型[15]在内的模块试图将交通流分解为两个主要部分，周期性和波动性，并进一步分别学习这两个部分以提高预测精度。图1a示出了三个检测器的原始交通流，并且每个检测器具有与动态交通网络相关联的特定周期性波动。图1b-d显示了检测器1数据的相应分解结果，包括趋势、周期性和波动性。趋势可能是稳定的，上升趋势或下降趋势，图1b中的红圈表示下降趋势。在图1c中，红色框显示了一个时段的交通流量数据变化。在图1d中，检测器1的复杂动态波动性受到许多因素的影响，例如交通模式、交通数据的噪声、不完整的交通流等。因此，交通流预测模型需要能够自动地从交通流数据中表征各种周期性、趋势和波动性的分量。

傅立叶嵌入模块

为了解决交通流数据通常呈现各种周期性导致难以预测这个问题，将其分解为两个关键要素:周期性和波动性。开发了一个名为傅立叶嵌入(FE)的算子Emb()来捕获各种周期性，与传统的分解方法不同，该FE模块基于嵌入方法，能够有效表征交通流的各种周期性。

从傅立叶级数可知，在这个算子中，通过叠加多个不同频率的正弦和余弦函数可以得到任何周期函数。 $X_{g}$ 包含三个时段的交通流，这有助于增加对不同周期的适应性。同时，它也提供了更复杂的波动可能性，使下游模块能够更好地探索波动。残差结构被用来学习动态时间波动。这种结构的优点是可以将原始图中的波动率引入到方程中的下游学习模块中。

时空ChebyNet层

F-GCN架构中使用可堆叠的时空ChebyNet (STCN)层来捕获动态时间波动。这一层包括两
个主要组件：细粒度波动模块和时间波动模块。

一、细粒度波动模块

交通流的波动性一般是不规则且复杂的，通过细粒度波动模块来表示细粒度波动特征，用于捕获复杂波动。具体而言，采用各种核大小的卷积操作来捕获细粒度波动，还引入了门机制来自动控制高波动性对下游网络的影响，最后，将多个闸门的结果串联起来。

二、时间波动模块

交通流分析的另一个难点是从海量交通数据中捕捉动态时间波动。受Transformer的启发，提出的时间波动方法引入了自然语言翻译中上下文的潜在语义，提出了一种SliceAttention机制来捕获动态时间波动。利用车网(ChebyNet)来合并交通流图中多个时间片之间的相互关系，学习交通流图的动态时间波动。在这项工作中，使用自关注来捕捉时间片本身的影响。使用Satti表示对时间片i的关注，并使用平均值Satt动态调整拉普拉斯矩阵得到动态拉普拉斯矩阵。

框架伪代码

研究实验

数据集

采用两个真实的交通流数据集PeMSD4和PeMSD8对F-GCN模型进行了性能评估。PeMSD4数据集是由部署在旧金山弗朗西斯科湾区29条道路上的307个检测站收集的交通流量数据，时间段为2018年1月至2月。同样，PeMSD 8数据集由圣贝纳迪诺地区8条高速公路上的170个检测站于2016年7月至8月收集。

这两个数据集是PeMS收集的原始数据的子集，原始数据由加州公路性能测量系统（PeMS）收集，包含39,000个道路传感器，数据收集间隔为30s。这些数据被重新聚合成5分钟的时间间隔，用于交通预测。

评估指标

该方法的性能评估与三个指标：平均绝对误差（MAE），均方根误差（RMSE），平均绝对百分比误差（MAPE）。

基线和最新方法

为了进行性能比较，引入了以下不同的模型：

HA：使用历史流量的平均值作为估计未来时间范围内的流量的基线。
ARIMA：自回归综合移动平均模型被用作本工作中典型统计方法的基线。该模型通常用于捕获线性特性。
GRU：门控递归单元网络通常用于学习交通流预测的时间特征，因为它具有长期记忆。
STGCN：时空图卷积网络采用一阶近似切比雪夫图卷积网络和二维卷积算子来捕获空间和时间信息。
ASTGCN：基于注意力的时空图卷积神经网络集成了时空注意力模块和图卷积神经网络模块来捕捉交通流模式。
STSGCN：Space-Time-Separable Graph Convolutional Network构建了一个局部时空映射模块来获取局部信息。然后，它捕获更多的全球时间信息沿着的时间维。
AGCRN：自适应图卷积递归网络包括两个自适应模块，分别用于学习节点的模式和不同流量序列之间的相互依赖关系。

实验结果

1、模型整体性能评估

通过数据集对F-GCN的性能进行评估，结果表1表明，拟议的F-GCN优于基线和最先进的方法。

与典型的时间序列分析方法相比，这些方法只能学习线性特征。GRU比传统的时间序列分析方法表现更好，因为它可以捕获复杂的非线性特征作为主要的深度学习方法，但它也只考虑了道路网络的时间特性。
与STGCN、ASTGCN、STSGCN和AGCRN等现有方法相比，F-GCN能够从业务流中学习各种周期性和动态时间波动性，从而显著提高了性能，

2、FE模块和STCN模块的性能评估

一、周期性学习评估

如图所示为具有不同阶数（M）的FE模块在三个指标（MAE、RMSE和MAPE）上的性能。黑色曲线是在没有FE模块（M = 0）的情况下对PeMSD8数据集进行的拟定F-GCN测试。然后，实验增加了FE模块的阶数，并评估了短期和长期预测的性能。结果表明，有FE模块的模型有一个显着的改善。具体而言，当M = 3时，在RMSE和MAPE方面的性能最好。

原始流量波动具有不稳定的波动性，这使得很难从它们中提取周期性。本文提出的PE模块可以从大量的交通流数据中学习这种周期性，原始交通流数据输入FE模块后，结果以热图的形式可视化，如图所示。(a,b)来自PeMSD8数据集，(c,d)来自PeMSD4数据集。1和2表示不同道路的不
同模式，3表示所有道路在不同时期的不同模式。

F-GCN中FE模块的输出呈现有规律的周期性。从热图的颜色来看，（a）中红框1中的几条道路的交通流由于颜色相似而具有相同的模式，但红框1和红框2之间存在显著差异，说明FE模块可以捕捉到不同道路的差异特征。在黑箱3中，不同道路在36-48和48-60周期的周期性不同，说明FE模块可以捕捉到道路的各种周期性。周期波动证明了FE模块的有效性。然后，将这些周期性嵌入传输到下游网络进行波动率学习。

二、波动性学习评估
除了周期性之外，F-GCN的目标是从海量数据中捕捉交通流预测的波动性。将预测结果与实际交通流进行对比，分析波动性的预测性能。实际交通流与预测结果的对比表明，F-GCN模型能够有效地捕捉和预测交通流数据的波动性。实验选取了两个典型的交通流场景，并将对比结果可视化，如图7所示。图7a、b中的红色圆圈表示交通流波动剧烈，图7c、d中的绿色圆圈表示相对平缓的波动。F-GCN预测结果在这两种典型情况下均具有较好的拟合效果，表明该方法能够有效地从海量交通流中学习和预测动态时间波动。