第五十二周：文献阅读+STHTNN

摘要

Abstract

文献阅读：用于区域空气质量预测的时空分层传输神经网络

现有问题

提出方法

创新点

方法论

周期特征提取组件(PFEC)

场景动态图模块(SDGM)

时空特征提取组件（STEC)

传输注意力模块(TransATT)

STHTNN模型

研究实验

数据集

评估指标

结果分析

结论

摘要

本周阅读的文献《Spatiotemporal hierarchical transmit neural network for regional-level
air-quality prediction》中提出了一种时空分层传输神经网络(STHTNN)模型。该模型通过周期特征提取组件(PFEC)和时空依赖提取组件(STEC)分别从原始时间序列中提取长期周期特征和短期时空依赖关系，并使用传输注意力模块(TransATT)将两种特征进行融合，以生成具有长短期交互信息的特征，用于最终的回归预测层。此外还设计了场景动态图模块(SDGM)，通过结合节点时间序列特征与预定义图，来生成编码多样化监测站关系的动态图，增强了模型对复杂时空关联的建模能力。

Abstract

In the literature "Spatiotemporal hierarchical transmission neural network for regional level air quality prediction" read this week, propose a spatiotemporal hierarchical transmission neural network (STHTNN) model. This model extracts long-term periodic features and short-term spatiotemporal dependencies from the original time series using the Periodic Feature Extraction Component (PFEC) and the Spatiotemporal Dependency Extraction Component (STEC), respectively. The two features are fused using the Transfer Attention Module (TransATT) to generate features with long-term and short-term interaction information, which are used in the final regression prediction layer. In addition, a Scene Dynamic Graph Module (SDGM) was designed to generate dynamic graphs encoding diverse monitoring station relationships by combining node time series features with predefined graphs, enhancing the model's modeling ability for complex spatiotemporal correlations.

文献阅读：用于区域空气质量预测的时空分层传输神经网络

Spatiotemporal hierarchical transmit neural network for regional-level air-quality predictionhttps://doi.org/10.1016/j.knosys.2024.111555PDF：Spatiotemporal hierarchical transmit neural network for regional-level air-quality prediction (sciencedirectassets.com)

现有问题

现有的时空预测模型大多直接将原始时间序列输入神经网络，忽略了时间序列所具有的复杂多面性时间模式，包括周期性成分和趋势成分，而这些成分相比原始序列更能反映时间序列的长期性质。
现有基于图神经网络的空气质量预测方法，在构建图矩阵时往往只依赖预定义图来编码站点空间关系，忽略了时空图的动态性，且只关注捕获站点间单一类型关系，忽略了站点和多种类型连接之间的动态相关性，导致生成的图表缺乏动态性。

提出方法

本文提出的STHTNN模型采用分层结构，分别对空气质量预测任务进行长期和短期建模，实现长短期特征的有效交互，模型主要包括:

PFEC：通过离散傅立叶变换和序列分解，从时空图中捕获影响时间序列的长期周期特征。
SDGM：通过堆叠时间卷积层、场景字典和矩阵学习器，为各种预定义图增加动态性，用于编码不同监测站之间多样化的动态空间关系。
STEC：利用多种注意力机制和卷积层捕获短期时空依赖关系。
TransATT：整合已提取的短期时空依赖关系和长期周期特征，使模型能够建立长短期隐藏信息的交互。

创新点

提出一种新的时空建模框架，采用分层结构对空气质量预测进行长短期建模，实现长短期特征的有效交互，且不局限于预定义图，对各领域具有更好的适应性。
提出PFEC捕获时空图中的长期周期特征，结合序列分解、离散傅立叶变换和可训练核，有效滤除时空图中无关信息。实现了长期周期特征的自适应提取，克服了传统方法忽略时间序列多尺度周期性的局限。
提出SDGM编码不同监测站之间多样化的动态空间关系，通过构建表征不同环境场景的字典，选择与节点特征最相似的场景矩阵来构建动态图，有助于STEC灵活捕获短期时空依赖关系。
提出TransATT将注意力机制引入频域，通过频域传递实现跨层次的特征交互，有效地融合了长短期特征，提升了预测性能。

方法论

本文采用扩散卷积实现图卷积，通过考虑上下游影响，更准确地建模区域级别的空间相关性。采用离散傅立叶变换将时域信号转换到频域，利用其在频域传递信号频率信息的特性。通过注意力机制赋予不同输入成分不同的权重，使模型能够自适应地关注更重要的特征。采用因果卷积和空洞卷积有效提取时间序列中的多尺度时间特征。将序列分解为周期成分和趋势成分，有助于更全面地理解时间序列的时间模式。

周期特征提取组件(PFEC)

PFEC旨在从时空图中捕获长期周期特征，为了更好地建模时间序列的多尺度周期性，将PFEC设计为并行结构,包含多个周期提取分支。该组件由三部分组成：图傅立叶块（GFB），图序列分解块（GSDB）和前馈网络（FFN）。

对节点特征矩阵进行序列分解，将其分解为周期成分和趋势成分；
对周期成分进行离散傅里叶变换，将时域转换为频域；
使用可训练的频域核对频域特征进行加权；
将加权后的频域特征通过IDFT变换回时域，得到提取的周期特征；
将提取的周期特征与趋势成分拼接，得到长期特征；
最后，将所有分支提取的长期特征在特征维度上拼接，得到最终的长期周期特征。

首先使用GSDB对原始序列 $eq?X$ 进行分解，得到周期性初始数据 $eq?P%5E%7B0%7D$ 和趋势性初始数据 $eq?%5Ctau%20%5E%7B0%7D$ ;随后，我们使用PFEC模块对周期性初始数据 $eq?P%5E%7B0%7D$ 和趋势性初始数据 $eq?%5Ctau%20%5E%7B0%7D$ 进行归一化，以获得最终的周期性特征 $eq?P%5E%7B2%7D$ 和趋势性特征 $eq?%5Ctau%20%5E%7B2%7D$ 。

图傅立叶块（GFB）

致力于解决时空图预测中的空间特征问题，

GFB的输入首先被投影到具有线性层的 $eq?q$ 中。然后，从时域转换到频域，将DFT运算应用于输入序列 $eq?q$ ，以获得频域表示 $eq?Q$ 。
在执行DFT和所选操作之后，我们可以通过将其与复域空间滤波器SF和参数化核KR相乘来调制频谱。
最后，使用IDFT操作将调制频谱转换回时域,通过广播机制将真实的数域的可学习时间嵌入TE和空间嵌入SE结合起来，增强了模型训练的灵活性。

图序列分解块（GSDB）

为了使模型能够学习复杂的时间模式，使用分解方法将序列分离为周期和趋势分量，反映时间序列的季节趋势，使用移动平均线来平滑周期性波动并突出长期趋势。

场景动态图模块(SDGM)

站间的空间相关性通常是高度动态的，并且空气污染物的扩散在不同的天气条件下是不同的，仅仅依赖于预定义的图使得难以捕捉时空图内复杂的动态空间相关性。因此，尝试引入动态图来增强预定义图。使用一个模块来将输入的时空图分类到不同的场景中，并采用场景表示进行进一步的图形矩阵学习，提出了SDGM。

首先通过堆叠时空卷积和空间注意力（SA）机制来计算时空图的节点表示，提取节点特征的时间依赖。
构建场景字典（字典中的每个原子表示一种典型的时空状态），从可学习的场景字典中选择最相似的场景矩阵。
计算节点特征与场景原子的相似度，得到注意力分数，使用注意力分数对场景原子进行加权求和，得到节点的场景表示。
最后，将节点的场景表示通过全连接层映射为邻接矩阵的组合系数，使用组合系数对预定义邻接矩阵进行加权求和，得到动态邻接矩阵SDG。对SDG矩阵进行掩码，并将其添加到预定义图中，得到动态模式图。

时空特征提取组件（STEC)

为了提取短期的时空依赖关系，提出了STEC架构，其由五个部分组成：堆叠时间卷积网络（STCN）、并行图卷积网络（PGCN）、时间注意力（TA）机制、空间注意力（SA）机制和GateFusion层。STCN和PGCN被设计为学习短期时空特征，而SA和TA则致力于学习时间窗口内的时空相关性。为了获得时间依赖性和空间依赖性，我们分别使用STCN和TA，以及PGCN和SA。然后使用Gate Fusion层将两者组合以获得STEC最终的输出。

传输注意力模块(TransATT)

为了融合长期周期性特征和短期时空依赖性并为下一个STEC层生成输入，引入了一个新的注意力机制模块，称为TransATT机制。

将长期特征通过线性变换得到Query矩阵，将短期特征通过线性变换得到Key矩阵和Value矩阵；
对Query矩阵和Key矩阵进行离散傅里叶变换，将其映射到频域；
在频域计算注意力分数矩阵；
将注意力分数矩阵与Value矩阵相乘，得到频域上的上下文特征；
对频域上下文特征进行逆离散傅里叶变换，将其映射回时域；
将时域上下文特征通过残差连接和层归一化，得到最终的融合特征。

通过以上步骤，TransATT利用频域注意力机制实现了长短期特征的交互融合。频域上的注意力计算能够捕捉不同频率成分之间的依赖关系，有助于挖掘长短期特征的潜在关联。同时，通过残差连接和层归一化，TransATT能够有效地集成不同层次的特征信息，提升特征表示的质量。

STHTNN模型

STHTNN的整体架构如图所示。STHTNN使用层次结构进行预测，从原始时间序列中提取长期周期性特征和短期时空依赖性。

考虑到时空图的隐含周期性，首先将原始序列分解为周期性初始数据和趋势性初始数据。
然后通过PFEC逐渐提取长期周期特征。为了模拟各种动态站点关系，包括空间距离、时间模式和功能相似性，该模型使用SDGM生成动态模式图。
STEC然后协助提取短期的时空依赖性，通过利用所生成的动态模式图。
在获得一层的短期时空依赖性和长期周期性特征后，TransATT自适应地从两个特征中选择相关信息进行融合和交互。
最后，一系列CNN和线性层用于最终回归，其应用降维以获得最终预测结果。

研究实验

数据集

本研究以北京、天津和重庆三个城市为研究对象，分别位于中国的北方、中部和西南部。

（1）北京数据集是一个公开可用的数据集，涵盖了中国北京市，从2018年1月1日到2021年1月1日，总共跨越了26280个时间步长。它包括来自34个观测站的数据，将70%的数据分配为训练集，20%作为测试集，其余部分作为验证集。

（2）天津数据集包括来自中国天津市内27个站点的每小时连续采样数据。该数据集的时间范围为2014年5月1日至2015年5月1日，共计8760个时间步长，将数据集分为80%用于训练，10%用于测试，10%用于验证。

（3）重庆数据集是一个新收集的数据集，涵盖了中国重庆市，从2021年1月1日到2023年1月1日，共跨越17520个时间步长，它包括来自28个观测站的数据。

评估指标

本文采用MAE、均方根误差（RMSE）和平均绝对百分比误差（MAPE）与基线进行比较。基线模型包括LSTM 、TCN 、CNN-LSTM、STGCN 、GeoMAN、Graph Wavenet、ASTGCN 、STSGCN 、AGCRN 。

结果分析

一、性能分析实验

在三个数据集上比较了所提出的STHTNN与基线模型的性能，。STHTNN在单步和多步预测方面始终优于相应的基线模型，在三个数据集上，STHTNN的MAE性能平均提高了7.81%、9.45%和8.12%。

首先，STHTNN采用动态模式图来灵活地提取不同的场景模式，结合预定义的图来保留部分先验知识，同时编码增强的空间相关性，有效地解决了像CQ-2021数据集这样的稀疏站点的场景。其次，PFEC模块的引入使STHTNN能够通过趋势分解和傅立叶变换有效地捕捉时间序列的长期影响。最后，采用分层结构，使STHTNN融合长期趋势和短期的依赖关系，使用transATT，从而在长期和短期预测方案的上级预测性能。

二、消融实验：验证了所提出的机制和模块的有效性

通过在三个数据集上比较STHTNN与STHTNN的四种变体来进行消融实验，以了解不同组件如何影响STHTNN的性能。分别删除PFEC模块、SDGM模块、STEC模块，TransATT模块。

通过比较所有数据集的不同图形配置来进行消融实验，以了解不同图形配置如何影响模型的性能。这四种变体为：消除了基于纬度和经度构建的空间模式图。消除了从DTW距离导出的时间模式图。消除了使用POI数据构建的功能模式图。省略Mask矩阵被，生成的SDG图直接添加到预定义的图中。本实验证明了多模式图可以有效地模拟各种站间关系，并有助于捕获空间特征。

实验表明:
1. SDGM通过融合动态场景信息，相比固定图更能刻画监测站间动态相关性，使预测性能获得提升。
2. PFEC能有效捕获长期周期特征，揭示空气质量时间序列的周期演变模式。
3. TransATT通过频域注意力实现长短期特征交互，使模型预测能力进一步增强。
4. STHTNN整体框架通过对比实验证明了分层建模的优越性，长短期分别建模再交互的策略比单一时空建模更有效。

结论

本文提出了一种新颖的时空分层传输神经网络STHTNN。用于区域级别的空气质量预测。该模型采用分层框架。引入周期特征提取和时空依赖提取分别建模长短期时空演变模式。并设计频域传输注意力实现不同粒度特征交互。同时还通过场景动态图灵活刻。从时空数据挖掘的角度来看，该文献的研究具有以下几点启示：

时空数据蕴含着丰富的时间模式，如周期性、趋势性等，挖掘这些模式有助于揭示事物的演变规律。本文通过序列分解和频域变换专门提取周期特征,为时空预测任务提供了新的思路。
现实场景中事物之间往往存在多种关联，大多数研究依赖固定的关联图，缺乏对动态关联和多样化关联的考虑。本文通过场景动态图既融入了基于节点特征的动态性，又兼顾了基于多种因素的异构性，使关联建模更加全面和灵活。
对于长期预测任务而言，目标变量受长期因素和短期因素的双重影响。传统方法往往对两类因素没有区分对待，本文通过分层建模和特征交互，实现了长短期影响的解耦和融合，提升了预测的精准性。
传统深度学习模型大多基于时域建模，忽视了频域信息的作用。本文创新性地将频域变换融入注意力机制，通过频域传递实现跨层次特征交互，拓宽了时空表征学习的思路。