时序论文30｜NIPS24一篇对时间戳深入研究的文章

论文标题：Frequency Adaptive Normalization For Non-stationary Time Series Forecasting

论文链接：https://arxiv.org/pdf/2409.18696

代码链接：https://github.com/ForestsKing/GLAFF

前言

这篇论文提出了一个新框架GLAFF，关注的重点是时序中的时间戳。

时间序列预测在诸多行业都有着关键作用，时间戳因含丰富季节性信息本可提供全局指导，但现有相关工作多聚焦局部观测，未充分利用时间戳，致使在现实世界数据受污染时，算法的稳健预测能力受影响。为此，作者提出名为GLAFF的新框架，它会对时间戳单独建模以捕捉全局依赖，并且能作为插件自适应调整全局和局部信息的组合权重，实现与各类时间序列预测主干网络的无缝协作。通过在九个真实世界数据集开展大量实验，证实GLAFF可显著提升主流预测模型平均性能达12.5%，还超越此前最先进方法5.5%。

本文工作

01 为什么时间戳重要

一句话概括就是：从现实世界收集的时间序列数据常常会受到污染，以旧金山湾区高速公路每小时交通流量为例（图 (b)），正常序列呈现明显周期模式，工作日有五个高峰、周末有两个低峰，但因节假日影响，某一周出现了偏差，变成三个高峰和四个低峰。主流预测模型在正常观测时通常有可靠预测能力，但当历史窗口内观测包含异常时（见图 1 (b) 的左下角图示），这些模型就会受到显著影响，预测结果明显偏低，所以有必要将更稳健的全局信息合理融入现有预测技术中。

02 时间戳利用不足

现有工作主要把时间戳当作可选补充，未充分利用它。像 DLinear、FPT 完全忽略时间戳，Informer、TimesNet 是将时间戳嵌入与位置嵌入及数据嵌入相加来纳入时间戳，这种方式让网络从更直观观测中提取信息；iTransformer 虽单独将时间戳特征嵌入到注意力机制所用的标记中，但跨时间点的这种嵌入方法破坏了时间戳的物理意义。作者通过在交通数据集上对上述模型进行消融研究（下图a），发现：移除时间戳后，模型的性能并没有显著下降，而提出的 GLAFF 框架却能显著提升主流预测模型的性能。

03 本文模型

本文提出了一个通用框架 GLAFF（全局 - 局部自适应融合框架），利用全局信息增强现实世界中时间序列预测模型的稳健预测能力。GLAFF 是一个可与任何时间序列预测主干网络无缝协作的即插即用框架，其插件整体架构如图 2 所示，包含三个主要组件，分别是基于注意力的映射器（Attention-based Mapper）、稳健反归一化器（Robust Denormalizer）和自适应组合器（Adaptive Combiner）。在主干网络基于历史观测值 X（可能包含未充分利用的历史时间戳 S 和未来时间戳 T）给出局部预测后，GLAFF 会利用全局信息对其进行修正。

GLAFF 首先使用基于注意力的映射器（Attention-based Mapper）对包含全局信息的时间戳进行单独建模，并将它们映射到符合标准分布的观测值上。接着，为应对滑动窗口观测中存在异常的情况，利用稳健反归一化器（Robust Denormalizer）对初始映射进行反归一化，减轻数据漂移的影响。最后，自适应组合器（Adaptive Combiner）动态调整预测窗口内全局映射和局部预测的组合权重，得出最终预测结果。通过融合全局信息的稳健性和局部信息的灵活性，GLAFF 能显著提升主流预测模型的稳健预测能力。此外，GLAFF 是一个与模型无关的即插即用框架，可与任何时间序列预测主干网络无缝协作。