【时间序列】TimeMixer (ICLR2024)
原文链接：TIMEMIXER: DECOMPOSABLE MULTISCALE MIXING
FOR TIME SERIES FORECASTING
代码仓库：https://github.com/kwuking/TimeMixer
符号定义
| 符号 | 含义 |
|---|---|
| P | 用于预测的历史序列长度（seq_len） |
| F | 预测序列长度(pred_len) |
| C | 变量数量（通道数量） |
| M | 划分的尺度数（降采样次数） |
| L | Past Decomposable Mixing的层数 |
Multiscale Mixing Architecture
设输入序列为
X
∈
R
P
∗
C
X\isin R^{P*C}
X∈RP∗C，为获得不同尺度下的时间序列，对原序列进行降采样：
X
m
∈
R
⌊
P
2
m
⌋
∗
C
,
m
∈
{
0
,
1
,
.
.
.
,
M
}
.
X_m \isin R^{\lfloor \frac{P}{2^m} \rfloor * C}, m\isin \{0, 1,..., M\}.
Xm∈R⌊2mP⌋∗C,m∈{0,1,...,M}.
简单来说第 2 m 2^m 2m层降采样，就是每隔 2 m 2^m 2m个点取一个点
然后对m层降采样的结果分别进行嵌入(Embed)，得到多尺度的时间序列输入。
Past Decomposable Mixing
PDM模块一共有L层，每层的输入为前一层的结果：
X
L
=
P
D
M
(
X
L
−
1
)
,
l
∈
{
0
,
1
,
.
.
.
,
L
}
.
\mathcal{X}^L = PDM(\mathcal{X}^{L-1}), l\isin\{0, 1,..., L\}.
XL=PDM(XL−1),l∈{0,1,...,L}.
其中，
X
l
=
{
X
0
l
,
X
1
l
,
.
.
.
,
X
M
l
}
,
X
m
l
∈
R
⌊
P
2
m
⌋
∗
d
m
o
d
e
l
\mathcal{X}^l = \{X^l_0, X^l_1,...,X_M^l\}, X_m^l \isin R^{\lfloor \frac{P}{2^m} \rfloor * d_{model}}
Xl={X0l,X1l,...,XMl},Xml∈R⌊2mP⌋∗dmodel
简单来说，就是将降采样得到的M层多尺度时间序列，在PDM模块中迭代L次。
PDM 模块中首先有一个Decmpose操作，将时间序列分解成周期项(seasonal parts)
S
l
=
{
s
0
l
,
s
1
l
,
.
.
.
,
s
M
l
}
\mathcal{S}^l=\{s_0^l, s_1^l,...,s_M^l\}
Sl={s0l,s1l,...,sMl}和趋势项(trend parts)
T
l
=
{
t
0
l
,
t
1
l
,
.
.
.
t
M
l
}
\mathcal{T}^l = \{t_0^l,t_1^l,...t_M^l\}
Tl={t0l,t1l,...tMl}。分解方法采用Autoformer中提出的SeriesDecomp方法。
s
m
l
,
t
m
l
=
S
e
r
i
e
s
D
e
c
o
m
p
(
x
m
l
)
,
m
∈
{
0
,
1
,
.
.
.
,
M
}
.
s_m^l, t_m^l = SeriesDecomp(x_m^l), m\isin \{0, 1, ..., M\}.
sml,tml=SeriesDecomp(xml),m∈{0,1,...,M}.
分解后，分别进行Seasonal Mixing和Trend Mixing，每一层PDM模块的输出为：
X
l
=
X
l
−
1
+
F
e
e
d
F
o
r
w
a
r
d
(
S
−
M
i
x
(
{
s
m
l
}
m
=
0
M
)
+
T
−
M
i
x
(
{
t
m
l
}
m
=
0
M
)
)
.
\mathcal{X}^l = \mathcal{X}^{l-1}+FeedForward(S-Mix(\{s_m^l\}_{m=0}^M)+T-Mix(\{t_m^l\}_{m=0}^M)).
Xl=Xl−1+FeedForward(S−Mix({sml}m=0M)+T−Mix({tml}m=0M)).
Seasonal Mixing & Trend Mixing
对于周期项（Seasonal Parts）和趋势项（Trend Parts）采用不同的合并策略。周期项采用自底向上：
f
o
r
m
:
1
→
M
d
o
:
s
m
l
=
s
m
l
+
B
o
t
t
o
m
−
U
p
−
M
i
x
i
n
g
(
s
m
−
1
l
)
.
for ~m: 1 \rightarrow M~do: s_m^l = s_m^l + Bottom-Up-Mixing(s_{m-1}^l) .
for m:1→M do:sml=sml+Bottom−Up−Mixing(sm−1l).
而对于趋势项，则是：
f
o
r
m
:
(
M
−
1
)
→
0
d
o
:
t
m
l
=
t
m
l
+
T
o
p
−
D
o
w
n
−
M
i
x
i
n
g
(
t
m
+
1
l
)
.
for ~m: (M-1) \rightarrow 0~do: t_m^l = t_m^l + Top-Down-Mixing(t_{m+1}^l) .
for m:(M−1)→0 do:tml=tml+Top−Down−Mixing(tm+1l).
其中Bottom-Up-Mixing和Top-Down-Mixing分别由两个线性全连接层组成，带有GELU激活函数。
这一步简单来说就是将不同尺度信息向上/下传递了一遍，周期信息是向上传递的，趋势信息是向下传递的。
选择两种方向的原因：根据后文消融实验测试出来的。
注意，进行合并的时候还是按照各个尺度分别计算的。
Future Multipredictor Mixing
利用第L层PDM的输出，计算预测结果：
Y
m
=
P
r
e
d
i
c
t
o
r
m
(
x
m
L
)
,
m
∈
{
0
,
1
,
.
.
.
,
M
}
,
Y
=
∑
m
=
0
M
Y
m
.
Y_m = Predictor_m(x_m^L), m\isin\{0, 1, ..., M\}, Y = \sum_{m=0}^{M}Y_m.
Ym=Predictorm(xmL),m∈{0,1,...,M},Y=m=0∑MYm.
其中，
Y
m
∈
R
F
∗
C
Y_m \isin R^{F*C}
Ym∈RF∗C。
Predictor的本质是若干线性层， x m L ∈ R ⌊ P 2 m ⌋ ∗ d m o d e l x_m^L\isin R^{\lfloor \frac{P}{2^m} \rfloor * d_{model}} xmL∈R⌊2mP⌋∗dmodel首先经过经过线性层由 ⌊ P 2 m ⌋ \lfloor \frac{P}{2^m} \rfloor ⌊2mP⌋拉成F，然后将 d m o d e l d_{model} dmodel拉成C。
实验
长序列预测
TimeMixer提供的实验结果显示，效果有提升，但是不多
但其实验设置与同类论文有区别，关于PatchTST、DLinear等模型的结果与相关论文不同。
附录中有完整版：
附录中还展示了一个参数搜索调优后的结果：
多变量预测
事实上，在PEMS数据集是路网数据，共有数百个传感器，每个传感器提供一个时间序列。有很多图+序列的模型在PEMS类数据集上做测试，如果加入与这些模型的比较将较为全面。
消融实验
此处只列举长序列预测相关的消融实验。更多消融实验见原文，但总体效果都是case 1表现最好
效率
作为线性模型，没有自注意力机制，空间和时间复杂度都比较低。
