顶会新宠！KAN-LSTM完美融合新方案

2024深度学习发论文&模型涨点之——KAN+LSTM

KAN-LSTM混合预测模型是一种结合了自注意力机制（KAN, Key-attention network）和长短时记忆网络（LSTM）的深度学习模型，主要用于序列数据的预测任务，如时间序列分析、自然语言处理等。

KAN-LSTM混合模型的优势在于，KAN提供了全局视角，而LSTM则专注于捕捉局部序列中的有用信息，两者的结合能够提升模型对序列数据的理解和预测能力。通过将KAN的输出作为LSTM的输入，模型能够更有效地整合全局上下文信息和局部细节，从而提高预测的准确性和可靠性。

因为KAN是新提出的模型，这个方向现在也不是很卷，是个很好的发文方向。

我整理了一些KAN+LSTM【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

Core Temperature Estimation of Lithium-Ion Batteries Using Long Short-Term Memory (LSTM) Network and Kolmogorov-Arnold Network (KAN)

利用长短期记忆（LSTM）网络和Kolmogorov-Arnold网络（KAN）估算锂离子电池的核心温度

方法

创新点

KAN网络的引入：通过KAN网络，能够在不需要物理表面温度传感器的情况下，准确预测电池的内部和表面温度，降低了电池管理系统（BMS）的成本和线路复杂性。
性能提升：实验验证显示KAN在估算核心温度时误差为0.5°C，计算成本为2.9ms至3.2ms，相较于传统方法在计算效率和准确性上都有显著提升。
适应性和准确性：KAN模型不仅能够适应操作条件的变化，保持电池整个生命周期内的准确性，而且计算成本保持在可接受的范围内，适合于车载BMS和基于云的数字孪生BMS使用。

论文2：

Deep state space recurrent neural networks for time series forecasting

深度状态空间递归神经网络用于时间序列预测

方法

创新点

论文3：

Model Comparisons: XNet Outperforms KAN

模型比较：XNet优于KAN

方法

XNet算法：探索了一种新型算法XNet，该算法采用复值柯西积分公式，提供了超越传统多层感知器（MLPs）和Kolmogorov-Arnold网络（KANs）的优越网络架构。
柯西激活函数：XNet利用柯西核作为基函数，与KAN使用的B样条基函数形成对比。

创新点

函数逼近能力提升：XNet在处理Heaviside步函数和复杂高维场景时展现出比KAN更优越的性能，尤其在局部数据段的逼近上，XNet的均方误差（MSE）比KAN小1000倍。
物理信息神经网络（PINN）中的优越性：在Poisson方程的基准测试中，XNet在物理信息神经网络（PINN）框架内的效率和准确性显著超过MLP和KAN。
时间序列预测的创新：通过在LSTM架构中用XNet替换传统的前馈神经网络（FNN），引入了XLSTM模型，在时间序列预测实验中，XLSTM在准确性和可靠性方面一致超越了传统的LSTM模型。

论文4：

TKAN: Temporal Kolmogorov-Arnold Networks

TKAN：时序Kolmogorov-Arnold网络

方法

时序Kolmogorov-Arnold网络（TKAN）：提出了一种新的神经网络架构，结合了Kolmogorov-Arnold网络（KAN）和长短期记忆网络（LSTM）。
循环Kolmogorov-Arnold网络（RKAN）层：在TKAN中嵌入了记忆管理，以保持短期记忆。
门控机制：通过门控机制管理信息流，决定哪些信息应该被保留或遗忘。
B-Spline曲线：使用B-Spline曲线作为1D函数的参数化表示，以学习KAN层中的激活函数。

创新点

结合KAN和LSTM：TKAN结合了KAN和LSTM的优点，提升了多步时间序列预测的准确性和效率，特别是在处理复杂序列模式方面。
RKAN层：通过在每个层中嵌入记忆管理，RKAN层能够存储与时间上下文相关的信息，并在处理过程中被网络访问，使网络能够显式学习和利用过去的信息。
性能提升：在多步预测任务中，TKAN相比于传统的LSTM和GRU模型表现出更好的性能，例如在15步预测中，TKAN的R-squared值比GRU高出至少25%，显示出在长期预测中的优势。
模型稳定性：TKAN在多次实验中显示出更好的稳定性，与GRU和LSTM相比，TKAN的性能变化较小，表明其在不同实验间的权重校准更为稳定。