动态图学习新突破！最新SOTA实现性能全面升级，效率与精度兼得

现实世界中的许多图数据是动态变化的，比如社交网络、交通流量等。而传统的图学习方法通常处理的是静态图，这就导致它缺乏处理动态变化的能力，在适应性方面存在局限性。

相较之下，动态图学习能够捕捉到图数据的动态变化，更适应需要实时更新或反馈的应用场景。这种更具灵活性的方法不仅提升了模型的精度和计算效率，增强了模型的适应性和易用性，也为处理更复杂的现实问题提供了新的思路，是我们做创新发论文的好方向。

本文介绍动态图学习9个最新的创新成果，包含了动态图神经网络、动态图表示学习等热门主题，相应论文以及开源代码已附上，方便各位学习。

论文和代码需要的同学看文末

On the Feasibility of Simple Transformer for Dynamic Graph Modeling（动态图建模）

方法：论文提出了一种称为SimpleDyG的简单Transformer模型，利用Transformer的自注意机制来处理序列建模中的长程依赖。该方法将动态图重新概念化为序列建模的挑战，并引入了一种新颖的时间对齐技术。

创新点：

SimpleDyG是一种新颖的动态图建模方法，通过将动态图重新构建为序列建模的问题来解决。它通过使用Transformer的自注意机制来捕捉长期依赖性，从而不仅优于离散时间方法，还优于连续时间方法。
SimpleDyG设计了特殊的时间标记来实现全局时间对齐，并保留了本地序列中交互的时间顺序，从而在全局和本地层面上捕捉动态图中的信息。这种时间对齐机制在全局对齐的同时，保留了本地序列的时间信息，与传统的离散时间方法不同。
SimpleDyG使用原始的Transformer架构，不需要复杂的修改，将动态图映射为一组序列进行建模，并通过修改输入序列来实现时间对齐。尽管设计简单，但SimpleDyG在各种动态图中表现出了出色的性能。

Environment-Aware Dynamic Graph Learning for Out-of-Distribution Generalization（动态图神经网络）

方法：论文研究了动态图上的分布偏移下的OOD泛化问题，并提出了一种名为EAGLE的新框架来解决这一问题。EAGLE通过建模复杂的潜在环境并利用时空不变模式来实现OOD泛化。首先通过多通道环境分解的环境感知EA-DGNN来建模环境，然后利用推断的环境分布进行环境实例化以实现环境多样化，最后通过不变模式识别机制学习OOD泛化的时空不变模式，并通过混合观测到的和生成的环境实例进行细粒度的因果干预。

创新点：

EAGLE是一种针对动态图的out-of-distribution（OOD）泛化问题的创新框架。
EAGLE通过建模复杂的环境和利用时空不变模式来处理OOD泛化问题。
EAGLE设计了环境感知的EA-DGNN来建模环境，并通过多通道环境解缠机制实现环境的多样性。
EAGLE通过时空不变模式识别机制识别出时空不变模式，并通过节点精细因果干预实现精细的因果干预。

Towards Better Dynamic Graph Learning: New Architecture and Unified Librar

方法：论文提出了一种基于Transformer的动态图学习架构（DyGFormer）和一个统一的库（DyGLib），以促进动态图学习的发展。DyGFormer通过邻居共现编码方案和补丁技术来捕捉节点之间的关联和长期时序依赖。DyGLib作为一个工具包，提供了可复现、可扩展的连续时间动态图学习的训练流程、编程接口和评估协议。

创新点：

DyGFormer架构：通过邻居共现编码方案和拼接技术，与以往方法不同，该架构在每次交互中利用节点之间的相关性，并帮助模型捕捉长期的时间依赖关系。
DyGLib库：作为一个统一的工具库，用于可重现、可扩展和可靠的连续时间动态图学习，具有标准的训练流程、易于扩展的编码接口和全面的评估协议。这个库为研究人员提供了设计新的动态图学习框架的新视角，并鼓励更多的研究人员深入研究这一领域。

Scaling Up Dynamic Graph Representation Learning via Spiking Neural Networks（动态图表示学习）

方法：论文研究了动态图表示学习和脉冲神经网络的背景和相关工作。通过一系列实验，分析了SpikeNet中不同超参数的影响，发现阈值衰减策略对模型性能有益。研究还介绍了问题定义和漏电整流-发射模型。在动态图表示学习方面，提出了基于图快照的时间邻域采样方法，可以从宏观和微观角度捕捉图动态。最后，介绍了SpikeNet框架，可以捕捉时间图中的演化动态，并获得节点嵌入用于下游学习。

创新点：

LIF作为时间架构：作者建议使用尖峰神经网络作为时间架构，以捕捉图序列中的动态模式。作者引入了一种神经元阈值的自适应更新策略，允许进行灵活且富有表现力的计算。与之前的工作相比，这种方法提高了模型的灵活性和表现力。
阈值衰减τ th和γ：作者采用了LIF模型的阈值衰减策略来稳定训练。通过改变τ th和γ的值，作者证明了同时减小τ th和增加γ可以提高SpikeNet的性能。结果表明，阈值衰减策略对模型的性能有益。