论文学习记录之《CLR-VMB》

一、基本介绍

二、介绍

三、方法

3.1 FWI中的数据驱动方法

3.2 CLR-VMB理论

3.3 注意力块

四、网络结构

4.1 网络架构

4.2 损失函数

五、实验

5.1 数据准备

5.2 实验设置

5.3 训练和测试

5.4 定量分析

5.5 CLR方案的有效性

5.6 鲁棒性

5.7 泛化性

六、讨论

6.1 观测设置

6.2 计算成本

6.3 未来工作

七、结论

一、基本介绍

标题：《Cyclic Learning Rate U-Shaped ResNet Embedded With Dual Attentions for Velocity Model Building》

作者：Chaobo Zhu, Zhiguo Wang, Feipeng Li, Huai Zhang, Jinghuai Gao

期刊：IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing（开源期刊）

时间：Received 26 March 2024; revised 30 June 2024, 20 September 2024, and 12 October 2024; accepted 15 November 2024. Date of publication 18 November 2024; date of current version 6 December 2024

摘要：数据驱动的全波形反演在地下速度估计方面显示出巨大的潜力，但其准确性往往受到局部最小值敏感性和地震数据固有特性的阻碍。地震炮点道集通常在数据和速度模型之间表现出微弱的空间相关性，由于反射事件的稀疏性而变得更加复杂。本研究提出了一种循环学习率-速度模型构建（CLR-VMB）框架，该框架结合了一个U形残差网络（ResNet）和双注意力机制（DA-ResNet）来应对这些挑战。与传统的单网络方法不同，CLR-VMB利用了在循环学习速率调度期间获得的网络的多个快照。这使得该框架能够整合来自不同快照的补充信息，而无需额外的训练成本。DA-ResNet架构利用注意力机制来提取交叉道集关系，并从地震炮点道集中捕获关键的空间信息。然后使用编码器-解码器结构从处理后的记录中估计速度。在各种分层模型和SEG/EAGE盐模型上进行的数值实验表明，与基于UNet的方法和物理引导的混合方法相比，CLR-VMB有效地减轻了局部最小值，增强了噪声抑制，并表现出优异的泛化能力。通过智能地解释固有的地震数据特征，本研究的循环学习和基于注意力的框架为有效的数据驱动地下速度构建方法铺平了道路。

关键词：协调注意力、循环学习率速度模型构建、高效通道注意力、全波形反演、残差网络、快照集合

二、介绍

全波形反演（FWI）是一种强大的技术，可以从地震波形数据中估计高分辨率的地下物理性质，用于油气勘探。它迭代地最小化了基于广义最小二乘准则的观测和合成地震记录之间的差异，从而能够检索到非常详细的速度模型[1]。然而，传统的FWI是一个高度非线性和不适定的逆问题，它遇到了重大的挑战，如周期跳跃和巨大的计算需求[2]。近年来，为了缓解周期跳跃问题，人们提出了许多研究工作，并取得了令人鼓舞的结果。典型的方法包括基于凸目标函数的反演[3]、[4]、有限差分对比源反演[5]、基于最优输运的反演[6]、[7]、基于包络的反演[8]、[9]、[10]、自适应波形反演[11]、多尺度波形反演[12]、[13]、扩展玻恩建模反演[14]、[15]、波场重建反演[16]、[17]和基于先验信息的反演[18]、[19]。然而，这些方法的主要障碍之一是计算成本高，限制了其更广泛的应用。

最近，深度学习（DL）已经成为解决不适定和计算昂贵的FWI的一种有前景的技术。基于DL的方法集成了深度神经网络来解决FWI挑战，在地球物理调查中得到了广泛的探索。它倾向于学习从地震数据到基于预先指定的网络架构的速度模型的非线性映射。到目前为止，已经提出了许多使用基于DL的框架来解决FWI的工作[20]，[21]，[22]，[23]，[24]。值得注意的是，虽然一些基于物理学的速度估计DL方法旨在解决由波前问题衍生的逆问题[25]、[26]、[27]、[28]，但其他数据驱动方法侧重于学习从地震数据到速度模型的直接映射。这些方法更像是速度模型构建（VMB）工具，而不是严格的数学反演。得益于深度神经网络的非线性拟合能力，基于DL的方法能够准确有效地重建地下速度模型。然而，基于DL的反演仍然有收敛到局部最小值的风险。此外，由于一种流行的学习策略的局限性，该策略从较小的初始学习率开始，并在训练过程中衰减[24]、[28]、[29]、[30]，现有的基于DL的方法无法探索解空间中的不同局部最小值。更具体地说，它们只能沿着单一优化路径收敛到局部最小值，从而导致不稳定的单一网络依赖。因此，基于DL的方法一旦陷入糟糕的局部最小值，就会产生较差的反演结果。

如许多研究[31]、[32]所示，单周期学习率策略可以帮助目标函数寻求更好的最小值。此外，已知循环学习率（CLR）调度可以有效地缓解局部最小值挑战，包括自循环调度[33]、自适应调度[34]和余弦调度[35]、[36]。CLR调度允许在整个模型训练过程中循环减少和增加学习率。这种循环行为的本质是，提高学习率最初可能会导致短期的负面后果，但最终会在模型训练过程中产生长期的有益效果。这可以有效地提高模型的收敛性，并消除识别最佳学习率值的需要。此外，这种循环行为允许深度神经网络在每次退火后避开当前的局部最小值并收敛到更好的解。因此，CLR调度可以有效地指导在用于FWI或VMB的DL框架内探索不同的局部最小值。

除了局部最小值外，由于测量几何的限制，重建速度图像的质量还受到重建数据的两个固有约束的影响。首先，地震单炮道集与相关速度模型之间的空间相关性相对较弱。更具体地说，速度模型中的地质界面可能不对应于单炮道集上反射波的存在。不同的炮点道集和相应的模型表现出明显的空间相关性，这可以归因于震源位置的差异。因此，预计不同炮点道集的贡献将不相等，更强的相关性有助于更有效的模型重建。其次，地震反射数据在空间上是稀疏的。这表明，为了反演速度模型，从整个波形数据中捕获空间位置信息至关重要。空间信息可以加强稀疏反射与其相应界面的联系，从而促进边界信息的提取。

毫无疑问，这些数据约束带来了重大挑战，尤其是数据驱动的深度学习方法。注意机制通过捕捉空间相关性和强调重要特征来帮助解决这两个局限性，正如许多地球物理问题[37]、[38]、[39]、[40]、[41]所证明的那样。为了减轻弱空间数据模型相关性，我们采用有效通道注意力（ECA）[42]来强调地震数据的炮点特定信息。ECA通过考虑每个单独的镜头集及其邻居来捕捉局部跨通道交互。与注意力块[43]、[44]不同，ECA可以有效避免降维对信道注意力预测的副作用。为了解决稀疏性问题，引入了坐标注意力（CA）[45]来编码地震记录中的位置信息。CA可以有效地从波形数据中捕获方向感知和位置敏感信息。这有助于更精确地定位和识别感兴趣的对象。此外，通过整合水平和垂直信息，CA块可以充分利用全波场数据，同时有效抑制噪声[46]。ECA和CA共同帮助克服固有的数据限制，实现有效的基于DL的VMB。

为了应对这些挑战，我们提出了一种循环学习率VMB（CLR-VMB）方法，该方法使用嵌入双注意力机制的U形残差网络（DA-ResNet）。CLR-VMB旨在以监督的方式学习反演算子。然而，与目前仅限于单个最小值的端到端方法不同，我们的CLR-VMB在训练过程中能够收敛到多个局部最小值。由此产生的网络快照提供了不同的结构信息来重建速度模型，避免了对单一解决方案的依赖。

此外，我们实现了Huang等人[36]中的快照集成，以充分利用这些多种解决方案。该集成聚合了来自网络快照的预测，与单个解决方案相比，提高了泛化能力和鲁棒性。CLR调度和快照集成通过逃逸局部最小值和融合不同的反演解，实现了稳健的速度模型恢复。DA ResNet中的注意力机制有助于解决所讨论的固有数据限制。

总体而言，我们提出的CLR-VMB框架缓解了局部最小值问题，同时克服了固有的数据约束，实现了准确的VMB。综上所述，本研究的主要贡献如下：

1）我们提出了一种循环学习地震反演方法，从原始地震图中实现速度模型估计，使不同结构信息能够收敛到多个局部最小值。

2）我们设计了一个DA-ResNet，其中ECA用于从地震记录中捕获通道信息，CA用于对波形数据的位置信息进行编码。双重注意力机制有助于克服固有的数据局限性。

3）实现快照集成以聚合来自循环学习的网络快照的预测。这提高了模型的泛化能力和鲁棒性，而无需额外的计算。

本文的其余部分组织如下。首先，第二节详细介绍了拟议的CLR-VMB方法和两种注意力机制。然后在第三节中提供了DA-ResNet架构和损耗函数。在第四节中，提供了实验数据和结果来证明我们方法的有效性。最后，第五节和第六节分别给出了讨论和结论。

三、方法

3.1 FWI中的数据驱动方法

在声介质的假设下，压力波场 $u(\mathbf{r},t)$ 满足波动方程，表示为：

$\frac{1}{v^{2}(\mathbf{r})} \frac{\partial^{2}u(\mathbf{r},t)}{\partial t^2} = \bigtriangledown ^{2}u(\mathbf{r},t) + s(\mathbf{r},t)$ （1）

其中， $v(\mathbf{r})$ 代表在空间位置为 $\mathbf{r} = (x,z)$ 、时间为 $t$ 处的速度， $\bigtriangledown ^2$ 表示拉普拉斯算子， $s(\mathbf{r},t)$ 表示源项。

公式（1）中正向问题的非线性映射可以由下式表示：

$\mathbf{d} = f(\mathbf{v})$ （2）

其中， $\mathbf{v}$ 表示速度模型的真实值， $\mathbf{d}$ 表示相应的地震数据。 $f$ 表示从速度模型到地震记录的映射函数，也称为正向建模算子。本研究采用时域交错网格有限差分格式求解公式（1）中的声波方程。我们通过采样地震反射波来重建地下速度结构，从而获得观测记录。

与传统的FWI不同，在这项研究中，数据驱动框架学习了一个非线性算子 $f^{-1}$ ，该算子将地震观测直接映射到地下速度模型。这种方法有效起到了VMB工具的作用，而不是严格的数学反演。地震数据由不同震源激发产生的多炮道集组成，并在通过地下传播后由地震接收器阵列记录。因此，这种数据驱动的方法可以表述为：

$\hat{\mathbf{v}} = \Gamma ([d_1, d_2, ... , d_s]; \theta )$ （3）

其中， $\Gamma$ 表示神经网络， $\hat{\mathbf{v}}$ 表示网络 $\Gamma$ 估计的速度， $\theta$ 表示网络内的所有可学习参数。 $d_i$ 表示单次采集，包括第 $i$ 个震源的所有接收器记录的地震信号， $S$ 是震源的数量。数据驱动方法因其高计算效率而被广泛使用，因为它可以使用训练有素的深度神经网络从地震数据中直接推断速度模型。一旦网络在特定数据集上经过适当训练，它就可以作为一个高效的数据驱动引擎，直接从新的地震记录中反演速度图像，而不需要迭代模型更新。这使得数据驱动方法非常有吸引力，因为它有可能以传统方法的一小部分计算成本生成高分辨率的速度模型。

3.2 CLR-VMB理论

CLR-VMB通过循环更新学习率来训练设计的卷积神经网络，以促进沿不同优化轨迹收敛到不同的局部最小值。为了实现这种循环学习行为，我们采用CLR计划在训练期间更新网络参数。CLR时间表可表述为[35]，[36]。

$\eta (\tau) = \frac{\eta_{max}}{2}(1+cos(\frac{\pi \mod (\tau -1,\left \lceil T/M \right \rceil )}{\left \lceil T/M \right \rceil}))$ （4）

其中， $\eta _{max}$ 是最大学习率， $\tau$ 是迭代次数， $T/M$ 表示学习率更新周期，而 $M$ 表示所提出的方法将收敛到多少个局部最小值。在这里，我们在每次迭代而不是每个历元调整学习率。为了获得局部最优解，我们将学习率从 $\eta _{max}$ 降低到 $\eta_{min}$ ，并利用公式（4）中的公式训练网络。 $\eta _{min}$ 表示训练过程中每个学习周期达到的最小学习率，可以计算为：

$\eta _{min} = \frac{\eta _{max}}{2} (1-cos(\frac{\pi}{\left \lceil T/M \right \rceil}))$ （5）

重新启动学习率循环，以摆脱当前的最小值并开始后续的训练。通过反复重启学习率循环，网络能够探索不同的局部最小值，而不是陷入单一的解决方案。循环训练能够避开次优局部最小值，并继续优化以找到更好的最小化值。

在基于DL的FWI中，避免局部最小值需要以足够高的学习率训练神经网络。然而，基于公式（4），在每次迭代后积极更新学习率可能会导致反演的误差损失和发散急剧下降。为了缓解这种情况，我们实施了延迟学习率计划。具体来说，网络首先以较小的固定学习率进行训练，以接近局部最小值。只有在此后，CLR计划才会被应用于定期更新学习率。这可以防止训练过程中失误损失的不稳定峰值或下降。网络首先稳定地接近局部最小值，然后CLR允许避免局部最小值以探索解决方案空间的其他部分。这种延迟的CLR调度可以避免糟糕的局部最小值，并继续寻找更好的解决方案。因此，在我们的CLR-VMB方法中，学习率时间表示如下：

$\hat{\eta} (\tau) = \left\{\begin{matrix} \eta_{0}, \text{if } 0 < \tau \leq T_0 \\ {\eta} (\tau), \text{if } T_0 < \tau \leq T \end{matrix}\right.$ （6）

其中， $\eta _0$ 是初始学习率， $T_0$ 表示学习率为 $\eta _0$ 的初始迭代次数。

通过在训练过程中应用公式（6）中的CLR公式，提出的CLR-VMB可以收敛到多个局部最小值解。每个局部最小值对应网络的不同快照，可以单独用于近似反演算子 $f^{-1}$ 。这些不同的快照提供了不同的速度模型估计，捕捉了互补的地质结构。为了结合各种局部最小值解决方案的优势，我们利用快照集合[36]，它可以聚合来自不同网络快照的预测。快照集成非常适合计算昂贵的FWI，因为它只需要训练一次单个网络，而不需要在CLR时间表之外增加任何额外的计算成本。通过整合来自不同局部最小值的网络快照，我们可以改进任何单个局部解，以便从地震数据中重建速度模型。

与单个网络相比，将多个神经网络整合在一起可以产生更稳健和准确的结果[36]，[47]，[48]。假设我们从循环训练中选择 $M_0(M_0 \leq M)$ 网络快照，每个快照对应一个不同的局部最小值。然后，通过将 $M_0$ 个选定的网络快照组合在一起，得到CLR-VMB的速度模型预测，由下式给出：

$\hat{\mathbf{v}} = \sum_{i=1}^{M_0} \alpha _{i} \Gamma (\mathbf{d}; \theta _{i})$ （7）

其中， $\alpha_i$ 表示与网络快照 $\alpha _{i} \Gamma (\mathbf{d}; \theta _{i})$ 对应的权重，满足 $\sum_{i=1}^{M_0} \alpha _{i} = 1$ 。在所提出的方法中，集成权重 $\alpha_i$ 是基于每个快照在验证集上的性能来确定的，而不是简单的平均值。这允许对快照进行加权，使其与重建精确速度模型的重要性成正比。实现较低验证误差的快照被分配了较大的集成权重 $\alpha_i$ ，强调了它们对最终速度模型预测的更大贡献。通过根据验证性能对快照进行加权，我们确保集成更加关注循环训练期间发现的最准确的局部最小值解。

3.3 注意力块

在速度反演中，反射波对于恢复地质界面至关重要。然而，正如引言中所指出的，反射数据的两个固有局限性会显著影响反演质量——弱的空间数据模型相关性和反射的稀疏性。为了应对这些挑战，我们在我们的框架中引入了两种注意力机制。ECA从地震数据中捕获通道信息，以强调地震炮和速度模型之间的空间相关性。CA对空间位置信息进行编码，以加强稀疏反射与其相应界面的联系。通过结合这些注意力机制来编码通道和位置信息，我们的目标是改进具有弱空间数据模型相关性和稀疏反射的地震数据的速度反演。

图1 ECA块。 $H$ 和 $W$ 分别表示输入X的高度和宽度， $C$ 是通道数。 $X_1$ 表示ECA块的输出，GAP表示全局平均池化。

1）高效通道注意力：图1显示了ECA块的结构。首先，ECA执行信道全局平均池化，对输入 $X$ 的每个信道进行编码，可以公式化为：

$z_c = \frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} x_c(i,j)$ （8）

其中 $z_c$ 是 $c\text{th}$ 信道的输出。然后，基于信道维度的映射自适应地确定卷积核大小，设计了一个1-D卷积和一个sigmoid函数来捕捉跨信道交互。sigmoid函数旨在激活卷积层的输出并将其归一化为（0,1），作为不同通道的权重，写为：

$\omega = \sigma (C_{1D} (\mathbf{z}))$ （9）

其中， $\sigma$ 是sigmoid函数， $C_{1D}$ 表示1- $D$ 卷积变换。最终，通过将输入特征和权重向量ω相乘来获得输出特征，公式为：

$X_1 = X \cdot \omega$ （10）

其中， $X_1$ 表示ECA块的输出。

ECA是一种通道注意力机制，可用于学习不同道集的注意力权重。此外，它能够隐式地为来自不同震源的镜头分配不同的权重。该机制通过跨通道交互增强了弱数据模型相关性的镜头。因此，可以将特定于通道的信息合并到地震图中，并根据其相关性对每个通道进行加权。这可以有效地提高速度模型的重建质量。因此，公式（3）的修正公式可以表示为：

$\hat{\mathbf{v}} = \Gamma _1([\omega_1D_1, \omega_2D_2, ..., \omega_sD_s];\theta)$ （11）

其中， $\Gamma _1$ 表示网络 $\Gamma$ 或其子网络， $D_i$ 表示道集 $D_i$ 或卷积和其他操作后获得的相应特征图。 $\omega _i \in \mathbb{R}$ 是第 $i$ 个通道的权重，表示相关炮点道集和速度在空间上的相关性。

图2 CA块。 $X_2$ 表示CA块的输出。“X AAvg Pool”表示沿水平坐标的AdaptiveAvgPool操作，“Y AAvg Pool“沿垂直坐标。r表示用于降低模型复杂度的缩减率。CA是一种空间注意机制，通过对地震数据的位置信息进行编码来减轻反射的稀疏性。

2）坐标注意：如图2所示，CA首先利用两个AdaptiveAvgPool层分别沿水平和垂直方向聚合输入X，从而产生：

$z_{c}^h(h) = \frac{1}{W} \sum_{j=1}^{W} x_c(h,j)$ （12）

$z_{c}^w(w) = \frac{1}{H} \sum_{i=1}^{H} x_c(i,w)$ （13）

其中， $z_c^{h}$ 和 $z_c^{w}$ 分别是 $c\text{th}$ 信道在高度 $h$ 和宽度 $w$ 处的输出。在将两个聚合的特征图连接起来后，应用1×1卷积 $C_1$ 来生成中间特征图 $\mathbf{f}$ ，写为：

$\mathbf{f} = PReLU(C_1([\mathbf{z}^h,\mathbf{z}^w]))$ （14）

其中， $[·,·]$ 表示级联操作。请注意，我们已将CA块中的原始激活函数替换为参数校正线性单元（PReLU）。然后， $\mathbf{f}$ 被分成两个单独的张量（ $\mathbf{f}^{h}$ 和 $\mathbf{f}^{w}$ ），它们被进一步编码成两个具有嵌入方向特定信息的注意力图。最后，这两个图被用作注意力权重，并组合在一起生成增强特征图，强调兴趣的表示。简而言之，计算过程可以表述如下：

$\mathbf{g}^h = \sigma (C_h(\mathbf{f}^h))$ （15）

$\mathbf{g}^w = \sigma (C_w(\mathbf{f}^w))$ （16）

$(x_2)_c(i,j) = x_c(i,j) \times \mathbf{g}_c^h (i) \times \mathbf{g}_c^w(j)$ （17）

其中， $C_h$ 和 $C_w$ 分别表示沿水平和垂直方向的 $1\times1$ 卷积。 $(x_2)_c$ 是第 $c\text{th}$ 通道中CA块的输出。

反射记录的稀疏性使其位置信息变得有价值和重要，因为空间位置信息在一定程度上有效地揭示了速度模型的地质界面。CA可以从地震记录中提取空间信息，并利用嵌入位置信息的数据来改进模型重建。此外，它通过有效地整合两个方向的空间信息，充分利用了全波场数据。特别是，位置信息的嵌入有效地避免了速度模型重建对稀疏反射的依赖。因此，（3）中的表达式也可以改写为：

$\hat{\mathbf{v}} = \Gamma _2([\Omega_1\odot D_1,\Omega_2\odot D_2,...,\Omega_s\odot D_s];\theta)$ （18）

其中 $\Gamma _2$ 是指网络 $\Gamma$ 或其子网络， $\Omega _i$ 是一个与单炮道集维数相同的权重矩阵， $\bigodot$ 表示矩阵的Hadamard product。通过结合位置信息，CA（一种空间注意力机制）缓解了地震数据的稀疏性问题。

四、网络结构

4.1 网络架构

受先前关于残差网络[49]和注意力机制[42]、[45]的工作的启发，我们将DA-ResNet设计为速度模型重建的工具。DA-ResNet由编码器、解码器和两个注意力块组成。编码器以原始地震记录为输入，通过卷积运算提取高级特征。然后，解码器逐渐恢复这些特征，以与地下速度结构对齐。结合ECA和CA使网络能够捕获地震数据中的通道和位置信息。这使得DA-ResNet能够专注于数据中信息量最大的方面。图3提供了用于速度反演的拟议DA-ResNet架构的概述。

图3 提出的DA-ResNet架构。DA-ResNet是一个U形残差网络，具有特定的编码器-解码器框架，用于从输入地震记录中检索高分辨率速度模型。嵌入式通道注意力ECA能够提取交叉聚集关系，而CA块通过将位置信息合并到波形数据中，加强了稀疏反射与相应接口的联系。

该编码器主要由一个初始卷积和三个残差块组成，用于从地震数据中提取特征。如图4（a）所示，初始卷积是一个具有两个3×3卷积层的普通块，每个卷积层后面都有一个批归一化（BN）和对提取的特征图的PReLU激活。每个残差块包含一个3×3卷积层和一个具有两个3×2卷积层的残差单元[见图4（b）]。为了避免每次卷积后图像分辨率的降低，必须使用零填充。最大池化层用于减小特征维度并对卷积层的输出进行降采样。在编码器之后，一个额外的普通卷积块重新定义了潜在空间特征。

图4 DA-ResNet中（a）普通卷积块和（b）残差卷积块的结构。“Y1”表示普通卷积块的输出，“Y2”表示残差卷积块的输出来。在这两个块中，每个卷积层都使用3×3的核来执行，填充大小为1，步幅为1。

非线性激活函数PReLU可以公式化为：

$PReLU(x) = \left\{\begin{matrix} x, \text{if }x> 0; \\ \beta_ix, \text{if }x\leq 0; \end{matrix}\right.$ （19）

其中 $\beta _i$ 是第 $i \text{th}$ 个通道的可学习参数。与ReLU激活函数相比，由于每个通道都有额外的可训练参数 $\beta _i$ ，PReLU的非线性表示能力得到了提高。

解码器包括三个残差块、一个普通卷积块和四个解卷积层。将确定的潜在特征输入到解码器中，以检索高分辨率速度模型。普通卷积块和残差卷积块反映了编码器中的对应块。四个解卷积层对特征图进行上采样，以匹配所需的输出分辨率。1×1卷积将最终特征图转换为速度值。与某些网络不同，DA-ResNet输出大小与目标大小匹配，无需裁剪。

DA-ResNet中嵌入了两种注意力机制—ECA和CA—以增强代表性。注意力可以被视为将有限的资源分配给最相关的信息。在DA-ResNet中，ECA和CA根据特征图属性进行战略性放置。在早期的编码器和晚期的解码器中，特征图具有相对较大的维度，但通道较少。因此，空间冗余度更高，并且结合了CA来捕获位置信息。在网络的其余部分，信道冗余占主导地位，因此ECA增强了重要信道。注意块位置详见图3。

4.2 损失函数

基于DL的方法通过使用为地震反演量身定制的损失函数最小化预测速度模型和真实速度模型之间的差异来重建地下速度模型。因此，损失函数的选择对于数据驱动方法中准确估计速度至关重要。最近，已经提出了结合 $L_1$ 和 $L _2$ 范数的混合损失函数来提高重建精度[29]、[30]、[50]。特别是，张和林[23]发现，平均绝对误差（MAE）在他们的实验中擅长揭示地质界面。

受这些工作的启发，我们建议将 $L _1$ 与 $L_2$ 范数结合作为CLR-VMB的损失函数，公式为：

$L(\mathbf{v}_i,\mathbf{d}_i) = \frac{1}{K \times H \times W} \sum_{i=1}^{K}(\lambda_1 \left \| \mathbf{v}_i - \Gamma (\mathbf{d_i; \theta}) \right \|_1 + \lambda_2 \left \| \mathbf{v}_i - \Gamma (\mathbf{d}_i; \theta) \right \|_2^2 )$ （20）

其中， $K$ 是小批量大小， $H$ 和 $W$ 分别是速度图像的高度和宽度。要学习的反演算子 $\Gamma$ 是为VMB设计的DA-ResNet。 $\lambda _1$ 和 $\lambda _2$ 是不同损失项的权重系数。在我们的实验中， $\lambda _1$ 和 $\lambda _2$ $nx$ 的值被设置为0.5，这意味着这两个损耗项在CLR-VMB中同样重要。

五、实验

5.1 数据准备

为了验证所提出方法的有效性，我们随机合成了6000个不同复杂度的速度模型。所有模型的综合涉及两个关键步骤。第一步是生成简单的水平分层结构，每个结构的大小为 $x \times z = 301 \times 201$ 网格（ $10 \text{m} \times 10 \text{m}$ 间距）。模型有5到9层，层速度范围为1700到4500 m/s。根据层数，有5个模型类别，每个类别包含1200个分层模型。其次，我们使用修正的正弦曲线[20]在水平分层结构中垂直扭曲层界面。正弦曲线可以表示为 $\sum_{j=1}^{N} k_j \times \text{sin} (f_j \times \pi \times ix /nx)$ ，其中 $k_j$ 和 $f_j$ 是从预定范围内选择的随机数， $ix$ 是水平索引，nx是水平网格点的数量。 $N$ 的值由每个模型类别中的速度层数量决定，控制界面复杂性以及fj和失真因子 $k_j$ 。在这里，每个模型的所有层接口都以这种方式被扭曲，以增加模型和数据集的复杂性。因此，每个地质界面都呈现出周期性的正弦形状，导致整个模型结构呈现出独特的非线性行为。图5的顶行显示了五个具有代表性的示例模型。

图5 用于生成合成地震数据的分层模型的五个代表性示例。每列中的模型都有越来越多的层，从左侧的5层到右侧的9层不等。上排显示了具有清晰界面的地面真实速度模型，而下排显示了相同模型的平滑版本。

我们使用时域交错网格有限差分法[51]和完全匹配的层吸收边界条件，基于合成速度结构生成多震源道集。对于每个模型，30个源均匀地放置在10米深的地方，间距为100米，从 $x=0.1$ 公里到 $x=0.3$ 公里。301个接收器均匀地放置于与源相同的深度，间距为10米，以记录反射信号。我们使用20Hz Ricker小波作为源小波。模拟地震图的记录长度为2s，采样时间为1ms（2000个样本）。在处理之前，直接到达的数据会从合成数据中删除。

5.2 实验设置

在我们的实验中，我们将6000个不同的速度模型随机分为三组，分别用于训练、验证和测试。每组包含5-9层的速度结构。训练集有5000个样本，而验证集和测试集各有500个样本。请注意，为了减少计算负担，我们只使用了70%的地震图（21个炮点道集），而不是全部。具体来说，在保留中间炮点道集（第15次炮点）的基础上，我们每三次震源激发就删除一次炮点地震数据。此外，我们以每五个时间步的均匀速率对地震数据进行采样。因此，用于学习反演算子的输入数据的大小为[21，400，301]。在训练过程中，我们使用Adam优化器[52]来更新DA-ResNet参数。初始轮次设置为30，总共有150个训练轮次。最大学习率 $\eta _{max}$ 最初设置为0.03，然后根据（6）中的公式定期衰减。表I提供了网络训练的CLR-VMB方法参数的详细信息。

表1 CLR-VMB中的网络训练参数

为了证明我们的CLR-VMB的优越性，我们选择了一种数据驱动方法和一种物理引导的混合方法作为我们的基线进行比较。具体来说，基于UNet[53]建立了一个数据驱动的反演框架，这是一种特殊的全卷积网络（FCN），用于地下速度模型构建（FCNVMB）[21]。提出了一种物理一致性数据驱动的FWI方法（PCDDFWI），通过数据增强方案将物理知识纳入训练数据集中[54]。在这两个基线中，FCNVMB是速度建模的代表性数据驱动方法，而PCDDFWI是物理引导机器学习的典型例子。值得注意的是，为了匹配输入数据进行公平比较，我们用FCN替换了PCDDFWI中的原始网络架构。FCN是通过直接从UNet中删除跳过连接并添加裁剪层来获得的。与原始学习框架相比，由于使用了更多的卷积层和更大的通道，FCN具有更好的非线性表示能力。这不仅提高了PCDDFWI的性能，而且确保了公平的比较。根据他们的实验设置，FCNVMB和PCDDFWI共享相同的初始学习率0.001。此外，为了公平起见，我们的CLR-VMB和所有基线都使用了（20）中所示的相同损失函数。所有实验均在Pytorch框架下配备NVIDIA GeForce RTX 3060 GPU的工作站上进行。

5.3 训练和测试

图7显示了CLR-VMB方法的训练和验证损失曲线。一个有趣的现象是，我们的方法在损耗曲线上呈现出周期性的下降和上升。具体来说，随着学习率的更新，曲线每30个周期周期性地变化一次。此时，随着训练损失的减少，网络每30个迭代周期收敛到一个局部最优解。然而，损失急剧增加，这有助于模型摆脱当前的最小值。这个学习过程会重复几次，直到训练完成。在训练过程中，我们为模型集成保存网络快照。

在这里，我们从三个方面比较了CLRVMB方法与两种基线方法的重建精度：预测速度模型、速度文件和堆叠逆时偏移（RTM）图像。

图6显示了分层模型的五个示例以及使用不同方法重建的结果。顶行展示了地面真实模型，作为基准。底行展示了由我们的CLR-VMB重建的速度模型。可以观察到，我们的CLR-VMB提供了高速度结构，其特征是清晰精确的地层界面。相比之下，这两种基线方法很难捕捉到具有一些可察觉模糊的扭曲层结构。图8显示了1.5km水平位置的相应垂直速度曲线。分析垂直文件表明，CLR-VMB方法以最高的精度重建了速度结构，并且更好地符合地面实况模型。为了进一步验证我们方法的出色性能，在下文中，我们提供了不同方法重建速度的堆叠RTM图像进行比较。

图6 分层模型和使用不同方法重建结果的五个示例。第一行是实际速度模型。第二行包含通过基线方法FCNVMB重建的模型，用于比较。第三行包含通过基线方法PCDDFWI重建的模型，用于比较。第四行显示了所提出的DA-ResNet在没有循环学习率的情况下重建的模型。最后一行显示了由所提出的CLR-VMB重建的模型。

图7 所提出的CLR-VMB方法的损耗曲线。红线显示了迭代周期内的训练损失，而蓝线显示了迭代阶段内的验证损失。

图8 1.5km水平位置垂直速度曲线的五个示例。与这些文件相对应的速度模型如图6所示。“GT”表示地面真实合成速度模型。

RTM是一种重要的地震偏移技术，已成为复杂地质构造成像的有力工具。它提供了深度域的地震数据成像，已被广泛用于地震成像[13]和速度模型估计[20]的质量控制。RTM图像的采集取决于真实速度模型及其平滑版本。为了获得平滑的速度模型，我们使用二维高斯平滑滤波器来去除实际速度模型的高波数分量。高斯函数的标准偏差为5，窗口大小为7×7。我们对每个模型应用高斯核20次。图5的第二行显示了平滑速度模型的五个示例，第一行显示了相应的地面实况模型。

图9显示了堆叠RTM图像的两个代表性示例，图6的第三列和第四列显示了相应的速度模型。从左到右，它们分别与地面实况、FCNVMB、PCDDFWI和CLR-VMB相关联。与其他两种方法相比，FCNVMB实现了具有少量伪影的速度模型重建，如RTM图像所示。然而，我们的CLR-VMB产生的RTM图像质量优于FCNVMB方法，同时性能略优于混合PCDDFWI方法。此外，尽管这两种基线方法能够高度精确地再现地质界面，但它们的定位精度往往很低。一个潜在的原因是地震信号中缺乏位置信息。幸运的是，我们的CLR-VMB方法通过结合注意力机制来捕获空间信息，从而缓解了这个问题。结果进一步验证了我们的CLR-VMB优于两种基线方法，因为它能够提供更准确的地下结构表征。

图9 堆叠RTM图像的两个示例。从左到右，每列中的RTM图像分别与地面实况、FCNVMB、PCDDFWI和CLR-VMB相关联。与RTM图像上排对应的速度模型如图6第三列所示，与RTM图像下排对应的模型如图六第四列所示。

5.4 定量分析

在本节中，我们进行了定量分析，以评估不同反演方法的性能。具体而言，应用四个评估指标来评估重建速度模型的质量：MAE、均方误差（MSE）、信噪比（SNR）和结构相似性指数（SSIM）[55]。MAE和MSE量化了像素级地面真实值和估计结果之间的模型误差，较小的值表示更好的反演质量。信噪比定义为:

$\text{SNR} = 20 \log_{10} \frac{\left \| g \right \|_{2}}{\left \| g-p \right \|_{2}}$ （21）

其中， $g$ 和 $p$ 分别表示速度模型的地面真值和预测结果。

SSIM提供了两个模型相似程度的量化度量，特别是在局部结构方面。它可以定义为：

$\text{SSIM} (g,p) = \frac{()2\mu_{g} \mu_{p} + C _1)(2 \sigma_{gp} + C_2)}{(\mu_{g}^{2} + \mu_{p}^{2} + C_1)(\sigma_{g}^{2} + \sigma_{p}^{2} + C_2)}$ （22）

其中， $\mu_g$ 和 $\sigma_g$ 分别表示 $g$ 的平均值和标准偏差， $\mu_p$ 和 $\sigma_p$ 表示 $p$ 的相应度量。 $\sigma_{gp}$ 表示 $g$ 和 $p$ 的协方差，而 $C_1$ 和 $C_2$ 是稳定除法的两个常数。

为了避免数据分割导致的实验结果偏差，我们采用了交叉验证方法[56]进行定量评估。交叉验证是机器学习中广泛使用的模型评估技术，使我们能够更好地评估不同方法的性能。表二显示了在无噪声数据上使用不同方法重建模型的定量结果。可能是我们提出的CLR-VMB在所有评估指标上都超过了这两种基线方法。一方面，我们的CLR-VMB实现了最高的信噪比和SSIM得分。这表明，通过我们的方法重建的速度模型在地质结构方面与地面实况更接近。这可以归因于我们的方法恢复了更清晰、更精确的地层界面，这得益于双重注意力机制的嵌入。另一方面，如MAE和MSE值所示，我们的CLR-VMB获得了最低的模型误差。与两种基线方法相比，最小的误差突显了我们在速度估计方面的方法具有最高的准确性。比较进一步证明了我们的方法的优越性，同时支持了定性结果。

表2 噪声数据不同方法重建结果的定量比较

5.5 CLR方案的有效性

为了说明CLR调度对速度建模的好处，我们进一步求解了基于DA-ResNet的地震FWI，而没有CLR。根据两个基线的实验设置，我们还使用初始学习率为0.001的Adam优化器来更新DA ResNet的参数。图6的第四行显示了使用DA ResNet架构重建的结果。相应的速度曲线如图8所示。可以看出，当应用CLR时间表时，1.5公里位置的垂直剖面更接近地面实况模型。此外，我们提供了两个地面真值模型与两种情况的预测结果之间的绝对模型误差的例子，如图10所示。橙色突出显示的区域表示绝对速度误差很高，而海绿色区域表示误差可以忽略不计，接近于零。基于DA ResNet的定量结果也如表二所示。所有评估指标都表明，与DA ResNet相比，CLR-VMB的性能有所提高，这与定性分析的结果一致。基于上述比较，可以证明我们的DA ResNet与CLR调度相结合可以有效地解决地震FWI问题，并提供更好的速度模型重建。

图10 地面真值分层模型与不同方法重建结果之间的绝对模型误差的两个例子。上排和下排分别与DA-ResNet和CLR-VMB相关联。图6最后两行的前两列显示了与这些错误相对应的重建模型。

5.6 鲁棒性

在地震反演中，由于采集设备和方法的限制，现场数据通常包含随机噪声。因此，为了进一步验证所提出方法的有效性，我们使用噪声地震记录来测试其鲁棒性。我们通过向每个地震图添加零均值高斯噪声（标准偏差0.05）来生成有噪声的数据。

图11显示了使用不同方法从噪声数据中重建结果的五个示例，图6的第一行显示了相应的地面实况。我们的CLR-VMB方法脱颖而出，提供卓越的重建质量。相反，这两种基线方法无法解决深层中的混淆结构，从而产生大量伪影。值得注意的是，FCNVMB方法对噪声高度敏感。为了进行更精确的比较，图12显示了使用两个代表性模型的堆叠RTM图像。在图12中，从左到右，每列中的结果分别与地面实况、两种基线方法和我们的方法相关联。我们的CLR-VMB提供与地面真实模型非常相似的最高质量RTM图像。相比之下，这两种基线方法无法表征深层地层界面，尤其是FCNVMB方法。

图11 在噪声地震数据上使用不同方法重建速度模型的五个例子。第一行显示了通过基线方法FCNVMB重建的模型。第二行显示了通过基线方法PCDDFWI重建的模型。第三行显示了由所提出的CLR-VMB重建的模型。相关的地面实况模型如图6的第一行所示。

图12 堆叠RTM图像的两个示例。从左到右，每列中的RTM图像分别与地面实况、FCNVMB、PCDDFWI和CLR-VMB相关联。与RTM图像上排相对应的重建速度模型如图11的第四列所示，相关地面真值模型如图6第一行的第四栏所示。与RTM图像下一行对应的重建模型如图11的第五列所示，相关的地面真值模型如图6第一行的第五栏所示。

表3 噪声数据不同方法重建结果的定量比较

表3显示了不同方法对噪声数据的定量比较结果。与基于无噪声数据的结果相比，基线FCNVMB在噪声记录上的性能在各个指标上都表现出明显的下降——MAE、MSE和SSIM都显著下降。相比之下，我们的CLR-VMB对噪声不敏感，劣化程度较低。值得注意的是，PCDDFWI方法在MAE、SNR和SSIM方面也保持了最低的性能下降。这可以归因于波物理的结合，增强了混合方法的鲁棒性。然而，CLR-VMB在所有指标上仍然优于两种基线方法，与定性分析相一致。这种鲁棒性源于嵌入CA块和集成多个网络快照的集成技术。然而，集成只有在像我们这样的CLR时间表上构建时才有效。总之，比较表明，我们的CLR-VMB可以有效地抑制随机噪声，产生更稳健的反演结果。

5.7 泛化性

大量的数值实验表明，CLR-VMB可以产生可靠的反演结果，并准确地表征地下结构。然而，验证其泛化能力对于确认数据驱动技术在现实世界实践中的可行性至关重要。为了对CLR-VMB进行基准测试，我们在两个更复杂的数据集上进一步比较了不同的方法。

1）密集层模型测试：密集层数据集包含400个速度结构，有10到12层，以与分层模型类似的方式合成。除了地层数量外，这些速度的地质结构与分层模型的地质结构相似。因此，我们直接利用之前学习的反演算子来反演速度模型。

图13显示了密集层模型的五个示例以及没有迁移学习的不同方法的重建结果。第一行显示了地面实况模型以供参考。第二行和第三行分别是使用FCNVMB和PCDDFWI方法进行泛化比较的倒置结果。最后一行展示了由我们的CLR-VMB重建的速度模型。可以看出，我们的方法准确地重建了大部分复杂的边界，尽管它忽略了一些细节。相比之下，这两种基线方法无法清晰地分辨模糊的结构，从而导致虚假的速度异常。1.5km位置的垂直剖面进一步验证了CLR-VMB密切跟踪地面实况模型，如图14所示。总体而言，与两种基线方法相比，我们的方法恢复了最可靠的速度结构和反射界面，特别是在较深层。比较证实，我们的CLR-VMB提供了更好的速度模型估计，并显示出对复杂致密层模型的改进泛化能力。

图13 五个密集层模型的例子和使用不同方法重建的结果，而不需要迁移学习。第一行是实际速度模型。第二行包含通过基线方法FCNVMB重建的模型，用于泛化比较。第三行包含通过基线方法PCDDFWI重建的模型，用于泛化比较。第四行显示了由所提出的CLR-VMB重建的模型。

图14 1.5 km水平位置垂直速度曲线的五个示例。与这些文件相对应的速度模型如图13所示。“GT”表示地面真实合成速度模型。

2） SEG/EAGE盐模型测试：为了进一步证明CLR-VMB在复杂模型反演中的有效性，我们将我们的方法与SEG/EAGE-盐数据上的两种基线方法进行了比较[57]。SEG/EAGE盐数据是嵌入不规则盐体中的三维速度模型，速度值范围为1500至4482 m/s。我们对三维盐数据进行切片，得到550个不同的二维速度模型，其大小与合成数据相同。为了确保每个模型的唯一性，在切片过程中为每个模型添加了100到300m/s之间的随机速度值。因此，二维盐模型的层速度范围为1600至4782 m/s，略高于原始数据。SEG/EAGE盐模型的频率响应为25 Hz，采集几何形状与分层数据相同。

与密集层模型不同，这些盐模型背后的数据分布不同于作为训练数据集的分层速度示例。因此，这些反演算子没有直接应用于SEG/EAGE盐数据。在这种情况下，迁移学习可以被认为是一种有效的解决方案，它利用一些目标数据来重新定义学习的网络，正如许多研究[21]、[23]、[58]所证明的那样。因此，我们将550个盐模型随机分为两个子集进行训练和测试。训练集有440个样本，而测试集有110个样本。基于与之前相同的考虑，只有21个炮点道集被用作网络的数据引擎，用于重新定义之前的反演算子。

图15显示了SEG/EAGE盐数据和使用不同方法重建的速度模型的五个示例。可以看出，所有方法都成功地识别了高速盐丘。然而，我们的CLR-VMB因提供更复杂的地下结构细节而脱颖而出。此外，我们给出了两个示例，展示了绝对模型误差，图15最后两列显示了反演速度模型。如图16所示，第一行和第二行分别显示了地面真值模型与两种基线方法获得的重建结果之间的绝对速度误差。相比之下，第三行显示了我们的CLR-VMB方法所取得的结果。我们的方法实现了显著降低的误差，并更忠实地重建了速度结构。此外，我们观察到FCNVMB重建结果的绝对模型误差似乎略优于PCDDFWI。值得注意的是，与分层数据相比，SEG/EAGE盐数据包含的训练样本更少。因此，由于样本数量有限，反演方法的性能可能会受到影响，特别是基于数据增强策略引入重要物理知识的PCDDFWI方法。表4提供了SEG/EAGE盐数据不同方法的定量评估。可以看出，我们的CLR-VMB在所有指标上都取得了最佳性能。特别是，定量结果表明，FCNVMB方法在SEG/EAGE盐数据上略优于PCDDFWI方法。同时，SEG/EAGE盐数据的反演结果进一步验证了我们方法的有效性。总体而言，所提出的CLR-VMB具有更好的泛化能力，能够轻松适应不同的地下结构，并克服局部最小值挑战。这种灵活性巩固了其作为稳健速度反演解决方案的潜力。我们的基准测试验证了所提出的CLR-VMB可以从训练数据扩展到复杂的场景。

图15 SEG/EAGE盐模型的五个例子，以及使用不同方法和迁移学习重建的结果。第一行是真实速度模型。第二行包含由基线方法FCNVMB构建的模型，用于矿化比较。第三部分包含用基线方法PCDDFWI构建的模型，用于泛化比较。第四行显示了由所提出的CLR-VMB重建的模型。

图16 地面真实SEG/EAGE盐模型与不同方法重建结果之间的绝对模型误差的两个例子。从上到下，每行中的结果分别与FCNVMB、PCDDFWI和CLR-VMB相关联。图15最后三行的最后两列显示了与这些错误相对应的重建模型。

表4 SEG/EAGE盐数据不同方法重建结果的定量比较

六、讨论

为了进一步探索CLR-VMB在速度建模方面的潜力和局限性，我们对其在不同观测设置下的性能进行了分析。此外，还介绍了不同方法的计算成本，以供进一步评估。

6.1 观测设置

在我们早期的实验中，每个模型共有30个震源均匀分布，21个炮点道集用于地下速度估计。然而，由于地表的复杂性，在采集地震数据时，在所有所需位置获得完整的记录往往具有挑战性。因此，在不同的观测场景下测试我们的CLR-VMB方法的反演精度至关重要。

图17显示了不同炮点道集数量的重建分层模型的信噪比和MAE。当缺少几个镜头时，重建质量会有所下降，而不是使用所有镜头。相反，训练射击的次数正在增加，同时信噪比得分也在提高，MAE也在降低。可以观察到，对于分层模型，当使用15次射击时，我们的CLR-VMB能够实现可靠和令人满意的速度估计。这一成功主要归功于我们基于DL的非线性表示框架的强大能力。然而，用少量镜头实现更复杂模型的反演是具有挑战性的。因此，为了更好地重建复杂的速度结构，可能需要利用额外的炮点道集。这是因为更多的镜头可以提供更丰富的地震波运动学和动力学信息，从而促进速度模型的重建。

图17 重建的分层模型的精度随着炮点道集的数量而变化。红线表示信噪比随训练射击次数的变化，蓝线表示MAE随训练射击数量的变化。

6.2 计算成本

表V显示了不同反演方法的计算成本和网络参数数量。结果表明，我们的CLR-VMB可以在最短的时间内学习反演算子来重建速度模型，进一步突显了我们提出的方法的有效性。然而，我们的方法基于注意力机制和更多的卷积层，用于从地震记录中提取更详细的特征。这不可避免地需要引入额外的训练参数。此外，值得注意的是，PCDDFWI方法的计算成本过高，大大超过了两种数据驱动方法。这种潜在的局限性可归因于自适应数据增强策略。总体而言，这两种基线方法依赖于参数较少的简单DL框架，但我们的CLR-VMB在计算效率和反演精度方面具有优势。
表5 分层数据不同方法的计算成本

6.3 未来工作

得益于CLR调度和反演框架，我们的CLR-VMB方法提供了可靠的速度估计。然而，已经确定了需要进一步改进的两个关键方面。首先，一个关键方向是提高地质界面的重建精度。如图10和16所示，我们的方法重建的速度在地层边界附近表现出相当大的差异。一种可能的解决方案是将边界注意力纳入神经网络，从而促进提取与不同速度层之间的边界有关的信息。然而，这通常需要设计复杂的网络架构，这也对计算资源提出了更高的要求。一个更好的解决方案是设计合理的损失函数，以惩罚实际速度和预测速度之间的边界误差。第二个研究途径是提高模型在复杂场景中的泛化能力。许多研究工作表明，将数据驱动方法直接应用于现场数据是一项极具挑战性的工作。这需要引入物理知识或先验信息，以增强FWI的泛化能力。在未来的工作中，我们将探索数据驱动技术与基于物理的约束的协同组合，以改进我们的方法。

七、结论

本研究证明了DL，特别是CLR-VMB方法，在克服FWI长期挑战方面的巨大潜力。传统的单网络方法往往难以实现学习率优化和精确的速度模型构建。相比之下，我们的CLR-VMB利用了通过CLR计划获得的多个网络快照，有效地丰富了反演过程，而不会产生额外的训练成本。每个快照都提供了独特的结构信息，这些信息通过集成学习进行整合，以实现稳健的速度构建。

CLR-VMB的核心是DA-ResNet，这是一种基于注意力的非对称残差网络，专门用于解释空间数据速度模型相关性并减轻地震数据稀疏性的影响。其编码器-解码器架构从镜头道集估计速度模型，而嵌入式通道注意力机制提取交叉道集关系，空间注意力包含关键的位置信息。对6000个模型的广泛基准测试表明，CLR-VMB在准确性、分辨率和界面重建方面超越了传统方法。对噪声数据、密集层数据和SEG/EAGE盐数据的进一步实验证实了其优越的噪声抑制和泛化能力。然而，为了解决更现实的地质场景，必须将物理知识整合到深度神经网络中，从而减少对大量训练数据进行模型训练的依赖。尽管本研究的目标是建立地震速度模型，但基于CLR的框架可以无缝扩展并适用于其他领域，包括弹性波形反演。