文献速递：机器学习在超声波非破坏性评估中的合成和增强训练数据综述（第一部分）— （机器学习方法在超声波检测中的概述）

Title

题目

A review of synthetic and augmented training data for machine learning in ultrasonic non-destructive evaluation

机器学习在超声无损检测中合成与增强训练数据的综述

01

文献速递：

介绍

注：原文篇幅较长，这里分多次进行分享。

近年来，超声波检测（UT）在机器学习（ML）的应用不断增加，推动了缺陷检测和分类中更高级别的自动化和决策制定。在非破坏性评估（NDE）中，特别是在UT中应用ML，构建一个通用的训练数据集极其困难，因为需要原始和具有代表性的有缺陷样本的数据。然而，在大多数UT测试案例中，有缺陷的样本数据本质上很少，使得数据覆盖成为应用ML时的主要问题。常见的数据增强（DA）策略提供的解决方案有限，因为它们不增加数据集的变异性，可能导致对训练数据的过拟合。虚拟缺陷方法和最近在UT中应用的生成对抗神经网络（GANs）是旨在解决这一问题的复杂DA方法。另一方面，超声波波动传播建模方面的成熟研究允许生成合成UT训练数据。在这一背景下，我们提出了第一个主题综述，总结了过去几十年在NDE中合成和增强UT训练数据的进展。此外，还介绍了合成UT数据生成和增强的方法概述。介绍并讨论了有限元、有限差分和弹性动力有限积分等数值方法，以及广义点源合成、高斯束叠加和铅笔法等半解析方法以及其他UT建模软件。同样，介绍并讨论了现有的一维和多维UT数据、特征空间增强和用于增强的GANs的DA方法。文章最后详细讨论了现有方法在合成UT训练数据生成和UT数据DA方面的优势和局限性，以帮助读者决定应用于特定测试案例。

*Overview of machine learning methods in ultrasonic testing*

超声波检测中机器学习方法概述（原文第二部分）

超声检测技术及数据表示

超声波检测技术

根据被检测的组件、部件、材料或缺陷类型，有多种超声检测（UT）技术可供选择。这些技术包括脉冲回波（Pulse-Echo）、投掷接收（Pitch-Catch）、透射（Through-Transmission）、导波（Guided Wave）、相控阵超声检测（PAUT）和全聚焦法（TFM）。在导波技术中，通常使用两个或更多换能器以投掷接收配置。此外，还有其他评估和测量技术，如模态技术、层析成像、时频分析、飞行时间衍射或其他反射和成像方法，例如合成孔径聚焦技术（SAFT）。

超声数据表示

在UT中，原始回波或传输信号可以以两种基本形式表示：作为一维波形（即全射频A扫描）和二维图像形式（B扫描和C扫描）。其他原始数据表示，例如D扫描，通常是这三种基本A、B、C表示的修改版本。

**A扫描：**是接收信号幅度的非整流波形表示，作为离散时间的函数。

**B扫描：**是沿扫描线的A扫描序列可视化为2D图像。每列B扫描由单个A扫描获得，将给定时间的幅度转换为灰度或颜色尺度值。

**C扫描：**基于平面扫描，提供A扫描幅度在特定时间或特定时间间隔的二维图形表示。

机器学习方法

机器学习概述

机器学习是人工智能的一个子集，可以定义为自动适应所呈现数据的计算机算法的集合。根据问题和数据的性质，存在监督学习、无监督学习和强化学习方法。分类是一种监督学习方法，其中训练数据的标签是离散类别。回归是另一种监督学习方法，与分类不同，数据标签是连续变化的数值。聚类通常作为探索性分析进行，以更好地理解可用数据。

机器学习算法

**支持向量机（SVM）：**是一种线性确定性二元分类器，可用于分类或回归问题。

**高斯混合模型（GMM）：**假设大量概率分布由多个较小的分布（子群体）组成，并可由足够数量的正态密度函数或“高斯”近似。

**隐马尔可夫模型（HMM）：**可用于将UT信号建模为具有隐藏状态的马尔可夫过程。

**人工神经网络（ANN）：**由大量互连的所谓人工神经元组成，这些神经元从其他神经元接收输入信号，通过非线性函数处理它们并进一步传输。

特征提取、预处理、降维

在深度学习方法发展之前，需要在模型训练之前进行特征提取，以便仅将与问题相关的特征提供给算法。特征提取是一种降维形式，即在本质上是减少描述数据所需变量数量的过程。常见的UT信号特征提取工具包括离散傅里叶变换、余弦变换和小波变换及其时频变体。

特征提取、预处理、降维

**自编码器（AE）：**用于图像去噪和数据压缩。

**生成对抗网络（GAN）：**用于生成数据。

本文详细介绍了超声波检测中机器学习方法的应用，包括不同的超声波检测技术、数据表示形式、机器学习算法及其在超声波检测中的应用。

Figure

图

Fig. 1. Trend of machine learning (ML) application for ultrasonic non-destructive testing (UT) based on published research over the past 38 years. The three categories shown are the total number of publications per year addressing ML in ultrasonic nondestructive testing (green), and within those categories, the number of publications specifically using synthetic (blue) and augmented (red) UT training data. Data were generated using the SCOPUS database and a keyword search. Data from the year 2023 are included until the month of January. The search string is given in the supplementary information Section 8.

图 1. 过去38年基于已发表研究的机器学习（ML）在超声无损检测（UT）应用趋势。所示的三个类别分别是每年关于超声波无损检测中ML的总发表论文数量（绿色），以及在这些类别中，特别使用合成（蓝色）和增强（红色）UT训练数据的发表论文数量。数据通过SCOPUS数据库和关键词搜索生成。数据包括至2023年1月的数据。搜索字符串在补充信息第8节给出。

Fig. 2. Graphical representation of common UT-techniques in the cited literature. (a) Pulse-Echo, (b) Pitch-Catch, © Through-Transmission, (d) Guided Wave, (e + f) Phased Array Ultrasonic Testing (PAUT) and Total Focusing Method (TFM). Figures inspired by [58].

图 2. 引用文献中常见超声波检测（UT）技术的图形表示。(a) 脉冲回波，(b) 发射-接收，© 穿透传输，(d) 导波，(e + f) 相控阵超声波检测（PAUT）和全聚焦法（TFM）。图形灵感来源于[58]。

Fig. 3. The three main raw data representations used in ultrasonic NDE displayed in an arbitrarily chosen box-shaped reference frame.

图 3. 在任意选定的盒状参考框架中展示的超声波无损评估（NDE）中使用的三种主要原始数据表示。

Fig. 4. Schematic illustration of classification (a), regression (b), clustering ©, and anomaly detection (d). Question marks correspond to new data, which wasn’t used in the training.

图 4. 分类（a）、回归（b）、聚类（c）和异常检测（d）的示意图。问号对应于新数据，这些数据在训练中未被使用。

Fig. 5. Schematic illustration of underfitting and overfitting in regression and classification.

图 5. 回归和分类中欠拟合和过拟合的示意图。

Fig. 6. Schematic illustration of feature extraction from ultrasonic signals with Discrete Fourier Transform (DFT, left), Discrete Cosine Transform (DCT, middle) and Discrete Wavelet Transform (DWT, right). Reprinted from [81] with permission from Elsevier.

图 6. 超声信号特征提取的示意图，包括离散傅里叶变换（DFT，左），离散余弦变换（DCT，中）和离散小波变换（DWT，右）。经Elsevier许可，转载自[81]。

Fig. 7. Timeline representation of the number of publications on different classifiers used in UT. It should be noted that some papers considered more than one classifier and were therefore counted several times. Data from the year 2023 are included until the month of January. The search string is given in the supplementary information Section 8.

图 7. 不同分类器在超声波检测（UT）领域发表论文数量的时间线表示。应当注意的是，某些论文考虑了不止一种分类器，因此被多次计数。数据包括至2023年1月的数据。搜索字符串在补充信息第8节给出。

Fig. 8. Schematic illustration of support vector machines.

图 8. 支持向量机的示意图。

Fig. 9. Schematic illustration of a neural network, feed forward and backpropagation.

图 9. 神经网络、前馈和反向传播的示意图。

Fig. 10. Taxonomy of the presented DA methods for UT signal formats such as A-, B-, C-scans. The letters D and G on the right-hand side correspond to the networks of “Discriminator” and “Generator” in general adversarial neural networks

图 10. 展示的数据增强（DA）方法在超声波信号格式（如A-、B-、C-扫描）的分类。右侧的字母D和G对应于一般对抗神经网络中的“鉴别器”和“生成器”网络

Fig. 11. Taxonomy of available and commonly used numeric and semi-analytical methods and software packages for generating synthetic UT training data.
图 11. 可用且常用的数值和半解析方法及软件包的分类，用于生成合成超声波训练数据。