---

一、介绍

 1. Transformer是一个Seq2Seq（Sequence-to-Sequence）的模型，这意味着它能够处理从输入序列到输出序列的问题。在Seq2Seq模型中，输入是一段序列，输出也是一段序列，输出序列的长度通常由模型自身决定。这种模型在自然语言处理（NLP）领域有广泛的应用，例如语音识别、机器翻译、语音合成、聊天机器人训练等。

 2. Transformer作为Seq2Seq模型的一种实现，采用了自注意力机制（self-attention）和位置编码（position encoding）等技术，使其在处理长序列时具有更好的性能。相比传统的Seq2Seq模型，Transformer的编码器和解码器部分内部不再使用RNN网络，而是采用了自注意力机制，这使得模型在处理序列数据时更加高效。Transformer的整体模型架构如下图所示：

二、架构

2.1 Multi-head Attention

 1. 在Transformer中，通过添加一种多头注意力机制，可进一步完善自注意力层。具体做法：首先，通过 $h$ 个不同的线性变换对 Query、Key 和 Value 进行映射；然后，将不同的 Attention 拼接起来；最后，再进行一次线性变换。基本结构如下图所示：

 2. 在多头注意力下，我们为每组注意力单独维护不同的 Query、Key 和 Value 权重矩阵，从而得到不同的 Query、Key 和 Value 矩阵。

 3. 按照上面的方法，比如使用不同的权重矩阵进行 8 次自注意力计算，就可以得到 8 个不同的 $Z$ 矩阵。
 因为前馈神经网络层接收的是 1 个矩阵（每个词的词向量），而不是上面的 8 个矩阵。因此，我们需要一种方法将这 8 个矩阵整合为一个矩阵。具体方法如下：

• (1) 把 8 个矩阵拼接起来。
• (2) 把拼接后的矩阵和一个权重矩阵 $W^O$ 相乘。
• (3) 得到最终的矩阵 $Z$，这个矩阵包含了所有注意力头的信息。这个矩阵会输入到前馈神经网络层。

 4. 总结：多头注意力机制通过并行化处理多个注意力头来提高效率。每个注意力头都可以独立计算注意力权重，衡量输入信息中不同部分的关联程度。这样，模型可以从多个不同的角度和层次上关注输入数据，捕捉到更多的语义信息。
 多头注意力机制的优势在于其能够更好地理解句子的句法和语义结构信息，并提高模型从不同位置学习特征信息的能力。

2.2 Encoder(编码器)

 1. 在人工智能中，Encoder通常指的是神经网络中的一个部分，用于将输入数据转换成一种适合解码器网络处理的形式。
 在序列到序列（Seq2Seq）模型中，Encoder用于将输入序列转换为一种固定维度的向量表示，这种向量表示可以作为后续处理和生成任务的基础。例如，在机器翻译任务中，Encoder可以将输入的源语言句子转换为一种固定维度的向量表示，然后这个向量可以作为Decoder的输入，以生成目标语言的翻译结果。

注解：常见的编码方法包括独热编码（One-Hot Encoding）和标签编码（Label Encoding）等。独热编码是一种将类别特征转换为二进制向量表示的方法，其中每个向量只有一个元素为1，其余元素为0。这种方法适用于类别特征数量较小的情况。标签编码则是一种将类别特征转换为整数表示的方法，其中每个整数代表一个特定的类别。这种方法适用于类别特征数量较大的情况。

 2. Transformer中的Encoder如下图所示：

 3. Encoder的一个Block如下图所示，在自注意力和FC上加了Residual，并且使用了Layer norm。

注解：
（1）FC层指的是全连接层（Fully Connected Layer），也被称为密集层或线性层。全连接层是一种常见的神经网络层，其每个神经元都与前一层的所有神经元相连，因此被称为全连接。全连接层通常位于神经网络的最后几层，用于将学习到的特征组合起来生成最终的输出结果。
（2）Batch Norm，即批规范化，是深度学习中常用的一种技术，主要用于解决每批数据训练时的不规则分布给训练造成的困难。具体地说，Batch Norm会对神经网络的某一层的batch输出进行归一化，即先进行z-score归一化，然后进行线性变换，最后再输入到激励函数中。这样做可以使得网络的训练更快、更稳定。同时，Batch Norm也是一种正则化的方式，可以代替其他正则化方式如dropout，但也可能消融数据之间的许多差异信息。因此，并不能说Batch Norm一定适用于任何任务。
（3）Layer Norm是一种神经网络中的归一化技术，它对每一个样本内的所有值进行标准化处理。LayerNorm的具体过程是将每一个样本的所有特征值进行均值和方差的归一化，使数据落在均值为0，方差为1的分布中。与Batch Normalization（BatchNorm）不同，LayerNorm是在每个样本的维度上进行归一化，而不是在每个batch的维度上进行归一化。因此，LayerNorm可以更好地处理不同大小和长度的序列数据，尤其在自然语言处理和循环神经网络等任务中表现优异。

2.3 Decoder(解码器)

 1. 编码器的作用是将信息转换为一种适合传输、存储或处理的形式，而解码器则将其还原为原始形式。
 在机器学习和深度学习的上下文中，Decoder通常指的是一个神经网络模型的一部分，用于将编码后的数据或特征映射回原始空间。例如，在自编码器（Autoencoder）中，Decoder部分负责将压缩编码的向量解码成与输入数据相似的输出数据。
 除了自编码器，Decoder还可以应用于其他任务，如生成对抗网络（GAN）中的生成器、序列到序列（Sequence-to-Sequence）模型中的解码器等。在这些任务中，Decoder通常负责将输入数据转换为目标形式的输出数据，例如从编码的向量生成图像、文本或语音等。

 2. 我们以机器翻译为例，Decoder接收来自Encoder的一组向量。
 (1) 先给Decoder一个特殊的符号，代表begin，在Decoder产生的文本里产生一个开始的符号。
 (2) 接下来Decoder会产生一个向量，向量长度和对应语言词汇库的长度一样，就是希望识别的词汇库的总词汇数。
 (3) 在得到该向量前做一个 $softmax$ 分类，给每个字一个分数，选择最大的。把新得到的输出“机”表示为一个向量，作为Decoder新的输入，不断进行下去。
 注意：每个输出向量，都结合了在它之前的输入（或说输出）向量，比如”学“的输出是学习了输入的begin、“机”、“器”。 且由于后面的输出与前面的输出有关联，所以可能会出现一步错步步错的情况。

 3. Transformer中的Decoder如下图所示：

 4. Encoder与Decoder比较，主要在于Decoder多了Masked部分。

 5. 在Self-attention中，一个输出要考虑所有的输入。而Masked部分就是从每个输出都考虑所有输出变为只考虑前面的输入。

 6. 另外的关键点：Decoder必须自己决定输出的长度。所以在输出想要的结果后，需要输出一个“断”的符号，即表示结束，才能没有后续的输出。

三、Encoder和Decoder之间的传递

 1. Encoder和Decoder之间传递资讯需要靠下面图中红框的部分。在Cross attention部分中，两个输入来自Encoder，一个输入来自Decoder。

 2. Decoder产生一个 $q$ 会和Encoder的输出 $a$ 做注意力机制的运算，结果进入FC。

四、Training

 1. 前面讲述的所有内容都是在模型已经训练好的基础上进行的。那在训练模型时，以机器翻译为例，我们会给一段语音和真实的对应标签。那每一个的输出的结果我们都希望最接近真实的标签，每产生一个字就是从几千个字中进行的分类问题。训练时希望所有的字(含END)的交叉熵最少。
 注意：在训练时我们会给Decoder正确答案。

 2. Teach Forcing是一种训练技术，在Transformer模型中用于提高训练效率和收敛速度。Teach Forcing允许模型在一次输入全部目标序列，以并行的方式一次输出完整的目标序列，从而大大提高了训练效率。
 Teach Forcing的主要思想是，在训练过程中，我们强制模型使用正确的单词作为目标序列的输入，而不是使用模型自身的预测结果。这样可以避免因中间预测错误而对后续序列的预测产生影响，从而加快训练速度。
 在Transformer模型中，Teach Forcing的实现方式是将正确的单词序列和对应输出传递到Decoder模块。在每个时间步，我们使用上一时刻的正确单词作为输入，而不是使用模型自身的预测结果。这样，每个时刻的输入不再依赖上一时刻的输出，而是依赖真实的目标序列。

五、其他介绍

5.1 Copy Mechanism

 1. 其实有时候我们在一些对话中（如聊天机器人）只需要复制一些信息。在Transformer中有这种技术，叫Copy Mechanism。

 2. Copy Mechanism是一种在文本生成领域中使用的技术，其目的是在生成输出时复制或指向输入序列的元素。这种机制最早由Vinyals等人于2015年在Pointer Network中提出，有时也被称为Pointer Mechanism。
 Copy Mechanism的设计初衷是为了解决传统seq2seq模型输出序列词汇表无法随着输入序列长度改变而改变的问题。Pointer Network将attention机制中针对输入序列的权重用作指向输入序列的指针，因此其输出为权重最大的位置的输入序列元素，实现直接操作输入序列元素作为输出，而不需要设定输出序列词汇表。
 在对话任务中，Copy Mechanism被用来复制对话上下文和响应之间的单词，这有助于提升模型的性能。因为对话中经常会有重复的短语或专有名词等低频词，这些词靠标准RNN很难生成。
 总之，Copy Mechanism的本质是提取（extract）关键词，这个输出可以作为上游模块，和其它任务相结合。

5.2 Beam Search

 1. 在Transformer模型中，Beam Search是一种启发式搜索算法，用于生成最可能的输出序列。Beam Search的核心思想是使用宽度为 $k$ 的搜索来找到最可能的输出序列。在每个时间步，算法将保留 $k$ 个最可能的输出，并根据这些输出生成下一个时间步的候选输出。
 具体来说，Beam Search从初始状态开始，对于每个时间步，它将计算当前状态下的所有可能输出的概率。然后，它选择概率最高的 $k$个输出作为候选输出。对于每个候选输出，算法将其与下一个时间步的候选输出相乘，并选择概率最高的 $k$ 个输出作为下一个时间步的候选输出。这个过程一直持续到达到最大长度或满足终止条件为止。
 Beam Search的一个关键参数是宽度 $k$，它决定了搜索的宽度。较大的 $k$ 值将导致更宽的搜索，从而增加输出的多样性，但也可能导致更多的计算成本。较小的k值将导致更窄的搜索，但可能忽略一些好的候选输出。

 2. 在Decoder中提到，每个输出都是分数最大的，但有时找出分数最高的不一定就是最好的，这取决于任务的特性。当目标非常明确时，Beam Search性能好，如语音辨识；当需要一点创造力、结果有多种可能时，需要在Decoder中加入随机性。