Transformer 模型详解

Transformer 是由 Vaswani et al. 在 2017 年 提出的模型，最初用于 机器翻译 任务，并迅速成为自然语言处理（NLP）领域的标准模型架构。与传统的 RNN（循环神经网络） 和 LSTM（长短期记忆网络） 不同，Transformer 的核心思想是 完全基于自注意力机制（Self-Attention），去除循环和卷积操作，显著提高了并行计算效率和长期依赖的建模能力。

1. Transformer 模型架构

Transformer 模型的架构主要由两个部分组成：

• 编码器（Encoder）：负责将输入序列映射为一系列上下文相关的特征向量。
• 解码器（Decoder）：根据编码器的输出生成目标序列。

完整结构