Transformer 是一种革命性的深度学习架构，专门设计用于处理序列数据，特别是在自然语言处理（NLP）任务中表现卓越。它由 Vaswani 等人在 2017 年发表的论文《Attention is All You Need》中首次提出，打破了当时基于循环神经网络（RNN）和卷积神经网络（CNN）的序列建模常规，完全依赖自注意力机制实现高效的并行计算和对长距离依赖关系的有效建模。

一、核心思想

Transformer沿袭seq2seq的encoder-decoder架构，但以Self-Attention替换RNN，实现并行训练与全局信息捕获。作为首个仅依赖自注意力计算输入输出表示，无需序列对齐的转换模型，其设计核心融合自注意力与前馈神经网络，使模型预测时能灵活聚焦各特征。

找出句中单词之间的关系并给出正确的注意力。自注意力允许模型查看输入序列中的其他单词，以便更好地理解序列中的某个单词。

第一步：获取输入句子的每一个单词的表示向量 X，X由单词的 Embedding 和单词位置的 Embedding 相加得到。

第二步：将得到的单词表示向量矩阵传入 Encoder 中