Transformer的改进点

方差为d_k，需要除以根号d_k，把乘积的数值重新变为均值为0，方差为1.

BERT 的优缺点

BERT 训练策略原因

BERT， Transformer， ELMO 的特点，优缺点

之前看过多篇博客，和视频讲解，才发现模型内部细节非常多，以及动态实现过程，

最近才重新搞懂输入，输出，和mask在输出部分的原理。