【自然语言处理】Transformer中的一种线性特征

相关博客
【自然语言处理】【大模型】语言模型物理学第3.3部分：知识容量Scaling Laws
【自然语言处理】Transformer中的一种线性特征
【自然语言处理】【大模型】DeepSeek-V2论文解析
【自然语言处理】【大模型】BitNet：用1-bit Transformer训练LLM
【自然语言处理】BitNet b1.58：1bit LLM时代
【自然语言处理】【长文本处理】RMT：能处理长度超过一百万token的Transformer
【自然语言处理】【大模型】MPT模型结构源码解析(单机版)
【自然语言处理】【大模型】ChatGLM-6B模型结构代码解析(单机版)
【自然语言处理】【大模型】BLOOM模型结构源码解析(单机版)

论文名称：Your Transformer is Secretly Linear

论文地址：https://arxiv.org/pdf/2405.12250

一、简介

本文揭示了transformer decoder独有的一种线性特征。分析相邻层的embedding变换，发现其具有接近完美的线性关系。
由于transformer层输出的范数一直很小，当移除残差链接时，线性度下降。
实验显示，当移除特别接近于线性的模块或者使用线性近似这些模块，对loss或者模型表现几乎没有影响。
通过在预训练中引入基于cosine相似度的正则化项来降低层的线性度，改善了模型在TinyStories和SuperGLUE上的效果。

二、线性评分

在这里插入图片描述

将Procrustes相似度推广到任意线性变换，从而实现了一种评估两组向量线性依赖程度的度量指标。

令 $X,Y\in\mathbb{R}^{n\times d}$ 表示embedding集合。为了计算线性评分，先计算规范化矩阵 $\tilde{X}=X/\parallel X\parallel_2,\tilde{Y}=Y/\parallel Y\parallel_2$ 。那么线性评分为
$linearity_score = 1 − min ⁡ A ∈ R d × d ∥ X ~ A − Y ~ ∥ 2 2 \text{linearity\_score}=1-\min_{A\in R^{d\times d}}\parallel\tilde{X}A-\tilde{Y}\parallel_2^2 \\$
这个形式与Procrustes相似度几乎一致。仅有的差别是在考虑最小化时考虑所有线性变换，而不仅仅是正交变换，从而找出最优映射的均分误差。

这种方式在评估embedding线性度方面更具鲁棒性。不同于 $L_2$ 范数，其缺少尺度不变性，Procrustes normalization能够提供一个介于[0,1]的有界度量指标。令人惊讶的是，所有测试的transformer decoders的线性分数都接近于1，也就表明embedding的变换高度地线性(如上图1左所示)。

通过将每层的embedding值减去前一层embedding来评估main stream的线性度(即是否使用残差链接的embedding)，发现线性程度显著下降。此外，每个块对于范数的贡献较低会导致相邻层的embedding的cos相似度接近。

从另一个角度来看，看似线性块的组合可能导致非线性的结果。之前的一些研究也表明，应用了注意力头的transformer可以跨神经网络组件编码复杂特征。这也表明线性变换的累计影响可能会编码复杂的非线性表示。

三、预训练和微调中的线性动态

在这里插入图片描述

进一步探索在预训练和微调过程中的线性度动态。

如上图2所示，随着模型预训练的进行，main stream的线性度逐步下降。这种现象在所有测试的模型中都存在，这表明其是transformer-decoder学习动态的一个基础性质。

跨各种任务的微调阶段与预训练阶段相反，所有模型在微调过程中的线性度会增加。这个发现表明，任务相关的微调倾向于强化transformer模型中的线性特征。

四、使用正则化预训练改善线性度

为了理解transformer模型中线性度的影响，使用尺寸大小为150M和650M的Mistral架构进行预训练实验。这些模型在精心挑选的干净数据集上预训练，包括TinyStories和Tiny-textbooks。

引入特定的loss项来调整transformer层之间embedding的关系：

MSE正则化项
对连续层之间的embedding使用MSE正则化项，最小化这些embedding的距离，促进层间一致性。
$L_{\text{MSE}}=\lambda\sum(\parallel\text{emb}_i-\text{emb}_{i-1} \parallel^2) \\$
Cosine相似度正则化项
使用cosine相似度正则化项将相邻层的embedding角度差异降低至0。
$L_{\text{cosine}}=\lambda\sum(1-\cos(\text{emb}_i,\text{emb}_{i-1})) \\$