Vanilla的含义
香草，是指热带攀缘兰的任何一种，以及从其荚中提取的调味剂。Plain vanilla 是一个形容词，描述某事物的最简单版本，没有任何可选的附加功能，基本的或普通的。与常见的冰淇淋味香草类似，随着人造香草醛香料的开发，香草味变得广泛且廉价。
“Vanilla” 这个词通常用于指代基本、标准、未加任何特殊定制或改进的版本。在计算机科学领域中，特别是在机器学习、人工智能和软件开发领域，“vanilla”经常用来描述最基本的、未经修改的实现或算法。
使用 "vanilla" 的原因
区分基础版本和变体: 随着研究的进展，研究人员会在基础模型上进行各种改进和扩展，例如添加新的层、改变激活函数或使用不同的训练方法。 "Vanilla" 有助于区分基础模型和这些变体。
强调模型的简单性: "Vanilla" 意味着模型的简单性和纯粹性，没有额外的复杂性。
作为比较基准: "Vanilla" 模型通常用作比较基准，以便评估其他模型或技术的改进效果。
示例：Vanilla Transformer
Vanilla Transformer 指的是最初由 Vaswani 等人在 "Attention is All You Need" 论文中提出的 Transformer 模型架构，没有任何额外的修改或改进。
其他类似的用法
vanilla RNN: 指代原始的递归神经网络 (RNN) 模型。
vanilla CNN: 指代原始的卷积神经网络 (CNN) 模型。
vanilla GAN: 指代原始的生成对抗网络 (GAN) 模型。
以下是一些不使用 vanilla 的例子
Transformer-XL: 指代 Transformer 模型的改进版本，具有更长的上下文依赖关系。
BERT: 指代 Transformer 模型的另一个改进版本，使用了双向编码器表示。
GPT-3: 指代 OpenAI 开发的大型语言模型，使用了自回归模型和解码器-only 架构。
总而言之，vanilla 是一个用于指代模型或算法原始版本的术语。它可以帮助人们更清楚地理解和交流有关模型或算法的信息。
