OpenAI大模型DecryptPrompt

what is prompt

综述1.Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing(五星好评)
综述2. Paradigm Shift in Natural Language Processing(四星推荐)
综述3. Pre-Trained Models: Past, Present and Future

Prompt即提示学习，是继预训练+微调范式后众望所归的第四范式。在预训练+微调的范式中我们调整预训练模型来匹配下游任务数据，本质是对预训练学到的众多信息进行重新排列和筛选。而Prompt是通过引入“提示信息”，让模型回忆起预训练中学过的语言知识，也就是调整下游数据来适配预训练模型，进而把所有NLP任务都统一成LM任务。

举几个例子，以下[x]为prompt提示词，[z]为模型预测

分类任务：
相比情绪分类对应的多分类0~N的输出，Prompt会输出对应代表情绪的token

抽取任务

生成任务

看着非常玄妙！但其实部分原理就来自于于超大的预训练数据中包含的丰富文本知识。例如English2French的翻译任务，在预训练文本中会自然出现一些英法的对应文本如下。而提示词的加入可以理解为尝试还原模型在以下场景中的上下文(Attention)

那和预训练+微调的范式相比，Prompt有什么优势？

微调参数量更小：这几年模型越来越大，连微调都变成了一件很奢侈的事情，而prompt出现提供了新的选择，可以freeze模型只对提示词进行微调
小样本场景: 不少Prompt模型是面向zero-shot，few-shot场景设计的
多任务范式统一：一切皆为LM！

Prompt模型的设计主要包含以下几个模块，

Pretrain Model Choice：GPT等Decoder，BERT等Encoder，BART等Encoder-Decoder
Prompt Engineering：离散模板（文本），连续模板（embedding)的设计。模型效果对模板的敏感性，以及人工模板设计的不稳定的和难度是需要解决的问题
Answer Engineering: 包括答案文本的搜索，和预测文本到标签的映射。相比分类标签，Prompt范式输出的答案多为文本，因此多了一步文本到标签的解析
Training Strategy：主要有4种不同类型，LM和Prompt都冻结的Tunning-free，微调LM冻结Prompt，冻结LM微调Prompt，和LM+Prompt微调

我们先按照Training Strategy的不同，来梳理下各个方向的基础模型，再进阶的前沿模型，哈哈所以得花点时间才能轮到ChatGPT。第一章介绍Tunning-Free Prompt，在下游任务使用中LM和Prompt都是冻结的，不需要针对下游任务进行微调，可以用于Zero-shot和few-shot场景，主要介绍下GPT2，GPT3，LAMA和AutoPrompt。

GPT2

GPT2:Language Models are Unsupervised Multitask Learners，2019.2
任务：NLG
Prompt: Discrete + Hand crafted Prompt
核心：Language Model本身就是无监督的多任务学习

在前BERT时代，通用文本表征-GenSen就探索过通过多任务得到在不同下游任务中泛化能力更好的文本表征，而后BERT时代，MQPN，MTDNN等模型也探索过如何通过多任务学习得到更加通用的大模型。

GPT2更往前迈了一步，它认为如果语言模型足够优秀，则在拟合P(output|input)的过程中，对p(output|input,task)也会进行学习，因为NLP任务信息本身就会在丰富的预训练预料中出现，例如上面我们举的翻译的case。和GPT相比，GPT2的创新就是在“LM是无监督多任务”这个观点上，所以GPT2的评测是基于无finetune的zero-shot场景进行的，旨在证明足够优秀的语言模型是可以不经过微调直接用在不同的下游场景中的。

那如何让模型针对不同的任务给出预测呢？作者通过在原始Input上加入任务相关提示词的方式，这不prompt就来了！举个栗子

Translation：English = 输入 French = ？
Summarization：文章 + TL；DR：？，这里TL；DR是Too Long; Didn't Read的缩写，可类比咱的‘一言以蔽之‘，会出现在大段文本的末尾作为总结升华，或者对话中

几年前看GPT2的论文，只觉得模型更大了(评估是用的1542M的版本是Bert-large的5倍)，样本更多了，zero-shot的能力挺新奇但是效果差点意思。如今从Prompt的角度重读，GPT2更像是在探索模型zero-shot能力的时候不小心推开了prompt的大门，从最直观的视角构建了Prompt提示词，也就是类似的任务在常规文本中是以什么形式（关键词）出现的，就以该形式构建文本输入即可~

除此之外GPT2对模型的微调以及构造了更大质量更高的数据集这里就不细说了~

GPT3

GPT3: Language Models are Few-Shot Learners， 2020.5
Making pre-trained language models better few-shot learners
任务：无所不能
Prompt: Discrete + Hand crafted Prompt + Prompt Augmentation
核心：大力出奇迹！175B大模型在few-shot，zero-shot的模型表现甚至可以比肩微调

GPT3是GPT2的延续，一方面旨在进一步提高模型的zero-shot能力，方法简单粗暴加参数就完事了！175Billion的参数首次证明了规模的量变会带来质变！[Ref8]详细论证了大模型会带来一些奇迹般的能力，包括更强的复杂推理，知识推理，和样本外泛化能力！

另一方面GPT3在few-shot场景做了很多尝试，提出了自带神秘光环的in-context learning，可以被归类为multi-prompt中的prompt augmentation方案~

175Billon！

GPT3的模型结构延续GPT系列，但测试了不同模型参数量级的8个模型在不同下游任务上的效果，从125M到175B，模型效果在zero/one/few-shot的设定下都有稳步提升。在TriviaQA等任务上175B的GPT3甚至超越微调模型拿到了SOTA，算是预训练模型超越微调模型的第一次。但在NLI(判断两个句子是相似，对立，中性)，WiC（判断一个单词是否在两个句子中含义相同）两个任务上GPT3的表现非常差，看起来似乎对涉及两个句子间逻辑推断的任务并不擅长。或许因为类似两个文本的逻辑推断在预训练文本中未出现过？

针对GPT3变态的模型大小，咱不聊技术垄断，OpenAI好有钱blabla我更好奇的是增长的参数究竟是如何提升模型能力？是更多的参数可以记忆更多的知识？还是更大的向量空间可以让模型学到更加线性可分的空间表征，使得下游任务对信息的解码更加简单，所以在few-shot场景有更好的表现？还没看到较严谨的论证，有知道的盆友求答疑解惑

In-context learning

论文在GPT2已有的zero-shot的基础上，提出了In-Context learning的概念，也称类比学习，上下文学习或者语境学习。有one-shot和few-shot两种方案，对应不同的增强Prompt的构建方式。随着模型参数量级的提升，few-shot，one-shot带来的效果提升更加显著。以英翻法任务为例

zero-shot: Prompt为任务描述

one-shot: Prompt Augmentation，任务描述+一个带答案的样本

few-shot: Prompt Augmentation，任务描述+多个带答案的样本

GPT3对其他NLP任务的prompt构建方案详见论文附录G~

对于Prompt Augmentation带来的效果提升，个人感觉in-context这个词的使用恰如其分，就是带答案的样本输入其实做了和任务描述相似的事情，也就是让待预测的输入处于和预训练文本中任务相关语料相似的上下文。带答案的样本比任务描述本身更接近自然的上下文语境。

不过prompt增强的构建还有许多细节待研究，例如抽取哪些样本更好，不同样本模型预测结果是否稳健，样本答案的构建方式，样本的顺序是否有影响等等。针对素材生成的场景没啥所谓，但是对抽取，分类，QA等任务，如果不同的prompt会得到显著不同的结果，就让人很头疼了~

[Ref6]的论文更深入的探究了in-context具体提供了哪些信息，作者定位到以下4类信息

输入标签的对应关系: 把样本标签改成错误标签，模型效果下降有限
标签分布：把标签改成随机单词，模型效果有显著下降
输入分布：在prompt中加入领域外文本，模型效果有显著下降
输入输出格式：改变双输入格式，在prompt中只保留标签或者只保留输入，模型效果都会有显著下降

GPT3正式推开了in-context learning的大门，模型参数也断层式的增长进入了Billon级别，后面的Flan，PaLM，LaMDA皆是这个大小。不过就效果而言GPT3在部分任务上依旧会被小模型T5吊打，以至于模型规模增长到底是否是正确的技术方向一度被质疑，直到之后的Chain of Thought出现才被逆转，这个放在后面章节再说~

LAMA

LAMA: Language Models as Knowledge Bases? 2019.9
Github: GitHub - facebookresearch/LAMA: LAnguage Model Analysis
任务：NLU（实事抽取）
prompt: cloze + Hand Craft Prompt
核心：不经过微调的Bert在知识抽取和开放与问答上效果惊人的好，可以比肩有监督的KG基准

LAMA是在GPT2和GPT3之间提出的一个探测(probe)任务，旨在研究预训练模型存储的知识信息，这里只考虑实体关系三元组(Subject, Relation, Object)。

LAMA设计的Probe方案就是人工设计的完形填空(cloze）类型的prompt模板。例如把出生地实体识别，转化成小明出生于[MASK]的完形填空任务，如果模型预测MASK正确，就认为模型掌握了这一知识。

来具体说下LAMA针对不同关系构建的Prompt模板。论文使用以下4个评测数据

Google-RE

Wikipedia抽取的事实，包括5种关系，论文只保留了出生地，死亡地，出生日期3种关系，因为剩余两种的预测结果为多token，而LAMA的答案模板限制只预测1个token。每种关系作者手工构建了Prompt填空模板，举个栗子

出生时间
- Federico Falco is an Argentinian writer born in [MASK] .
- Steve Lindsey (born May, 6th [MASK]) is an American record producer
出生地
- Lucy Toulmin Smith was born at [MASK], Massachusetts, USA
- Born in [MASK], New Jersey, Connor attended parochial schools as a child
死亡地
- Uvedale Tomkins Price died at [MASK] in 1764
- Lewin died on December 18, 2010, at the age of 84 in [MASK]

T-REx

wikidata三元组，比Google-RE范围更广，作者选取了41种关系，每种关系采样了1000条事实。每种关系作者手工构建了Prompt模板，部分Prompt如下

ConceptNet

多语言词之间的常识关系，作者只考虑object为英文单字的16种关系，部分prompt如下

SQuAD

QA数据集，论文选取了305条上下文无关，且回答为单字的问题。prompt模板通过人工把问题改造成MLM语句得到，举个例子

The Normans combine with the [MASK] culture in Ireland
Isaac's chains made out of [MASK].

因为LAMA只检测实体三元组关系，所以除Squad外的prompt模板可以抽象为'[X] relation [Y]'的完形填空形式, 但是prompt构建本身还是依赖人工，完整的LAMA数据集详见github~

这类Hand Crafted Prompt的构建主要有2个问题，一个是全靠人工，另一个在论文中也有提到就是不同的prompt对结果有较大影响，那如何找到最优的构建方案是个需要解决的问题

在Answer模板上LAMA限定了答案只能是token，这和它选择的预训练模型是BERT有关，所以Answer的解析没啥好说的就判断预测token是否正确即可。

其他探测任务相关的细节这里就不展开，感兴趣的盆友可以去看论文~

AutoPrompt

paper: AutoPrompt Eliciting Knowledge from Language Models，2020.10
github: GitHub - ucinlp/autoprompt: AutoPrompt: Automatic Prompt Construction for Masked Language Models.
任务：NLU（NLI，实事抽取，关系抽取）
prompt: Discrete + Gradient Search Prompt

AutoPrompt是在LAMA上的改进，针对LAMA需要人工构造Prompt的问题，提出了一种基于梯度自动生成提示词的方案。论文针对分类任务，作者设计了通用的prompt模板如下，在原始文本输入的基础上，拼接多个触发词[T]，最后一个MASK token为模型预测[P]。

下面分别针对Prompt和Answer Engineering来说下细节

Gradient-Based Prompt Search

LAMA的一个核心问题就是人工构造Prompt的成本和效果的不确定性，AutoPrompt借鉴了文本对抗AdvTrigger的梯度搜索方案，给定样本和模型可以自动搜索任务相关触发词。

AdvTrigger旨在找到和输入以及模型无关的通用Trigger，把这个Trigger拼接在输入文本的开头或者结尾可以使得模型得到特定的结果，可以是增加模型的误判率，使得模型输出有种族歧视的文本，或者让模型输出相同的错误结果等等。以下是AdvTrigger中给出的例子(注意以下案例只显示模型结果)