Re62：读论文 GPT-2 Language Models are Unsupervised Multitask Learners

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文全名：Language Models are Unsupervised Multitask Learners
论文下载地址：https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

官方博文：
Better language models and their implications
GPT-2: 6-month follow-up
GPT-2: 1.5B release

官方GitHub项目：openai/gpt-2: Code for the paper “Language Models are Unsupervised Multitask Learners”
对代码的整理和用代码实现GPT-2的解决方案请参考本文第4章

本文是OpenAI于2019年推出的GPT-2论文，核心思想是用无监督思路构建的语言模型来直接解决NLP问题，做一个通用大模型而非领域专家。
GPT-2本身也是个纯英文的模型。

GPT-1：Re45：读论文 GPT-1 Improving Language Understanding by Generative Pre-Training

GPT-2是因果/单向LM，预训练目标是通过前文预测下一个单词。

huggingface提供的在线试用GPT-2-large的平台：https://transformer.huggingface.co/doc/gpt2-large
打字后按Tab获得提示。
在这里插入图片描述

文章目录

  • 1. 研究背景
  • 2. 模型
  • 3. 实验
    • 3.1 数据集
    • 3.2 实验结果
      • LM实验结果
      • 下游任务实验结果
      • Generalization vs Memorization
      • OOD生成样例
  • 4. 复现
    • 4.1 官方代码
    • 4.2 基于transformers实现GPT-2
      • 4.2.1 基于GPT2LMHeadModel + PyTorch原生框架实现S2S任务微调和推理
      • 4.2.2 基于GPT2LMHeadModel + transformers.Trainer微调GPT-2
  • 5. 本文撰写过程中参考的其他网络资料

1. 研究背景

现在的有监督方法的缺点：有监督模型不鲁棒，只能在IID测试集上表现良好。当前已经开始研究多任务通用模型，但多任务学习表现不好，而且要求高标注量。

现在的预训练方法还需要有监督微调。

2. 模型

语言模型：
在这里插入图片描述

在这里插入图片描述

可以用文本生成任务来建模所有NLP任务，这种思路统一了无监督和有监督任务的形式。

不同大小的GPT-2：
在这里插入图片描述

  1. tokenization
    Byte Pair Encoding (BPE) 改造版：原始BPE是贪心，这导致重复相似词出现，导致非最优和占空间。本文改为不让它在字节序列之间合并。
  2. Layer normalization：加到每个sub-block输入，和最后一个self-attention block后
  3. 词表、上下文长度、batchsize增大
  4. 学习率是手动调整的，目标使测试集（5% WebText）perplexity最低
  5. 模型仍未收敛
  6. 位置向量
    绝对位置编码，默认pad到右边。

3. 实验

3.1 数据集

语料：WebText
来源于爬虫

在预训练时删掉了非英语网页（所以翻译效果不好也很正常）

语料中蕴含的翻译知识：
在这里插入图片描述

下游多任务：
阅读理解：CoQA
翻译：WMT-14 Fr-En
摘要：CNN and Daily Mail
QA：Natural Questions

3.2 实验结果

LM实验结果

基本上都是模型尺寸越大，效果越好。

在这里插入图片描述

CBT：
在这里插入图片描述

LAMBADA

Winograd Schema Challenge：commonsense reasoning
在这里插入图片描述

在这里插入图片描述

下游任务实验结果

零样本多任务，模型尺寸越大，效果越好：
在这里插入图片描述

生成摘要的prompt：TL;DR:
在这里插入图片描述

翻译给出少样本上下文（english sentence = french sentence）和prompt（english sentence =）

QA：
在这里插入图片描述
可以看出GPT-2置信度高的样本准确率确实高。

Generalization vs Memorization

训练集与测试集重复度较低，所以可以认为模型是真的实现了泛化，而不是单纯的记忆。

语料训练集与测试集的重复程度：（第一行是原始数据的训练集，第二行是WebText的训练集）
在这里插入图片描述
文字描述的下游数据上的重复率略。

这个是通过8-gram布隆过滤器计算的，具体略。

8-gram覆盖率

在这里插入图片描述

OOD生成样例

在这里插入图片描述

更多示例见论文附录和官方博客，我就不列出来了。

4. 复现

4.1 官方代码

官方代码是5年前的TensorFlow 1，想想就知道我不可能会。TensorFlow是不可能学的，这辈子都不可能学TensorFlow的，PyTorch又好用，社区丰富，超喜欢这里的。

BPE tokenize：https://github.com/openai/gpt-2/blob/master/src/encoder.py

建模：https://github.com/openai/gpt-2/blob/master/src/model.py

生成：https://github.com/openai/gpt-2/blob/master/src/sample.py

无条件生成文本：https://github.com/openai/gpt-2/blob/master/src/generate_unconditional_samples.py

有条件（基于prompt）生成文本：https://github.com/openai/gpt-2/blob/master/src/interactive_conditional_samples.py

4.2 基于transformers实现GPT-2

GPT-2是AR语言模型，所以要用语言模型（AutoModelWithLMHead）来实现各项任务。不是seq2seq模型，所以应该不能用seq2seq模型的框架……
不过我也没试过那么干就是了……

官方提供的GPT-2权重（都是纯英文的）：
openai-community/gpt2 · Hugging Face：OpenAI官方提供的最小的GPT-2权重

https://huggingface.co/openai-community/gpt2-medium
https://huggingface.co/openai-community/gpt2-large
https://huggingface.co/openai-community/gpt2-xl

https://huggingface.co/distilbert/distilgpt2

4.2.1 基于GPT2LMHeadModel + PyTorch原生框架实现S2S任务微调和推理

数据集构建：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/GPT2DataSet.py

微调：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/finetune.py

推理：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/test.py
关于generate()函数的使用可以参考这篇博文：文本生成解码策略及其在transformers中的代码实现  及配套的代码，展示了不同解码方案输出的效果：https://github.com/PolarisRisingWar/all-notes-in-one/blob/main/decode_examples_in_GPT2.ipynb

4.2.2 基于GPT2LMHeadModel + transformers.Trainer微调GPT-2

参考代码：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/finetune_w_Trainer.py

5. 本文撰写过程中参考的其他网络资料

  1. OpenAI GPT2
  2. https://github.com/huggingface/transformers/blob/main/examples/pytorch/text-generation/run_generation.py：这个是transformers的AR语言模型的示例
  3. Fine-tune a non-English GPT-2 Model with Huggingface：用德语语料训练GPT-2的示例，本文撰写基于Trainer微调时参考了这篇博文的代码
  4. python - How to build a dataset for language modeling with the datasets library as with the old TextDataset from the transformers library - Stack Overflow：这篇的意义就是跳转到下面这个讨论↓
  5. Help understanding how to build a dataset for language as with the old TextDataset - 🤗Datasets - Hugging Face Forums
  6. 图解GPT-2 | The Illustrated GPT-2 (Visualizing Transformer Language Models)-CSDN博客：这篇具体介绍了GPT-2原理
    我之前写的Transformer和GPT-1的博文其实也有涵盖，但是没有这篇这么有针对性。而且这篇对attention的介绍与我写的理解角度不同，可资参考。补充的点在于 ① 最后一个block输出与embedding相乘得到logits，对这个logits进行采样得到预测token ② GPT-2一般用top-k=40
  7. 图解自注意力机制_masked self-attention-CSDN博客：上文中的自注意力部分独立成章
    这个masked attention图画得挺到位的，带了数字而且颜色更好看：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    这篇补充多头注意力机制peojection过程是不改变维度的
  8. https://github.com/huggingface/transformers/blob/870ff9e1dab249e4ffd8363ce132aa5145c94604/src/transformers/models/gpt2/modeling_gpt2.py：transformers官方实现
    代码集成性太高了，一下子看不懂，以后有时间慢慢研究吧
  9. GPT-2 论文+代码笔记 | Yam：这篇对论文做了解读，同时对GPT-2原代码做了解读，内容很全面。
    用Conv1d做线性转换这事真奇怪啊……
  10. GPT-2代码解读[2]：Attention_gpt attention qpv-CSDN博客：这篇主要的特色是对GPT-2原代码中attention部分进行解读
    ↑虽然但是，我也不用TF 1……总之是值得在需要时进一步了解的。但是，有没有PyTorch实现更简洁的解读啊
  11. Training CodeParrot 🦜 from Scratch：这篇博文涵盖了更多大模型训练技巧，包括对多卡的处理。由于我暂时用不到所以没细看，如果有需要可以看看。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/468030.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

jar读取目录配置、打包jar后无法获取目录下的配置

jar读取目录配置、打包jar后无法获取目录下的配置

jar读取目录配置、打包jar后无法获取目录下的配置 jar读取目录配置、打包jar后无法获取目录下的配置。java打成jar包后获取不到配置文件路径。解决项目打成jar包上线无法读取配置文件。打包jar后无法读取resource下的配置文件 场景 需要读取 src/main/resources/mapper下的所…
阅读更多...
计算机网络：TCP篇

计算机网络：TCP篇

计网tcp部分面试总结 tcp报文格式： 序列号：通过SYN传给接收端，当SYN为1，表示请求建立连接，且设置序列号初值，后面没法送一次数据，就累加数据大小，保证包有序。 确认应答号&#x…
阅读更多...
算法——贪心算法

算法——贪心算法

《算法图解》——贪心算法 # 首先创建一个表，包含所覆盖的州 states_needed set([mt,wa,or,id,nv,ut,az]) # 传入一个数组，转换成一个集合#可供选择的广播台清单 stations {} stations[kone] set([id,nv,ut]) #用集合表示想要覆盖的州，且不…
阅读更多...
【IC设计】Verilog线性序列机点灯案例(四)（小梅哥课程）

【IC设计】Verilog线性序列机点灯案例(四)（小梅哥课程）

文章目录 该系列目录：设计环境设计目标设计思路RTL及Testbench代码RTL代码Testbenchxdc约束 仿真结果 声明：案例和代码来自小梅哥课程，本人仅对知识点做做笔记，如有学习需要请支持官方正版。 该系列目录： Verilog线性…
阅读更多...
ChatGPT是什么，怎么使用，需要注意些什么？

ChatGPT是什么，怎么使用，需要注意些什么？

一、ChatGPT 是什么？ ChatGPT，全称聊天生成预训练转换器（Chat Generative Pre-trained Transformer），是 OpenAI 开发的人工智能(AI)聊天机器人程序，于2022年11月推出。该程序使用基于GPT-3.5、GPT-4架构的…
阅读更多...
编写一个sum函数，由用户输入参数n，并计算1到n的整数和--c语言

编写一个sum函数，由用户输入参数n，并计算1到n的整数和--c语言

#include<stdio.h> int sum(int n); int sum(int n) {int result0;do{resultresultn;//先从n开始加}while(n-->0);return result; }int main() {int n,result;printf("请输入参数");scanf("%d",&n);printf("结果是&#xff1a;%d",…
阅读更多...
【腾讯云 TDSQL-C Serverless 产品体验】TDSQL-C MySQL Serverless实践之路

【腾讯云 TDSQL-C Serverless 产品体验】TDSQL-C MySQL Serverless实践之路

【腾讯云 TDSQL-C Serverless 产品体验】TDSQL-C MySQL Serverless实践之路 腾讯云TDSQL-C联合CSDN推出了一款云数据库产品测评活动&#xff0c;让我们一起来体验一下。 一、什么是云数据库&#xff1f; 云数据库是指被优化或部署到一个虚拟计算环境中的数据库&#xff0c;可以…
阅读更多...
数码管的动态显示（四）

数码管的动态显示（四）

1.原理 2.代码 2.1 seg_595_dynamic.v module seg_595_dynamic(input wire sys_clk ,input wire sys_rst_n ,input wire[19:0] data ,input wire[5:0] point ,input wire sign ,input wire seg_en ,output wire ds ,output wire oe…
阅读更多...
.htaccess全站设置SSL,wordpress全站设置SSL，网站重定向的次数过多”错误最佳解决方法教程

.htaccess全站设置SSL,wordpress全站设置SSL，网站重定向的次数过多”错误最佳解决方法教程

.htaccess全站设置SSL,wordpress全站设置SSL&#xff0c;网站重定向的次数过多”错误最佳解决方法教程 网上找了很多教程网无效**.htacces**设置&#xff0c;访问后台出现重定向次数过多&#xff0c;导致无法访问 找了好久&#xff0c;测试用AI机器人无法解决&#xff0c;参考…
阅读更多...
基于PyTorch的视频分类实战

基于PyTorch的视频分类实战

1、数据集下载 官方链接&#xff1a;https://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database/#Downloads 百度网盘连接&#xff1a; https://pan.baidu.com/s/1sSn--u_oLvTDjH-BgOAv_Q?pwdxsri 提取码: xsri 官方链接有详细的数据集介绍&#xf…
阅读更多...
ASP .Net Core 8.0 依赖注入的三种注入模式

ASP .Net Core 8.0 依赖注入的三种注入模式

&#x1f433;前言 &#x1f340;在.NET中&#xff0c;依赖注入&#xff08;Dependency Injection&#xff0c;简称DI&#xff09;是一种设计模式&#xff0c;用于解耦组件之间的依赖关系。 依赖注入的核心思想是将对象的依赖关系&#xff08;即对象所需的其他服务或组件&#…
阅读更多...
【系统架构设计师】软件架构设计 02

【系统架构设计师】软件架构设计 02

系统架构设计师 - 系列文章目录 01 系统工程与信息系统基础 02 软件架构设计 文章目录 系统架构设计师 - 系列文章目录 文章目录 前言 一、软件架构的概念 ★★★ 二、基于架构的软件开发 ★★★★ 三、软件架构风格 ★★★★ 1.数据流风格 2.调用/返回风格 3.独立构件风格…
阅读更多...
鸿蒙Harmony应用开发—ArkTS声明式开发（绘制组件：Polygon）

鸿蒙Harmony应用开发—ArkTS声明式开发（绘制组件：Polygon）

多边形绘制组件。 说明&#xff1a; 该组件从API Version 7开始支持。后续版本如有新增内容&#xff0c;则采用上角标单独标记该内容的起始版本。 子组件 无 接口 Polygon(value?: {width?: string | number, height?: string | number}) 从API version 9开始&#xff0…
阅读更多...
面试经典150题【81-90】

面试经典150题【81-90】

文章目录 面试经典150题【81-90】530.二叉搜索树的最小绝对差值230.二叉搜索树中第k小的元素98.验证二叉搜索树92.反转链表II25.K个一组翻转链表146.LRU缓存909. 蛇梯棋&#xff08;未做&#xff09;433.最小基因变化127.单词接龙&#xff08;未做&#xff09;17.电话号码的字母…
阅读更多...
C++Qt学习——QFile、QPainter、QChart

C++Qt学习——QFile、QPainter、QChart

目录 1、QFile&#xff08;文本读写&#xff09;——概念 1.1、拖入三个控件&#xff0c;对pushButton进行水平布局&#xff0c;之后整体做垂直布局 1.2、按住控件&#xff0c;转到槽&#xff0c;写函数 1.3、打开文件控件 A、首先引入以下两个头文件 B、设置点击打开文件控…
阅读更多...
c语言，联合体

c语言，联合体

一.什么是联合体&#xff1a; 像结构体一样&#xff0c;联合体也是由一个或多个成员变量组成的这些成员变量可以是不同的类型&#xff0c;但编译器只给最大成员分配足够的内存&#xff0c;联合体体内的成员都是公用一块空间的&#xff0c;因此联合体也叫做共同体 二.联合体类…
阅读更多...
MySql安装与卸载—我耀学IT

MySql安装与卸载—我耀学IT

1.MySql安装 打开下载的mysql安装文件mysql-5.5.27-win32.zip&#xff0c;双击解压缩&#xff0c;运行“setup.exe”。 选择安装类型&#xff0c;有“Typical&#xff08;默认&#xff09;”、“Complete&#xff08;完全&#xff09;”、“Custom&#xff08;用户自定义&…
阅读更多...
04｜调用模型：使用OpenAI API还是微调开源Llama2/ChatGLM？

04｜调用模型：使用OpenAI API还是微调开源Llama2/ChatGLM？

大语言模型发展史 Transformer是几乎所有预训练模型的核心底层架构。基于Transformer预训练所得的大规模语言模型也被叫做“基础模型”&#xff08;Foundation Model 或Base Model&#xff09;。 在预训练模型出现的早期&#xff0c;BERT毫无疑问是最具代表性的&#xff0c;也…
阅读更多...
HTTP 工作流程请求响应 - 面试常问

HTTP 工作流程请求响应 - 面试常问

文章目录 HTTP 工作流程请求和响应格式HTTP请求格式请求行&#xff1a;请求头部字段&#xff1a;空行&#xff1a;消息正文&#xff08;请求正文&#xff09;&#xff1a; HTTP响应格式状态行&#xff1a;响应头部字段&#xff1a;空行&#xff1a; HTTP方法HTTP状态码常用HTTP…
阅读更多...
详解基于快速排序算法的qsort的模拟实现

详解基于快速排序算法的qsort的模拟实现

目录 1. 快速排序 1.1 快速排序理论分析 1.2 快速排序的模拟实现 2. qsort的模拟实现 2.1 qsort的理论分析 2.2 qsort的模拟实现 qsort函数是基于快速排序思想设计的可以针对任意数据类型的c语言函数。要对qsort进行模拟实现&#xff0c;首先就要理解快速排序。 1. 快…
阅读更多...
最新文章

Copyright @ 2022~2023