Hung-yi Lee 课件整理

---

ChatGPT是在2022年12月7日上线的。
当时试用的感觉十分震撼。

误解1

我们想让chatGPT讲个笑话，可能会以为它是在一个笑话的集合里面随机地找一个笑话出来。
我们做一个测试就知道不是这样的了。

读完这个笑话，显然不是人讲出来的笑话，是机器生成的。

还有这样的，他还要解释一下这个笑话的笑点在哪里。

这个笑话更神奇。

这显然不是人想出来的笑话，笑点很奇怪。

误解2

当我们问chatGPT “什么是Diffusion Model”的时候，可能会以为它是在网络上搜索了很多相关的文章，然后整理重组出来的。

实际上多数ChatGPT的答案在网络上都找不到一模一样的句子，甚至有很多感觉是幻想出来的。

举一个例子，让ChatGPT展示“念能力”的网页，它理解成了念书，而且生成的这些链接都是无效链接，看着像模像样，结果是它幻想出来的。

这个是来自OpenAI的官方澄清，讲到ChatGPT是没有联网的，而且信息来自2021年之前，真假需要自己判断。
这句话的意思是它的生成内容不是来源于某一篇特定的文章，是它自己学习到的，自己生成的。

ChatGPT真正在做的事情-文字接龙

我们把ChatGPT看作一个函数，它的输入是一个句子，输出这个句子后面应该接的词汇的概率。
但是这样它也只能产生词，而不是句子。
实际上它会把产生的第一个词加到原来的句子后面再重新输入给这个函数，看看这时候概率最大的词是什么，这时候“机”的后面概率最大的可能就是“器”。
然后把“器”作为输入丢给函数，这样反复下去。
在它输出的所有符号里面会有一个代表结束的符号。
当sample出的符号是结束符号，这个回答就结束了。

---

它是怎么考虑过去的历史对话记录呢？
原理是一样的。
同一个对话里面的所有信息都会输入给这个函数，让这个函数决定下一步接哪一个词汇。
这个函数显然十分复杂，可能有1700亿个参数，GPT-3有1700亿个参数，ChatGPT的参数应该不会比它少。

当我们说ChatGPT是语言模型的时候实际上就是在说它是一个文字接龙的模型。

---

接下来要说的是这个神奇又复杂的函数是怎么被找出来的？
我们说它是通过人类老师和网上大量的资料找出来的。
当这个函数被找出来的时候就不需要网络资料了。