AI大模型600道面试总结(LLM)
1、目前主流的开源模型体系有哪些?
目前 主流的开源模型体系 分三种:
第一种:prefixDecoder系
介绍:输入双向注意力，输出单向注意力·
代表模型:ChatGLM、ChaGLM2、U-PaLM
·第二种:causal Decader系
介绍:从左到右的单向注意力
·代表模型:LLaMA-7B、LLaMa 行生物。
第三种:Encoder-Decoder
介绍:输入双向注意力，输出单向注意力。
代表模型:T5、FIan-T5、BART
2 prefix Decoder和causal Decoder 和Encoder-Decoder 区别是什么?
preflx Decoder和causal Decoder和Encoder-Decoder 区别在于 attention mask不同:
.Encoder-Decoder:
·在输入上采用双向注意力，对问题的编码理解更充分
·适用任务:在偏理解的 NLP任务上效果好
·缺点:在长文本生成任务上效果差，训练效率低;
causal Decoder.
自回归语言模型，预训练和下游应用是完全一致的，严格遵守只有后面的
token才能看到前面的token的规则;
适用任务:文本生成任务效果好
优点:训练效率高，zero-shot 能力更强，具有涌现能力
preix Decoder:
特点:prefix部分的token互相能看到，causal Decoder积Encoder-Decoder 折中
缺点:训练效率低
3 大模型LLM的训练目标是什么?
1.语言模型
根据 已有词 预测下一个词，训练目标为最大似然函数
训练效率:PrefixDecoder<Causal
DecoderCausal Decoder 结构会在 所有 token 上计算损失，而 Prefix Decoder 只会在 输出上计算损失。
1.去噪自编码器
随机替换掉一些文本段，训练语言模型去恢复被打乱的文本段。目标函数为:
去澡自编码器的实现难度更高，采用去噪自编码器作为训练目标的任务有GLM-130B、T5.
4、涌现能力是啥原因?
根据前人分析和论文总结，大致是2个猜想:
- 任务的评价指标不够平滑;
- 复杂任务 s子任务，这个其实好理解，比如我们假设菜个任务T有5个子任务 S山-T构成，每个 sub-T 随着模型增长，指标从
40%提升到60%，但是最终任务的招标只从 1.1%提升到了 7%，也就是说宏观上看到了涌现现象，但是子任务效果其实是平滑增长的。
5、为何现在的大模型大部分是Decoderonly结构?
因为decoder-only结构模型在没有任何微调数据的情况下，zero-shot的表现能力最好。而encoder-decoder则需要在一定量的标注数据上做multitask-finetuning才能够激发最佳性能,
目前的LargeLM的训练范式还是在大规模语料shang 做自监督学习，很显然zer0-shot性能更好的decoder-only架构才能更好的利用这些无标注的数据.
大模型使用decoder-only架构除了训练效率和工程实现上的优势外，在理论上因为Encoder的双向注意力会存在低秩的问题，这可能会削弱模型的表达能力。 就生成任务而言，引入双向注意力并无实质的好处，而Encoder-decoder模型架构之所以能够在某些场景下表现更好，大概是因为它多了一倍参数。所以在同等参数量、同等推理成本下，Decoder-only架构就是最优的选择了。
6、简单介绍一下大模型【LLMS】?
大模型:一般指1亿以上参数的模型，但是这个标准一直在升级，目前万亿参数以上的模型也有了。大语言模型(Large Language Mode，LLM)是针对语言的大模型。
7、大模型【LLMs】后面跟的175B、60B、540B等指什么?
175B、608、540B等:这些一般指参数的个数，B是Bion/十亿的意思，175B是1750亿参数，这是ChalGPT大约的参数规模。
这份《AI大模型600道面试总结(LLM)》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
PDF书籍： 完整版本链接获取
👉[CSDN大礼包🎁：《
AI大模型600道面试总结(LLM》免费分享（安全链接，放心点击）]👈
