- Transformer的出现,促进了更高容量模型的建立,为大模型的出现奠定基础. 🧐
- 大模型通常具有十亿个以上参数(仅供参考) 😮
- 左边的蓝色是CV领域、右下绿色是NLP、右上蓝色是多模态😃
- 基础模型(Foundational Models)首次由Bommasani等人在《Stanford Institute for Human-Centered AI》中引入,定义为“通过自监督或半监督方式在大规模数据上训练的模型,可以适应其它多个下游任务”
- 综述《On the Opportunities and Risk of Foundation Models》,深度剖析当时大规模预训练模型面临的机遇和挑战,文中将大模型统一命名为Foundation Models （？🤔）
- 在深度学习中，通常将模型分为三个部分：backbone、neck 和 head
- 深度学习中常用的Backbone:AlexNet、ResNet、VGG（好像有点过时😶，现在cv里的backbone可能是vit和swin-t😶)
- 未完待续
————————
最近要写糊弄期末作业（视觉大模型综述和大模型发展史）
画了个图，记录一下枯燥的水字数和水页数的过程
——— 2023.12.16
