一图梳理多模态领域发展简史

article2024/11/15 10:18:32/文章来源:https://blog.csdn.net/qq_44949041/article/details/135229917

本文采用关系图的方式整理了：CLiP、ViLT、FLiP、ALBEF、CoCa、BLiP、VLMo、BEiT 和BEiT v3等近几年来经典的多模态大模型，以及这些工作的相互依托关系。灵感来自：跟李沐读论文系列——多模态串讲

1 模型关系图：

’

2 各模型的架构图：

’

3 参考及学习资料

跟李沐读论文系列：

多模态论文串讲上
多模态论文串讲下

知乎——多模态大模型超详细解读

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/272566.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

Power BI 学习

数据获取数据清洗对导入的数据进行数据整理的过程一般称为「数据清洗」，之所以称之为清洗，是因为在数据分析师眼中，杂乱的数据就是脏数据，只有被清洗成干净的数据后才可以进行分析使用。数据丰富操作 1.复制列点击列名选…

Spring之提前编译：AOT

学习的最大理由是想摆脱平庸，早一天就多一份人生的精彩；迟一天就多一天平庸的困扰。各位小伙伴，如果您： 想系统/深入学习某技术知识点… 一个人摸索学习很难坚持，想组团高效学习… 想写博客但无从下手，急需…

讯飞星火认知大模型智能语音交互调用

随着国内外大模型热度的兴起，依托于大模型的智能化，传统的人机交互已经不能满足人们交互的需求。而结合语音和大模型的交互拜托传统互联网获取知识的文字限制，用语音也可以轻松获取想要的知识和思路。一、大模型智能语音交互调用实现思路 …

1、安装helm 下载脚本安装 ~# curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 ~# chmod 700 get_helm.sh ~# ./get_helm.sh或者下载包进行安装 ~# wget https://get.helm.sh/helm-canary-linux-amd64.tar.gz ~# mv helm …

智能监测/检测系统EasyCVR国标接入无法播放是什么原因？该如何解决？

安防视频监控/视频集中存储/云存储/磁盘阵列EasyCVR平台可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等。平台既具备传统安…

acwing linux docker教程

终章听着名字还挺伤感的哈哈哈其实是Linux的终章，感谢大家这段时间的阅读，这段使时间我为了给大家清楚的讲解一下Linux自己也是很认真的学习了一遍，自己提升了也不少。其实最近学校里面是讲了Linux和windows server 2019搭载DNS、web、ftp服…

YOLOv5改进 | 主干篇 | ShuffleNetV2轻量化网络助力FPS提高（附代码+修改教程）

一、本文内容本文给大家带来的改进内容是ShuffleNetV2，这是一种为移动设备设计的高效CNN架构。其在ShuffleNetV1的基础上强调除了FLOPs之外，还应考虑速度、内存访问成本和平台特性。(我在YOLOv5n上修改该主干降低了GFLOPs,但是参数量还是有一定上涨&am…

『JavaScript』全面掌握JavaScript数组的操作、方法与高级技巧

📣读完这篇文章里你能收获到学习JavaScript中数组的基本操作掌握JavaScript数组的多种内置方法了解JavaScript中的数组扩展运算符、Array.from()和Array.of()等实用技巧熟悉如何在JavaScript中使用数组方法进行数据处理文章目录一、基本操作1. 创建数组2. 访问和…

【Spring实战】07 JPA

文章目录 1. 定义2. 出现原因3. 添加依赖4. 使用1）创建 Repository 接口2）自定义查询方法（非必须）3）创建实体类4）调用方法 5. 验证6. 优点7. 缺点8. 详细代码总结 1. 定义 Spring Data JPA 是 Spring 提供…

IP 地址归属地查询

IP 地址归属地查询 1. IP 地址归属地查询2. IP 地址归属地查询References 1. IP 地址归属地查询 https://tool.lu/ip/index.html 2. IP 地址归属地查询 https://www.ip.cn/ip/.html References [1] Yongqiang Cheng, https://yongqiang.blog.csdn.net/

OpenAI GPT 模型 API 接口新增参数 top_logprobs 和 logprobs

文章目录一、前言二、主要内容三、总结 🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 一、前言在最新的 OpenAI 官方 APIs 文档中，Create chat completion 中新增了 top_logprobs 和 logprobs 这两个关键参数。官方文档地址&#xff…

掌握ElasticSearch（一）：Elasticsearch安装与配置、Kibana安装

文章目录〇、简介1.Elasticsearch简介2.典型业务场景3.数据采集工具4.名词解释一、安装1.使用docker(1)创建虚拟网络(2)Elasticsearch安装步骤 2.使用压缩包二、配置1.目录介绍2.配置文件介绍3.elasticsearch.yml节点配置4.jvm.options堆配置二、可视化工具Kibana1.介绍2.安…

MuJava提供的方法级别的7类变异算子总结

MuJava简洁 Java (muJava) 是 Java 程序的变异系统。它自动生成用于传统突变测试和类级别突变测试的突变体。 Java 可以测试单个类和多个类的包。用户以对封装在单独 JUnit 类的方法中的被测类的方法调用序列的形式提供测试。官网地址：Java Home Page 归档表格…

计算机网络面试题目

概述： 1、协议和服务之间的区别（协议是水平的，服务是垂直的） 2、计算机网络有那些层应用层通过主机中进程的交互完成特定的网络应用。运输层提供两台主机间的进程之间的通信。网络层对传输层传下来的数据包封装，通过路…

使用 GPT4V+AI Agent 做自动 UI 测试的探索

一、背景从 Web 诞生之日起，UI 自动化就成了测试的难点，到现在近 30 年，一直没有有效的手段解决Web UI测试的问题，尽管发展了很多的 webdriver 驱动，图片 diff 驱动的工具，但是这些工具的投入产出比一直被…

VMware虚拟机的安装配置

目录一. VMware虚拟机的安装二. VMware配置虚拟机三. VMware安装windows server 2012 一. VMware虚拟机的安装 1. 双击安装，点击下一步 2. 勾选接受许可，点击下一步 3. 选择安装位置，点击下一步 4. 用户体验设置（可选&#…

【三维目标检测】【自动驾驶】IA-BEV：基于结构先验和自增强学习的实例感知三维目标检测（AAAI 2024）

系列文章目录论文：Instance-aware Multi-Camera 3D Object Detection with Structural Priors Mining and Self-Boosting Learning 地址：https://arxiv.org/pdf/2312.08004.pdf 来源：复旦大学英特尔Shanghai Key Lab /美团文章目录系列文…

张江智荟毁约offer

毕业8年后，找工作被国企歧视学历！已经收到了offer，在入职前一周被通知要撤回offer，拒绝录用，理由居然是他们只要本科211以上的人这是我今天（2023-12-26）亲身经历的事，听说过面试前…

string类的函数讲解

标准库中的string类首先关于string类的了解，我先给出官方的string类的讲解，以便于大家的学习：链接: http://www.cplusplus.com/reference/string/string/?kwstring 这个网站是C官方网站，里面对于各个关键字和库函数的讲解都是很…

鸿蒙开发中的一些小问题

这是我在学习鸿蒙开发中遇见的小问题 Q1：This custom component must have a build function. <etsLint>Q2：page_title is not translated into en_US(American English)Q3：Module "../CustomComponent/CustomButton" declar…