扩散模型入门

主要参考资料
B站视频《Sora 夜谈之 Video Diffusion 综述》

目录

  • 图像Diffusion模型发展脉络
  • 视频Diffusion模型发展脉络
  • 视频模型评价标准

图像Diffusion模型发展脉络

相较于直接在图像层Pixel space加噪和降噪,Latent Diffusion则通过编码增加了一层Latent层,在比较低的维度上计算,节省了计算资源。
在这里插入图片描述
而Stable diffusion就是其中最有名的一个开源模型。
在这里插入图片描述
右下角是Stable Diffusion XL与其他版本的比较。
在这里插入图片描述
ControlNet则是提供了其他模态,比如sketch或者骨骼图生成想要的效果。
在这里插入图片描述

视频Diffusion模型发展脉络

在这里插入图片描述
这是2022谷歌的第一个视频扩散模型,只能生成64×64,16帧的视频。
在这里插入图片描述
Meta后来做了一个提高分辨率和帧率的模型
在这里插入图片描述
在这里插入图片描述
以上都是在pixel space上生成的生成的视频,后来英伟达把Diffusion应用在视频上。
在这里插入图片描述

在这里插入图片描述

视频模型评价标准

视频模型评价标准分为主观和客观评价。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/429029.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

蓝牙耳机UI设计方法之表格法

是否需要申请加入数字音频系统研究开发交流答疑群(课题组)?可加他微信hezkz17, 本群提供音频技术答疑服务,+群赠送蓝牙音频,DSP音频项目核心开发资料, 1 表格设计方法 2 附录内容 序号需求原生音频文件english EN

基于springboot+vue的图书电子商务网站

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

Qt+FFmpeg+opengl从零制作视频播放器-2.环境搭建

1.环境介绍 Qt5.9.0VS2017ffmpeg4.4.3,这里版本均使用64位版本。 Qt的版本大于我这个版本都行。 opengl3.3,Qt已经封装好了QOpenGLWidget,直接使用Qt的就行。 Qt版本下载:Index of /archive/qt 2.ffmpeg下载 Releases BtbN…

鸿蒙即将抛弃Android,你还不来学习一下?

前言 最近移动开发圈子里,鸿蒙可谓出尽了风头,先是宣布即将正式发布的 Harmony OS Next 将完全剥离 Android 代码,也就是不再兼容 Android,化身为纯血的鸿蒙,紧接着又启动了鸿蒙生态千帆启航,伴随着的是众…

【论文阅读】(2006)Dual-Optimal Inequalities for Stabilized Column Generation

文章目录 摘要一、介绍二、对偶最优不等式(Dual-Optimal Inequalities)三、确定P的最优原始解四、二元切割下料问题4.1 约束聚合4.2 相等约束4.3 计算结果 五、切割下料问题5.1 计算结果 六、三元组的深度对偶最优不等式(Deep Dual-Optimal I…

『Linux从入门到精通』第 ㉕ 期 - System V 共享内存

文章目录 💐专栏导读💐文章导读🐧共享内存原理🐧共享内存相关函数🐦key 与 shmid 区别 🐧代码实例 💐专栏导读 🌸作者简介:花想云 ,在读本科生一枚&#xff0…

9.WEB渗透测试-Linux基础知识-Linux用户权限管理(上)

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 内容参考于: 易锦网校会员专享课 上一个内容:8.WEB渗透测试-Linux基础知识-Linux基础操作(二)-CSDN博客 用户管…

详细分析Linux内存知识并释放内存

目录 前言1. 基本知识1.1 free1.2 cat /proc/meminfo1.3 slabtop 2. 清空内存 前言 本篇文章主要分析内存 如果是磁盘空间,推荐阅读:服务器出现根目录磁盘满了解决方法 1. 基本知识 在Linux系统中,查看内存的基本知识包括以下几个方面&…

Nginx配置php起WoWSimpleRegistration服务

WoWSimpleRegistration服务的git地址: GitHub - TrinityCore/WoWSimpleRegistration: Simple Registration page for TrinityCore/AzerothCore/AshamaneCore/CMangos 下载WoWSimpleRegistration 首先git下载: git clone https://github.com/TrinityC…

嵌入式基础知识-信号量,PV原语与前趋图

本篇来介绍信号量与PV原语的一些知识,并介绍其在前趋图上的应用分析。本篇的知识属于操作系统部分的通用知识,在嵌入式软件开发中,同样会用到这些知识。 1 信号量 信号量是最早出现的用来解决进程同步与互斥问题的机制(可以把信…

基于springboot+vue的贸易行业crm系统

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

Ainx的全局配置

📕作者简介: 过去日记,致力于Java、GoLang,Rust等多种编程语言,热爱技术,喜欢游戏的博主。 📗本文收录于Ainx系列,大家有兴趣的可以看一看 📘相关专栏Rust初阶教程、go语言基础系列…

华硕B660-PLUS主板开机直接BIOS解决方案

一、背景说明 采购了配件,换了主机,主板是华硕的B660,没有显卡。然后把原电脑的固态硬盘和机械硬盘直接移过来。结果开机直接进bios,就是进不了系统,一直进入下面这个页面。 可以读取到两块硬盘,但是没有…

【Windows11】相关问题与解决方案

目录 frp内网穿透windows配置开机启动设置开机自启动内存使用率只有总内存容量的一半kms激活win10无法连接任何密钥管理服务器的解决方法 frp内网穿透windows配置开机启动 参考frp内网穿透windows配置开机启动 设置开机自启动 路径在C:\Users\用户名\AppData\Roaming\Micros…

uniapp实现进度条组件

首先&#xff0c;在uniapp项目中创建一个自定义组件&#xff0c;可以命名为Progress.vue。在Progress.vue中&#xff0c;编写如下代码&#xff1a; <template><view class"progress"><view class"progress-bar" :style"{width: progr…

Matlab 机器人工具箱 符合动力学

文章目录 1 符合化表示1.1 标准DH动力学1.2 改进DH动力学 质量集中在质心1.2 改进DH动力学 质量集中在末端1.3 程序问题1.3.1 Unable to perform assignment because value of type sym is not convertible to double.1.3.2 CAT arguments dimensions not consistent.参考链接1…

YOLOv5独家原创改进:特征融合涨点篇 | 广义高效层聚合网络(GELAN) | YOLOv9

💡💡💡本文独家改进:即结合用梯度路径规划(CSPNet)和(ELAN)设计了一种广义的高效层聚合网络(GELAN),高效结合YOLOv5,实现涨点。 将GELAN添加在backbone和head处,提供多个yaml改进方法 💡💡💡在多个私有数据集和公开数据集VisDrone2019、PASCAL VOC实现…

前端学习之HTML(第一天)

什么是HTML HTML是一种用来描述网页的一种语言&#xff0c;HTML不是一种编程语言&#xff0c;而是一种标记语言。 HTML标签 HTML 标签是由尖括号包围的关键词&#xff0c;比如 <html> HTML 标签通常是成对出现的&#xff0c;比如 <b> 和 </b> 标签对中的…

【微服务-Nacos】一篇文章教你搞定Nacos部署

前面我们提到过&#xff0c;在微服务架构中&#xff0c;Nacos注册中心属于核心组件&#xff0c;通常我们会采用高性能独立服务器进行部署&#xff0c;下面我们一起来看看Nacos部署过程&#xff1a; 1、环境准备 因为Nacos是支持windows和Linux系统的&#xff0c;且服务器操作…

订单超时取消如何实现

方法1&#xff1a; DelayQueue&#xff1a;超时作为排序条件&#xff0c;轮询订单头部&#xff0c;若超市&#xff0c;出队进行超时处理 优点&#xff1a;简单 缺点&#xff1a;不能持久化&#xff0c;并发量低 方法2&#xff1a; 方法四&#xff1a;定时调度&#xff08;什…