Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free Videos

article2024/12/26 11:13:30/文章来源:https://blog.csdn.net/weixin_44994838/article/details/139268775

清华深&港科&深先进&Tencent AAAI24
https://github.com/mayuelala/FollowYourPose

问题引入

本文的任务是根据文本来生成高质量的角色视频，并且可以通过pose来控制任务的姿势；
当前缺少video-pose caption数据集，所以提出一个两阶段的训练，可以利用image-pose数据和pose free video数据；
第一阶段首先使用pose-image pair来训练pose encoder，第二阶段使用pose free video来训练时序模块；

methods

将任务分解为两个子问题，首先image-pose pair数据来实现pose控制，视频数据来实现帧间的一致性；
训练阶段1Pose-Controllable Text-to-Image Generation：pose encoder模块 $E_p$
训练阶段2Video Generation via Pose-free Videos：时序模块；

实验

Laion-Pose训练第一阶段，HDVILA第二阶段；

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/654274.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

【ARM+Codesys案例】T3/RK3568/树莓派+Codesys枕式包装机运动控制器

枕式包装机是一种包装能力非常强，且能适合多种规格用于食品和非食品包装的连续式包装机。它不但能用于无商标包装材料的包装，而且能够使用预先印有商标图案的卷筒材料进行高速包装。同时，具有稳定性高、生产效率高，适合连续包装、…

[图解]伪创新并不宣传自己简单易学

1 00:00:00,450 --> 00:00:04,790 今天这个题目，主要是解答一道 2 00:00:05,580 --> 00:00:07,490 前一阵出过的竞赛题 3 00:00:11,700 --> 00:00:15,170 因为这道题导致我们很多人做错了 4 00:00:15,600 --> 00:00:21,690 然后竞赛的轮次一直没有能…

C++学习日记 | LAB 6 static library 静态库

资料来源：南科大余仕琪 C/C Program Design LINK：CPP/week06 at main ShiqiYu/CPP GitHub 一、本节内容本节主要介绍静态库和动态库。 1.1 静态库和动态库的概念静态链接和静态库(也称为存档)是链接器将所有使用的库函数复制到可执行文件的结果。静…

存内计算从浮点运算优化对数据经济的提升

本篇文章将介绍存内计算技术对于数据经济的提升，我们将从提出问题、解答问题与阐述应用三个方面进行展开介绍，并引入浮点存算、等新兴存算技术进行简要介绍。一.数据经济&存内计算，结合是否可行？ 数据经济与存内计算&#…

恭喜社区迎来新PMC成员！

恭喜Apache SeaTunnel社区又迎来一位PMC Memberliugddx！在社区持续活跃的两年间，大家经常看到这位开源爱好者出现在社区的各种活动中，为项目和社区发展添砖加瓦。如今成为项目PMC Member，意味着在社区中的责任更重了，他…

Github Page 部署失败

添加 .gitmodules 文件 [submodule "themes/ayer"]path themes/ayerurl https://github.com/Shen-Yu/hexo-theme-ayer.git 添加 .nojekyll 文件

文心一言 VS 讯飞星火 VS chatgpt （269）-- 算法导论20.2 4题

四、修改 proto-vEB 结构，以支持重复关键字。如果要写代码，请用go语言。文心一言： 在原始的 van Emde Boas 树（vEB tree）结构中，关键字（key）是唯一的，不允许有重复的关…

.NET 轻量级、高效任务调度器：ScheduleTask

前言至于任务调度这个基础功能，重要性不言而喻，大多数业务系统都会用到,世面上有很多成熟的三方库比如Quartz，Hangfire，Coravel 这里我们不讨论三方的库如何使用而是从0开始自己制作一个简易的任务调度,如果只是到分钟级别的粒…

firewall-cmd --set-default-zonedropfirewall-cmd --get-active-zone记录下当前激活网卡firewall-cmd --permanent --change-interfaceens33 --zonedrop firewall-cmd --zonedrop --list-all 添加信任的源IP和开放端口 firewall-cmd --permanent --add-source192.168.254.1 -…

pikachu—exec“eval“

这是原画面然后呢？ 我们知道会传入到后台rce_eval.php来处理然后通过 eval()是啥? 在eval括号里面可以执行外来机器的命令然后我们通过php的一个内置的命令我们通过phpinfo()； 这是输入后的结果

华为机考入门python3--（26）牛客26-字符串排序

分类：字符串知识点： 字符串是否仅由字母构成 my_str.isalpha() 字母列表按小写排序 letters.sort(keylambda x: x.lower()) 题目来自【牛客】 def custom_sort(input_str):letters []non_letters []for char in input_str:if char.isalpha…

打工人都在偷偷做的副业项目—steam搬砖

steam搬砖其实是一个非常老牌的项目了，之前只有玩游戏玩市场的人知道，其他普通人都不知道。我们陪跑这个项目不是说这个项目不行了，再拿出来割韭菜，现在依然可以做，我们本身就是项目和培训一比一在做，这一…

R语言学习 - 箱线图一步法

箱线图 - 一步绘制绘图时通常会碰到两个头疼的问题： 1、有时需要绘制很多的图，唯一的不同就是输入文件，其它都不需要修改。如果用R脚本，需要反复替换文件名，繁琐又容易出错。 (R也有命令行参数，不熟&…

关于高性能滤波器和普通型滤波器的区别说明

高性能滤波器和普通型滤波器在性能和滤波效果上存在显著差异。以三安培为代表分析高性能滤波器和普通型滤波器的区别： 从上图曲线可看出： 1.高性能滤波器和普通型滤波器的滤波范围不同。普通型滤波器有效滤波范围为 150KHz~30MHz，而高性能滤…

QColor官网文档简介

颜色可以用不同的模型来进行表示,常见的有RGB,HSV或者CMYK.QColor基于RGB值创建颜色,如果要转接到HSV或者CMYK需要使用转接函数toHsv() toCmyk() 返回期望格式的副本 get...和set...函数具体参见文档用isValid()检查RGB颜色是否合法颜色组成部分可以单独检索QRgb是一种无符号整…

Hololens 2 新建自定义按钮

官方链接地址 1、创建Cube 2、添加PressableButton脚本，并点击AddNearin… 3、把Cube拖入到MovingButtonVisuals变量中 4、点击NearInteractionTouchable组件（这个组件是添加和上一个脚本绑定的，自动添加上来的）上的Fix… 5、…

一文搞懂oracle事务提交以及脏数据落盘的原则

本文基于oracle 19c 做事务提交以及oracle脏数据落盘的相关解读第一章相关进程及组件介绍： 1.LGWR： 重做日志条目在系统全局区域 （SGA） 的重做日志缓冲区中生成。LGWR 按顺序将重做日志条目写入重做日志文件。如果数据库具有…

14.Redis之JAVASpring客户端

1.引入依赖此时就会引入操作 redis 的依赖了~~ 2.yml配置 spring:redis:host: 127.0.0.1port: 8888 3.准备前面使用 jedis,是通过 Jedis 对象里的各种方法来操作 redis 的.此处Spring 中则是通过 StringRedisTemplate 来操作 redis .最原始提供的类是 RedisTemplateStrin…

OceanBase：列存储

目录 1、列存储的定义 1、默认创建列存表 3、指定创建列存表 4、指定创建列存行存冗余表 5、行、列存储查询测试 1、列存储的定义行存储（Row-based Storage）：行存储是以行为单位进行组织和存储数据。在这一模式下，数据库将…

C++ Primer 第五版第十三章拷贝控制

当定义一个类时，我们显式地或隐式地指定在此类型的对象拷贝、移动、赋值和销毁时做什么。一个类通过定义五种特殊的成员函数来控制这些操作，包括：拷贝构造函数（copy constructor）、拷贝赋值运算符（copy-ass…