[ComfyUI]官方已支持Skyreels混元图生视频,速度更快,效果更好(附工作流)

一、介绍

昨天有提到官方已经支持了Skyreels,皆大欢喜,效果更好一些,还有GGUF量化版本,进一步降低了大家的显存消耗。

今天就来分享一下官方流怎么搭建,我体验下来感觉更稳了一些,生成速度也更快,不愧是官方。

二、相关模型

要使用官方版的混元视频,你版本要更新到2月19号

然后其他模型很多是通用的,有几个是新的,反正我网盘里面都有提供

首先是大模型,bf16或者fp8的,还有GGUF的回头再说

加速lora:skyreels-i2v-smooth-lora-test-00000350.safetensors

CLIP有2个

VAE一个

三、工作流说明

不复杂,官方的流其实和Flux那一套很像,我一共分5个模块和大家说说

  • 图片处理,尺寸限制
  • 模型加载,各种模型
  • 提示词描述
  • 采样生成视频
  • 视频合并输出

来,今天干货很多,今年AI视频领域要大爆发了,快跟上,付费的工具太贵了,还是多期待这种开源的能起来,这样大家玩AI的成本才能降下来。

图片处理

首先我们要对图片做一些尺寸限制,目前 Skyreels 官方有给出推荐的图片尺寸 544x97,最高帧率是97帧,在这个范围内都可以调整。

所有我这里对宽高做了一些限制,这里面有个很细节的地方,我设置了短边最少是544,高度跟着自适应,这种是适合竖屏的,如果是横屏的你就自己调整一下。

尺寸越大,生成时间越长,关键是显存占用就更多。

我测试了上百次,发现一个问题,之前我用倍数取整8倍,经常会报错下面这个错。

后来我调整到16倍了就不报错了,这个细节大家自己遇到了也可以跟着调整。感觉这个对图片尺寸有一些限制的。

模型加载,各种模型

这里核心就是加载了Skyreels的I2V模型,以及上篇提到的 加速稳定lora,这2个是核心,中间的Patch Sage Attention KJ以及Patch Model Patcher Order你可以隐藏掉。

我这里开启了,是要用到SageAttention注意力量化加速的应用,可以提高视频生成速度。
官网地址:https://github.com/thu-ml/SageAttention

简单的理解,就是保持质量不变,减少生成时间,这个在视频领域还是很重要的。

安装这个,我折腾了好几个小时,这个东西不能在线安装,需要把源码下载下来,本地编译安装,才是最新的SageAttention 2.0.1 版本。

安装对本地的依赖版本要求比较高,我简单的列一下:
官方也给出了基础要求,torch要大于2.3,我是安装2.5.1
CUDA也不能太低,我是安装了12.4

安装步骤如下

git clone https://github.com/thu-ml/SageAttention.git
cd sageattention 
python setup.py install  # or pip install -e .

安装SageAttention之前,需要先安装上了triton,这个之前一篇讲Skyreels的文章说到过。

如果你折腾了半天安装不上,也可以不用,直接参数选择禁用即可。

另外,KJ大佬那边模型也提供了GGUF的模型
https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main

大家根据自己实际显存大小挑选使用把推荐Q4、Q6都试试看,要使用GGUF,你那你需要安装个GGUF插件。

提示词描述

这个就是常规的提示词模块了,最终接入到InstructPixToPix条件。

要注意的是,这里正负提示词都需要写个FPS-24,听说这样生成的视频质量会好一些。

这里的动画描述词要自己写,我自己额外做了一个高级版本,通过图片反推,再通过DeepSeek R1的思考,直接根据一张图给出了最适合的图片动画描述词。

效果还不错,接入了目前最火的DeepSeek R1的API,免费额度也够我用很久了。

这部分是付费,有需要的到时候再联系我,教你如何接入DeepSeek R1。

采样生成视频

官方版本的采样一共分两次,第一次是增加了一些噪点后采样一次,然后再接一个采样,有个地方设置要注意,这里用了分离Sigmas,值记得要是总步数的一半,比如我们这里只要20步,那前后各10步。

空Latent视频这里的总长度就是帧率,49帧就是大概2秒。

其他设置保持不变即可,最后出的视频再加一个图像调色后就可以生成视频了

到这里后面其实还可以做一些优化,比如补帧、以及后期的视频高清放大,都有方案,以后再慢慢分享,一次分享太多怕大家吸收不过来。

案例演示

下面是几个我通过DeepSeek R1推理模型给出的动画提示词描述,效果感觉比我自己写牛逼多了。

这些都是直接在ComfyUI工作流里面搞定的,都是自动化,非常方便。

蓝色长发如绸缎般轻柔向右侧飘动,发尾泛起细微光点涟漪,鳞片服饰下摆随步伐节奏小幅起伏闪烁,犄角头饰尖端缓慢上下点动,T台两侧人群头部同步小幅度左右转动注视,背景波浪纹路由中心向两侧传递起伏光波,保持CGI材质的光泽流动感与暗色人鱼装束对比,所有动态元素运动轨迹相互牵引,服装高光区域始终维持鳞片结构的数字渲染质感

混元图生视频1

棕色长发末端轻柔向右飘动, 仙女灯串光线柔和明暗起伏, 窗外云层缓慢向左平移, 木地板反光波纹轻微荡漾, 灰色沙发靠垫随呼吸节奏微微下陷, 保持写实摄影质感与极简家居构图

自动写提示词2

黄叶沿弧形轨迹缓慢飘落,白色货车沿路面轻微颠簸前行,轮胎匀速旋转,炊烟呈波浪形向右侧蜿蜒上升,左侧邮箱因震动左右微幅摆动,云层整体向右缓慢平移,树枝末梢随风高频低幅颤动,枫叶在飘落时伴随自转,保持半写实笔触的温暖秋色质感,柏油路面反光点随云影移动明暗交替,二楼窗帘呈现呼吸般的起伏,轮胎扬起的细小尘埃呈螺旋扩散,所有动态元素活动范围严格控制在局部区域。

hunyuan-_00011

打伞少女的长发丝缕向右轻柔飘动,伞面以中心轴缓慢顺时针旋转,绿色植物叶片随伞转动方向起伏摇摆,荧光蝴蝶翅膀高频颤动伴随光粒上升轨迹,地面光晕以呼吸节奏明暗脉动,保持霓虹渐变笔触与柔光弥散效果,禁止人物位移或镜头推拉,所有动态幅度控制在伞面投影区域内

hunyuan-_00018

少女骑行时棕色发丝轻柔后扬,蓝色裙摆随踏板节奏小幅起伏,自行车轮匀速转动辐条闪烁,背景云层缓慢右飘形态缓慢拉伸,海面波纹横向扩散推挤船体轻微上下浮动,保持动漫风格高饱和色块与硬朗轮廓线,禁止镜头移动或比例变化,动态元素仅限发梢10%、裙摆15%、云层20%区域微动。

hunyuan-_00020

四、云端镜像

大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。

目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。

今天这个图生视频官方版本案例已经弄到镜像上了,欢迎体验,镜像上我也安装了加速的SageAttention 2.0.1,4秒视频,5分钟就出来了,速度和可灵官方接口差用差不多。

镜像名称:嘟嘟AI绘画趣味学


云平台镜像地址:

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长

五、总结

以上就是ShyReels官方版工作流使用说明了,效果真的越来越好了。

简单版本图生视频工作流是免费分享给大家。

但想要带DeepSeek R1自动生成动画提示词模块的,可以联系我,这个是付费版本的,售价还是39.9,我会发你完整版工作流,再给你一个详细的接入文档,DeepSeek R1目前是主流大模型,接入ComfyUI可以做很多事情。

昨天刚帮一个影视机构搞定批量图生视频工作流,省下了大批成本,可灵目前还是偏贵,现在AI视频开源模型越来越好,我相信以后AI视频的价格是可以打下来的。

AI时代,值得我们去投入时间研究。

技术的迭代是飞快的,要关注最新的消息才不会掉队。​

嘟嘟每天分享最新的ComfyUI技术前沿。​

本篇中的工作流和模型网盘链接:https://pan.quark.cn/s/ab576aa693ab

我是嘟嘟,专注于 AI 绘画以及 AI 工具分享,欢迎来一起交流。​

如果觉得文章有帮助,请帮忙点赞收藏关注一下呦~​

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/978365.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

SpringBatch简单处理多表批量动态更新

项目需要处理一堆表,这些表数据量不是很大都有经纬度信息,但是这些表的数据没有流域信息,需要按经纬度信息计算所属流域信息。比较简单的项目,按DeepSeek提示思索完成开发,AI真好用。 阿里AI个人版本IDEA安装 IDEA中使…

在Linux桌面上创建Idea启动快捷方式

1、在桌面新建idea.desktop vim idea.desktop [Desktop Entry] EncodingUTF-8 NameIntelliJ IDEA CommentIntelliJ IDEA Exec/home/software/idea-2021/bin/idea.sh Icon/home/software/idea-2021/bin/idea.svg Terminalfalse TypeApplication CategoriesApplication;Developm…

将DeepSeek接入vscode的N种方法

接入deepseek方法一:cline 步骤1:安装 Visual Studio Code 后,左侧导航栏上点击扩展。 步骤2:搜索 cline,找到插件后点击安装。 步骤3:在大模型下拉菜单中找到deep seek,然后下面的输入框输入你在deepseek申请的api key,就可以用了 让deepseek给我写了一首关于天气的…

单片机总结【GPIO/TIM/IIC/SPI/UART】

一、GPIO 1、概念 通用输入输出口;开发者可以根据自己的需求将其配置为输入或输出模式,以实现与外部设备进行数据交互、控制外部设备等功能。简单来说,GPIO 就像是计算机或微控制器与外部世界沟通的 “桥梁”。 2、工作模式 工作模式性质特…

Vxe UI 根据vxe-tabs 绑定不同的值,渲染生成不同的 tabls(页签)内容

VxeUI tabs控件&#xff0c;根据绑定不同的内容&#xff0c;动态渲染不同的表格数据放置在不同的 tab 页 效果图如下&#xff1a; 代码实现 <template><vxe-tabs :options"detailTabList"><vxe-tab-pane v-for"(item, index) in detailTabList&…

洛谷 P8705:[蓝桥杯 2020 省 B1] 填空题之“试题 E :矩阵” ← 卡特兰数

【题目来源】 https://www.luogu.com.cn/problem/P8705 【题目描述】 把 1∼2020 放在 21010 的矩阵里。要求同一行中右边的比左边大&#xff0c;同一列中下边的比上边的大。一共有多少种方案? 答案很大&#xff0c;你只需要给出方案数除以 2020 的余数即可。 【答案提交】 …

今日运维之-Mac笔记本python环境问题

1. 问题&#xff1a;MAC升级系统后git报错&#xff1f; Error: Cant create update lock in /usr/local/var/homebrew/locks! Fix permissions by running:sudo chown -R $(whoami) /usr/local/var/homebrew Traceback (most recent call last):11: from /usr/local/Homebrew/…

鸿蒙Next如何自定义标签页

前言 项目需求是展示标签&#xff0c;标签的个数不定&#xff0c;一行展示不行就自行换行。但是&#xff0c;使用鸿蒙原生的 Grid 后发现特别的难看。然后就想着自定义控件。找了官方文档&#xff0c;发现2个重要的实现方法&#xff0c;但是&#xff0c;官方的demo中讲的很少&…

Python - Python连接数据库

Python的标准数据库接口为&#xff1a;Python DB-API&#xff0c;Python DB-API为开发人员提供了数据库应用编程接口。 PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个实现库&#xff0c;Python2中则使用mysqldb。 PyMySQL 遵循 Python 数据库 API v2.0 规范&…

(python)Arrow库使时间处理变得更简单

前言 Arrow库并不是简单的二次开发,而是在datetime的基础上进行了扩展和增强。它通过提供更简洁的API、强大的时区支持、丰富的格式化和解析功能以及人性化的显示,填补了datetime在某些功能上的空白。如果你需要更高效、更人性化的日期时间处理方式,Arrow库是一个不错的选择…

MySQL的锁机制和锁算法

锁机制和InnoDB锁算法 MyISAM和InnoDB存储引擎使用的锁&#xff1a; MyISAM采用表级锁(table-level locking)。 InnoDB支持行级锁(row-level locking)和表级锁,默认为行级锁 表级锁和行级锁对比&#xff1a; 表级锁&#xff1a; MySQL中锁定 粒度最大 的一种锁&#xff0c;…

PyTorch 源码学习:GPU 内存管理之深入分析 CUDACachingAllocator

因引入 expandable_segments 机制&#xff0c;PyTorch 2.1.0 版本发生了较大变化。本文关注的是 PyTorch 原生的 GPU 内存管理机制&#xff0c;故研究的 PyTorch 版本为 2.0.0。代码地址&#xff1a; c10/cuda/CUDACachingAllocator.hc10/cuda/CUDACachingAllocator.cpp 更多内…

Rk3568驱动开发_驱动编写和挂载_2

1.字符驱动介绍&#xff1a; 字符驱动&#xff1a;按照字节流镜像读写操作的设备&#xff0c;读写数据分先后顺序&#xff0c;例如&#xff1a;点灯、按键、IIC、SPI、等等都是字符设备&#xff0c;这些设备的驱动叫字符驱动设备 Linux应用层如何调用驱动&#xff1a; 字符设…

记录一下在k3s快速创建gitlab

废话不多说&#xff0c;直接上配置文件 需要修改的地方&#xff08;备注都有写&#xff09;&#xff1a; 1.命名空间 namespace 2. claimName 文件挂载 Deployment kind: Deployment apiVersion: apps/v1 metadata:name: gitlabnamespace: cicd # 替换为您的命名空间la…

leetcode 1656. 设计有序流 简单

有 n 个 (id, value) 对&#xff0c;其中 id 是 1 到 n 之间的一个整数&#xff0c;value 是一个字符串。不存在 id 相同的两个 (id, value) 对。 设计一个流&#xff0c;以 任意 顺序获取 n 个 (id, value) 对&#xff0c;并在多次调用时 按 id 递增的顺序 返回一些值。 实现…

应对现代生活的健康养生指南

在科技飞速发展的现代社会&#xff0c;人们的生活方式发生了巨大改变&#xff0c;随之而来的是一系列健康问题。快节奏的生活、高强度的工作以及电子产品的过度使用&#xff0c;让我们的身体承受着前所未有的压力。因此&#xff0c;掌握正确的健康养生方法迫在眉睫。 针对久坐不…

大连本地知识库的搭建--数据收集与预处理_01

1.马蜂窝爬虫 编程语言&#xff1a;Python爬虫框架&#xff1a;Selenium&#xff08;用于浏览器自动化&#xff09;解析库&#xff1a;BeautifulSoup&#xff08;用于解析HTML&#xff09; 2.爬虫策略 目标网站&#xff1a;马蜂窝&#xff08;https://www.mafengwo.cn/&…

SQL笔记#复杂查询

一、视图 1、视图和表 使用试图时会执行SELECT语句并创建一张临时表。视图中保存的是SELECT语句;表中保存的是实际数据。 2、创建视图的方法 CREATE VIEW 视图名称(<视图列名1>,<视图列名2>,……) AS <SELECT语句> CREATE VIEW ProductSum (prod…

文件系统

目录 1.认识磁盘 磁盘的物理结构 CHS定位法 磁盘的逻辑结构 2.认识文件系统 inode 分区和分组 磁盘上的文件系统 3.软硬链接 软链接 软链接的操作 创建软链接 查看软链接 删除软链接 软链接的特点 软链接的使用场景 硬链接 硬链接的操作 创建硬链接 查看硬…

学习路之PHP --TP6异步执行功能 (无需安装任何框架)

学习路之PHP --异步执行功能 &#xff08;无需安装任何框架&#xff09; 简介一、工具类二、调用三、异步任务的操作四、效果&#xff1a; 简介 执行异步任务是一种很常见的需求&#xff0c;如批量发邮箱&#xff0c;短信等等执行耗时任务时&#xff0c;需要程序异步执行&…