一键生成AI动画视频?Animatediff 和 ComfyUI 更配哦!

大家好我是极客菌!

之前我分享过 Animatediff 在 WebUI 中的应用,最近不是在分享 ComfyUI 嘛,那我们也来讲讲 Animatediff 在 ComfyUI 的应用。

如果从工作流和内存利用率的角度来说,Animatediff 和 ComfyUI 可能更配一些,毕竟制作动画是一个很吃内存的操作。

好了,话不多说,我们开干。

首先,我们需要在管理器中下载 Animatediff 插件,当然也可以直接导入听雨的工作流,然后在管理器安装缺失节点中直接安装

后续用到的工作流和模型(可以文末自行扫描获取)

安装完插件以后,记得重启 ComfyUI 哦。

在这里插入图片描述

然后把网盘中对应的模型放入指定的文件夹目录下,v2 开头的文件放入以下文件夹下。

\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui-animatediff\loras

然后把网盘中 models 中的文件放入以下目录:

\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui-animatediff\models

在这里插入图片描述

以上就是 Animatediff 在 ComfyUI 中的安装步骤了。

使用方式也很简单了,只需要导入不同的工作流就可以体验 Animatediff 的不同用法。

我们先来一个最简单的工作流。只是通过文本来生成动漫效果。

在这里插入图片描述

虽然可以直接无脑用工作流文件,但是我们还是把 Animatediff 相关的几个工作流节点简单介绍一下。第一个节点动态扩散组件加载器,主要就是 Animatediff 的算法模型了,里边的模型都可以选,小伙伴们可以看看不同模型的动漫效果,选择一个自己最喜欢的。

在这里插入图片描述

第二个节点,基本的参数,用过 WebUI 的小伙伴应该都清楚,听雨这里就不讲了,我们把 Animatediff 相关的几个参数再介绍一下。

运动模块对应的就是动态扩散组件加载器。他们是需要连接的,不过工作流里已经连接好了。

**sliding_window_opts:**自定义滑动窗口选项,这个我们后续讲另外一个配置的一起讲。

模块插入方式,选择默认就可以了。

帧数:动画总共包括的画面数量。和后续的帧率是配套使用的。

在这里插入图片描述

帧率:每秒多少帧。如果帧数设置为16,帧率设置为8,则单个动画的播放时长为2秒。

循环次数:循环播放几次,0 代表一直重复播放。

是否保持:是否把动画保存到本地。

格式:输出的动漫的格式。默认输出 gif 格式,如果要输出视频格式的话,需要配合 ffmpeg 使用。

在这里插入图片描述

纯粹文本生成的动画可控性还是蛮差的。

第二点,我们来讲下动态滑动窗口。

在这里插入图片描述

**动态滑动窗口:**能够在没有帧长度限制的情况下生成 GIF。它可以将总帧数拆分成多个批次生成,每个批次之间会有重叠的地方。主要是针对我们内存不够,但是又想要生成足够长的动画情况下使用。

上下文帧长度:每个窗口的帧数,官方建议默认 16 帧,不过模型有长度上限设置,有些模型,最高只能设置 24 帧。

上下文帧步长:和采样步数类似。

上下文帧重叠:每个窗口之间的重叠帧数。

闭合循环:使GIF成为闭环。

在这里插入图片描述

看下效果,不过这种动态滑动窗口比较适合一些自然景观的场景。

第三点,我们来讲下‍‍‍‍添加 Animatediff 动态 Lora 的工作流。

在这里插入图片描述

以下 Lora 分别代表了向上向下、向左向右、拉远拉近、顺时针逆时针运动。小伙伴们可以选择对应的运动 Lora。

在这里插入图片描述

看一下使用了拉近 Lora 的效果。

第四点,通过上传开始图片和结束图片,来生成动漫。主要用到了 ControlNet 模型中的 tile 模型。相当于我们控制了动画的第一帧和最后一帧。

在这里插入图片描述

相比于第一个 gif ,是不是好了很多,这个就是 Animatediff + ControlNet 的魅力了,可控性太强了。

最后,我们尝试一下 Animatediff + ControlNet 的 openpose,看看效果如何,openpose 小伙伴们应该都知道主要是控制动作的,配合 Animatediff 可以让动画中人物的动作更可控,不仅是真人转动漫或者动漫转真人,感觉离我们这些小白也可以做动画的时代不远了。

在这里插入图片描述

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述
在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/749196.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Python 语法基础二

7.常用内置函数 执行这个命令可以查看所有内置函数和内置对象(两个下划线) >>>dir(__builtins__) [__class__, __contains__, __delattr__, __delitem__, __dir__, __doc__, __eq__, __format__, __ge__, __getattribute__, __getitem__, __gt…

API-元素尺寸与位置

学习目标: 掌握元素尺寸与位置 学习内容: 元素尺寸与位置仿京东固定导航栏案例实现bilibili点击小滑块移动效果 元素尺寸与位置: 使用场景: 前面案例滚动多少距离,都是我们自己算的,最好是页面滚动到某个…

【研究】美国2023年就业增长可能是假的?加州已经爆出大雷

美国就业市场可能比火热的非农数据所描绘的场面惨淡得多。 去年以来,美国劳动力市场顶着二十多年来最高的利率一路高歌猛进,让许多市场分析人士开始怀疑数据的准确性。尽管官方报告显示就业形势向好,但越来越多的证据表明,实际情…

校园圈子小程序系统搭建需求和需要哪些功能?APP小程序H5前后端源码交付

功能:小程序授权登陆,支持app双端,小程序,h5,pc端,手机号登陆,发帖,建圈子、发活动。可置顶推荐帖子,关注、粉 丝、点赞等。可作为圈子贴吧、小红书、校园社区、表白墙、…

韩国锂电池工厂火灾:行业安全警钟再次敲响

三天前,6月24日上午,韩国京畿道华城市一电池厂突发火灾,造成严重人员伤亡,其中包括多名中国籍员工。这一事件不仅令人痛心,更为全球锂电池行业安全敲响了警钟。 事发当天,电池厂内堆放锂电池成品的区域突然…

深度神经网络(dnn)--风格迁移(简单易懂)

概括 深度神经网络(DNN)在风格迁移领域的应用,实现了将一幅图像的艺术风格迁移到另一幅图像上的目标。该技术基于深度学习模型,特别是卷积神经网络(CNN),通过提取内容图像的内容特征和风格图像的…

CAD2012 网络许可和单机切换

由于公司使用的CAD2012 是网络租借许可的方式,如果许可有限,使用人数比许可数多,就会出现争抢问题。出现有些人得不到许可(遇到公司不增加许可真的很坑B,因为A抢上了可能C被迫掉了,C上去O可能掉&#xff0c…

Oracle 19C19.3 rac安装并RU升级到19.14

19C支持RU补丁安装。 下载好19.14的RU补丁 [rootrac1 soft]# ll total 9830404 -rw-r--r-- 1 grid oinstall 3059705302 Jun 18 15:26 LINUX.X64_193000_db_home.zip -rw-r--r-- 1 grid oinstall 2889184573 Jun 18 15:27 LINUX.X64_193000_grid_home.zip -rw-r--r-- 1 grid …

2024肥晨赠书活动第三期:《前端工程化:基于Vue.js 3.0的设计与实践》

文章目录 内容简介作者简介关于《前端工程化:基于Vue.js 3.0的设计与实践》文章目录文章简介《前端工程化:基于Vue.js 3.0的设计与实践》全书速览结束语 内容简介 本书以Vue.js的3.0版本为核心技术栈,围绕“前端工程化”和TypeScript的知识点…

昇思25天学习打卡营第1天|快速入门-Mnist手写数字识别

学习目标:熟练掌握MindSpore使用方法 学习心得体会,记录时间 了解MindSpore总体架构 学会使用MindSpore 简单应用时间-手写数字识别 一、MindSpore总体架构 华为MindSpore为全场景深度学习框架,开发高效,全场景统一部署特点。 …

将huggingface的大模型转换为safetensor格式

很多huggingface的大语言模型都是pytorch的格式,但是mindie需要safetensor格式,另外mindieservice加载原始的baichuan2-13b的模型出错,后来排查是bfloat16数据格式的问题,所以这次转换要一次性转为float16的格式。 上代码&#x…

在Ubuntu22.04 使用stable-diffusion-webui 秋叶整合包

背景 众所周知,赛博菩萨已经发布了windows下的整合包,开箱即用,且集成度较高。 那我为啥非要在Ubuntu下使用呢? 当然是因为主力机就是Ubuntu系统啦。而且涉及到sd webui API 的调用,在Ubuntu 下调试更加方便一点。 那…

SyntaxError: Unexpected token ‘<‘ (at chunk-vendors.fb93d34e.js:1:1)打包后页面白屏vue

本地运行一切正常,打包到线上,页面一篇空白。我确定输入路径正确。。。 控制台报错,我就开始百度,有的说清空缓存就行了,但我清空了还是这样。。。 然后我就去排查原因。看到页面请求js,但是请求的好像有点…

【项目实训】各种反爬策略及爬虫困难点总结

在这里,我总结了本次项目的数据收集过程中遇到的反爬虫策略以及一些爬虫过程中容易出现问题的地方。 user-agent 简单的设置user-agent头部为浏览器即可: 爬取标签中带href属性的网页 对于显示岗位列表的页面,通常检查其源代码就会发现&…

学习提示词工程

去年 11 月 8 日,新加坡政府科技局(GovTech)组织举办了首届 GPT-4 提示工程(Prompt Engineering)竞赛。数据科学家 Sheila Teo 最终夺冠,成为最终的提示女王(Prompt Queen)。之后&am…

苹果解压压缩包的软件 苹果如何解压压缩包

大多数苹果新用户遇到过压缩包无法解压的问题,与Windows丰富的解压软件相比,苹果电脑的解压软件虽然数量众多,但是好用的却甚少。小编今天为大家推荐几款苹果解压压缩包的软件,并详细介绍苹果如何解压压缩包的。 一、苹果解压压缩…

https网站安全证书的作用与申请办法

HTTPS网站安全证书,正式名称为超文本传输安全协议证书,是通过SSL/TLS加密协议,保障互联网用户与网站间数据交换的安全性的关键技术。 一:HTTPS网站安全证书的作用 1 消除不安全提示:未使用https协议的网站&#xff0c…

项目如何整合sentinel

1、添加依赖 <dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-sentinel</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifact…

相机系列——从相机畸变到托勒密地图

by 木一 标签&#xff1a;#相机畸变 #畸变纠正 #鱼眼相机 #折射定律 #托勒密地图 引言 前文[1][2]我们介绍了针孔相机模型&#xff0c;以及针孔相机模型的相机标定过程&#xff0c;但针孔相机模型是对相机成像最简单的描述&#xff0c;实际的相机成像过程要远复杂很多。 首先…

pytest-yaml-sanmu(五):跳过执行和预期失败

除了手动注册标记之外&#xff0c;pytest 还内置了一些标记可直接使用&#xff0c;每种内置标记都会用例带来不同的特殊效果&#xff0c;本文先介绍 3 种。 1. skip skip 标记通常用于忽略暂时无法执行&#xff0c;或不需要执行的用例。 pytest 在执行用例时&#xff0c;如果…