【AI绘画】ComfyUI - AnimateDiff基础教程和使用心得

AnimateDiff是什么?

AnimateDiff
是一个能够将个性化的文本转换为图像的扩展模型,它可以在无需特定调整的情况下实现动画效果。通过这个项目,用户可以将他们的想象力以高质量图像的形式展现出来,同时以合理的成本实现这一目标。随着文本到图象模型(例如,Stable
Diffusion)和相应的个性化技术(例如,LORA和DreamBooth)
的进步,现在每个人都可以将他们的想象力转化为高质量的图像。随后,为了将生成的静态图像与运动动态相结合,对图像动画技术的需求也随之增加。
在这里插入图片描述

AnimateDiff使用场景

动画创建:通过文本输入,用户可以创建个性化的动画图像,将静态图像转变为动态图像,为创意表达提供了一种新的方式。

视频制作: 为视频制作人员提供了一种新的工具,可以将文本描述转换为动画图像,从而丰富视频内容。

安装comfyui

安装ComfyUI-AnimateDiff-
Evolved之前,需要先安装ComfyUI,ComfyUI的安装和使用介绍请参考我的另一篇文章。本篇只介绍如何安装和使用AnimateDiff插件。 需要AnimateDiff插件的小伙伴下方扫描获取!
在这里插入图片描述

系统要求:

需要一台搭载 NVIDIA 显卡的 Windows 计算机,显存至少为 8GB(8G显存只能在512x512 分辨率下搭配 ControlNets)。

AnimateDiff节点安装

ComfyUI-AnimateDiff-Evolved用于加载AnimateDiff的模型,ComfyUI-
VideoHelperSuite用于加载视频或将多张图片合成视频,ComfyUI-Advanced-
ControlNet用于在AnimateDiff中使用ControlNet来控制动画中对象的动作。

  1. ComfyUI-AnimateDiff-Evolved,

  2. ComfyUI-VideoHelperSuite

  3. ComfyUI-Advanced-ControlNet

  4. FizzNodes

安装插件:
  1. 安装ComfyUI-Manager节点

  2. 界面中打开Manager助手,分别搜索安装以下节点:

  • ComfyUI-AnimateDiff-Evolved、ComfyUI-VideoHelperSuite、ComfyUI-Advanced-ControlNet

在这里插入图片描述

节点安装在custom_nodes目录下,安装完成后需要重启ComfyUI。

下载绘画大模型:

真人写实模型:

majicMIX realistic 麦橘写实

Dreamshaper 8

C站上的Dreamshaper 8这个模型

哩布上看排行榜TOP就对了:

在这里插入图片描述

下载好的模型放到ComfyUI > models > checkpoints目录。

下载AnimateDiff动态特征模型:

官方提供的motion modules包括mm_sd_v14,
mm_sd_v15和mm_sd_v15_v2,V3_sd_v15_mm,推荐下载mm_sd_v15_v2和V3_sd_v15_mm,下载后放在ComfyUI/custom_nodes/ComfyUI-
AnimateDiff-Evolved/models目录下

在这里插入图片描述

下载运动模块:

可选项:也可以下载motion lora来影响基于v2版本的运动模块,将下载的模型放在ComfyUI/custom_nodes/ComfyUI-
AnimateDiff-Evolved/motion-lora目录下

在这里插入图片描述

下载 VAE 模型:

下载VAE,放到ComfyUI > models > vae这个目录里。用的比较多的是8400这个VAE模型。将其放入 VAE 文件夹。

在这里插入图片描述

下载 ControlNet模型:

下载 controlnet模型,放到ComfyUI > models > controlnet文件夹。(如果是共用本地webui的不用操作此步骤)

使用 AnimateDiff 制作视频

animateDiff中最核心的节点是AnimateDIff
Loader,输入中的model是sd的checkpoint模型;context_options是采样时使用的可选上下文窗口,
如果传入,则动画总长度没有限制, 如果未传入,动画长度将限制为 24 或 32 帧,具体取决于运动模块;motion_lora是motion
module的lora模型,如果传入,会影响运动模型

要加载工作流程,可以单击 “加载” 或将工作流程拖到 ComfyUI 上。

节点解释

有些节点应该是很容易理解的,不过我会对大多数节点做一些说明。

在这里插入图片描述

AnimateDiff 加载器

在这里插入图片描述

Loader 是_使用 AnimateDiff 所需的唯一节点 _,它输出一个模型,该模型在传递到采样节点时将执行 AnimateDiff 功能。

输入:

  • model:为 AnimateDiff 使用而设置的模型。

  • context_options:采样时使用的可选上下文窗口;如果传入,则动画总长度没有限制。如果未传入,动画长度将限制为 24 或 32 帧,具体取决于运动模型。

  • Motion_lora:可选运动LoRA输入;如果传入,会影响运动。

  • Motion_model_settings:影响运动模型的可选设置。

  • model_name:与 AnimateDiff 一起使用的运动模型。

  • beta_schedule:SD 噪声调度程序。sqrt_linear是使用 AnimateDiff 的预期方式,具有预期的饱和度。然而,linear也可以给出有用的结果,所以请随意尝试。

  • motion_scale:改变运动模型生成的运动量 - 如果小于1,则运动量减少;如果大于 1,则运动更多。

输出:

  • MODEL:注入模型以执行 AnimateDiff 函数
AnimateDiff LoRA 加载器

允许将运动 LoRA 插入运动模型。当前的运动 LoRA 仅正确支持基于 v2 的运动模型。不影响采样速度,因为这些值在模型加载后被冻结目前,我知道的基于
v2 的三个模型是mm_sd_v15_v2mm-p_0.5.pthmm-p_0.75.pth

输入:

  • lora_name:放置在ComfyUI/custom_node/ComfyUI-AnimateDiff-Evolved/motion-lora目录中的 Motion LoRA 的名称。

  • 强度:Motion LoRA 的效果应该有多强(或多弱)。值太高可能会导致最终渲染中出现伪影。

  • prev_motion_lora:可选输入,允许将 LoRA 堆叠在一起。

输出:

  • MOTION_LORA:motion_lora 对象存储其后面链接的所有 LoRA 的名称 - 可以插入另一个 AnimateDiff LoRA Loader 的后面,或插入 AnimateDiff Loader 的motion_lora 输入。

在这里插入图片描述

模型加载节点

在这里插入图片描述

基础的文生图模块,使用前需要加载模型(要注意区分是SD1.5还是XL模型),VAE加载器。

相关模型需要先放到对应的的文件夹,否则会报错。

Clip提示词节点

在这里插入图片描述

输入正向,负向提示词。

ControlNet节点

在这里插入图片描述

这是一个基本的 Controlnet 设置。根据我们所需要加载的Controlnet 设置(openpos,tile,deptp,lineart等)

FizzNodes 提示调度器

FizzNodes 的提示调度器,BathPromptSchedule.

  • pre_text - 提示之前要放在前面的文本(可以将正向质量提示词输入)。

  • app_text - 提示之后要放在后面的文本。

在这里插入图片描述

KSSampler采样器节点

以下是一些参数的解释:

  • 步骤(Steps):通常设为20 步-30步,如果使用LCM lora,则只需在2-5之间。

  • CFG:可以适当增加,超过通常的稳定扩散设置。

  • Sampler(采样器):写实,二次元,对应不同的选择。

  • Denoise(降噪):除非在进行 Vid2Vid,否则将其保持为 1。如果您在进行 Vid2Vid,可以降低这个值,以保持与原始视频更接近。

在这里插入图片描述

保存图片节点节点

在这里插入图片描述

以下是输出节点,最终将生成的结果存在下面路径:

在这里插入图片描述

  • 请注意如何设置保存图像节点,以便将结果保存到文件夹中。

  • 对于合并节点,默认会创建 GIF。请知道 GIF 看起来比单独的帧差很多,所以即使 GIF 看起来不太好,它在视频中可能看起来很棒。

  • frame_rate - GIF 的帧速率

  • loop_count - 在停止之前循环的次数。0 表示无限循环。

  • format - 更改输出格式,如 GIF、MP4 等。

  • pingpong - 视频将通过所有帧,然后返回,而不仅仅是单向播放。

  • save image - 保存视频的一帧图像(因为视频不包含元数据,这是一种保存工作流程的方法,如果您不同时保存图像的话)。

生成视频

点击Queue Prompt开始生成视频了.视频生成的进度可以在KSampler节点里面看绿色的进度条。

在这里插入图片描述

在ComfyUI的windows终端里也可以看到进度以及出现的错误信息:

在这里插入图片描述

生成结束后,视频会在AnimateDiff Combine这个组件里合成

在这里插入图片描述

4.示例

一个女孩的一生

在这里插入图片描述

生成效果如下:(无法插入MP4和大文件图片)

在这里插入图片描述

txt2img

在这里插入图片描述

在这里插入图片描述

txt2img

在这里插入图片描述

在这里插入图片描述


写在最后

SD全套资料,包括汉化安装包、常用模型、插件、关键词提示手册、视频教程等都已经打包好了,无偿分享,有需要的小伙伴可以自取。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
在这里插入图片描述

若有侵权,请联系删除

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/908765.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【docker】docker 环境配置及安装

本文介绍基于 官方存储库 docker 的环境配置、安装、代理配置、卸载等相关内容。 官方安装文档说明:https://docs.docker.com/engine/install/ubuntu/ 主机环境 宿主机环境 Ubuntu 20.04.6 LTS 安装步骤 添加相关依赖 sudo apt-get update sudo apt-get install…

一二三应用开发平台自定义查询设计与实现系列3——通用化重构

通用化重构 前面我们以一个实体为目标对象,完成了功能开发与调试。 在此基础上,我们对功能进行重构,使其成为平台的标准化、通用化的功能。 前端重构 首先,先把自定义组件挪到了平台公共组件目录下,如下&#xff1…

国标GB28181视频平台EasyCVR私有化视频平台工地防盗视频监控系统方案

一、方案背景 在当代建筑施工领域,安全监管和防盗监控是保障工程顺利进行和资产安全的关键措施。随着科技进步,传统的监控系统已不足以应对现代工地的安全挑战。因此,基于国标GB28181视频平台EasyCVR的工地防盗视频监控系统应运而生&#xf…

征程 6 工具链性能分析与优化 2|模型性能优化建议

01 引言 为了应对低、中、高阶智驾场景,以及当前 AI 模型在工业界的应用趋势,地平线推出了征程 6 系列芯片。 在软硬件架构方面,征程 6 不仅保持了对传统 CNN 网络的高效支持能力,还强化了对 Transformer 类型网络的支持&#xf…

【真题笔记】16年系统架构设计师要点总结

【真题笔记】16年系统架构设计师要点总结 存储部件接口嵌入式处理器产品配置配置管理用户文档系统文档CMM(能力成熟度模型)螺旋模型敏捷软件开发的方法学软件工具面向对象的分析模型设计模型COP(面向构件的编程)构件原子构件模块S…

GR2——在大规模视频数据集上预训练且机器人数据上微调,随后预测动作轨迹和视频(含GR1详解)

前言 上个月的24年10.9日,我在朋友圈看到字节发了个机器人大模型GR2,立马去看了下其论文(当然了,本质是个技术报告) 那天之后,我就一直想解读这个GR2来着 然,意外来了,如此文《OmniH2O——通用灵巧且可全…

Autocad2018

链接: https://pan.baidu.com/s/1MTd0gc5Q5zoKFnPNwk1VXw 提取码: x15v

把握数字化新趋势,迎接生态架构新时代——The Open Group 2024生态系统架构·可持续发展年度大会参会指南

距离大会还有:22天 在数字化转型的浪潮中,如何抓住机遇,实现可持续发展,已成为各行各业关注的焦点。The Open Group 2024生态系统架构可持续发展年度大会,将于2024年11月22日在北京国贸大酒店隆重举行。本次大会汇聚全…

OpenGL入门006——着色器在纹理混合中的应用

本节将理解顶点和片段着色器在纹理混合中的应用 文章目录 一些概念纹理时间依赖动画 实战简介dependenciesshader.fsshader.vsteenager.pngtex.png utilswindowFactory.hshader.hRectangleModel.hRectangleModel.cpp main.cppCMakeLists.txt最终效果 一些概念 纹理 概述&…

Spring Cloud Bus快速入门Demo

1.什么是Spring Cloud Bus? Spring Cloud Bus 是一个用于将分布式系统的节点连接起来的框架,它使用了轻量级消息代理来实现节点之间的通信。Spring Cloud Bus 可以将配置变更事件、状态变更事件和其他管理事件广播到系统中的所有节点,以便于…

通过Wireshark抓包分析,体验HTTP请求的一次完整交互过程

目录 一、关于Wireshark 1.1、 什么是Wireshark 1.2、下载及安装 二、HTTP介绍 2.1、HTTP请求过程介绍 2.2 、TCP协议基础知识 2.2.1、概念介绍 2.2.2、TCP协议的工作原理 2.2.3、三次握手建立连接 2.3.4、四次挥手断开连接 2.3、Wireshark抓包分析过程 2.3.1、三次握…

聚观早报 | 比亚迪腾势D9登陆泰国;苹果 iOS 18.2 将发布

聚观早报每日整理最值得关注的行业重点事件,帮助大家及时了解最新行业动态,每日读报,就读聚观365资讯简报。 整理丨Cutie 11月5日消息 比亚迪腾势D9登陆泰国 苹果 iOS 18.2 将发布 真我GT7 Pro防尘防水细节 小米15 Ultra最快明年登场 …

tomcat 开启远程debug模式

1.修改位置 CATALINA_OPTS"-Xdebug -Xrunjdwp:transportdt_socket,address*:8000,servery,suspendn"2.修改环境变量的方式 apache-tomcat-9.0.86/bin/setenv.sh export JAVA_HOME/opt/jdk1.8.0_171 export CATALINA_HOME/opt/apache-tomcat-9.0.86 export JAVA_OP…

【工具变量】中国制造2025试点城市数据集(2000-2023年)

数据简介:《中国制造2025》是中国ZF于2015年5月8日印发的一项战略规划,旨在加快制造业的转型升级,提升制造业的质量和效益,实现从制造大国向制造强国的转变。该规划是中国实施制造强国战略的第一个十年行动纲领,明确提…

VScode的C/C++点击转到定义,不是跳转定义而是跳转声明怎么办?(内附详细做法)

以最简单的以原子的跑马灯为例: 1、点击CtrlShiftP,输入setting,然后回车 2、输入Browse 3、点击下面C_Cpp > Default > Browse:Path里面添加你的工程路径 然后就可以愉快地跳转定义啦~ 希望对你有帮助,如果还不可以的话&a…

java常用框架介绍

1. Spring Boot 特点:Spring Boot是Spring家族中的一个新成员,它基于Spring 4.0设计,提供了默认配置、简化依赖管理以及内嵌式容器等特性,使得开发者能够快速创建独立的、生产级别的Spring应用。 用途:Spring Boot特别…

Leetcode328奇偶链表,Leetcode21合并两个有序链表,Leetcode206反转链表 三者综合题

题目描述 思路分析 这题的思路就和我们的标题所述一样,可以看作是这3个题的合并,但是稍微还有一点点区别 比如:奇偶链表这道题主要是偶数链在了奇数后面,字节这个的话是奇偶链表分离了 所以字节这题的大概思路就是: …

自监督学习:机器学习的未来新方向

引言 自监督学习(Self-Supervised Learning, SSL)是近年来机器学习领域的一个重要发展方向,迅速成为许多研究和应用的热点。与传统的监督学习不同,自监督学习利用未标注数据,通过设计自我生成标签的任务,帮…

【算法】Prim最小生成树算法

目录 一、思想 二、代码 在阅读本文前推荐优先食用: 【算法】Kruskal最小生成树算法-CSDN博客https://blog.csdn.net/Eristic0618/article/details/143312482?spm1001.2014.3001.5501 一、思想 Kruskal算法基于边的选择,因此更适用于稀疏图。而对于…

CPU用户时间百分比

在计算机系统中,"CPU用户时间百分比(CPU User Time)"是一个性能监控指标,它描述了CPU在用户模式下执行的累积时间与总的CPU时间的比例。这个指标可以帮助我们了解系统在执行用户态程序时的负载情况。下面是一些关于CPU用…