SD-WebUI视频重绘:TemporalKit+EbsynthUtility避坑指南

AI视频重绘,在当下大家并不陌生。我们的实现方式大致可以分为三种:

第三方平台和discord上转绘,如DomoAI ,GoEnhance AI 等。

  • 优点:效果佳,门槛低。

  • 缺点:需要科学上网,和支付一定的使用费用。

ComfyUI转绘工作流,通过animateDiff 结合CN控制网生成视频。

  • 优点:本地部署,可控性高,根据自己的配置灵活取舍。

  • 缺点:门槛高,安装麻烦,需要下载大量的模型。

SD-WebUI通过TemporalKit和EbsynthUtility插件插件生成视频。

  • 优点:本地部署,不需要网络。

  • 缺点:门槛中,操作也很多。

那么我们今天就详细地讲解一下SD-WebUI下重绘视频的详细生成步骤,如果你也想生成AI视频转绘高清视频,请继续往下看。

测试的视频资源我用的是GoEnhance.Al 官方上的视频。


如何使用:

1. 安装ffmpeg:

下载ffmpeg软件包,将其解压到C盘。

然后将其完整路径添加到系统环境变量,注意是bin目录。

然后我们可以“win+r” 输出“cmd”

调出控制台输入“ffmpeg -version” 出现详细信息就表示ffmpeg安装成功。

2. 安装transparent-background:

在开始“运行” 输入“cmd” (或者键盘Win+R,输入“cmd”)

在弹出的命令行里面输出“pip install transparent-background”

等待输入提示符闪烁,安装完成。

3. 安装SD插件:

首先我们需要有绘世SD webUI软件(如没有AI绘画软件SD,请看文末扫描获取),然后双击启动“A绘世启动器.exe”,在启动器面板左边“版本管理中”找到“安装新扩展”

搜索一下“Ebsynth ” 点击后面的“安装”,(如无法安装,请看文末获取本地插件安装包)

再搜索“Temporal” 点击安装。(如无法安装,请看文末获取本地插件安装包)

然后我们来到首页点击“一键启动” ,启动SD-WebUI。

它会自动下载安装插件,安装完成后会自动弹出URL网页链接。

此时我们需要的插件和环境都安装完成了,接下来看看如何使用。

4. 分割视频:

首先,我们找一个要转绘的视频,将其拖拽入WebUI中。设置如下,每1帧都采样,动作幅度较大就设置成每3帧提取一个关键帧。

分辨率我们可以在视频上右键“属性”-详细信息中查看,填写入视频的高度点击“保存设置”。

然后,我们需要在本地任意地方创建一个纯英文路径的文件夹。我在C:\Users\75691\Videos\test创建了个文件夹用于接收渲染的文件。

将这个路径填入设置,勾选“批量处理” 和“分割视频” 选项,然后我们就可以点击右边的“运行”了。

我们会看到刚创建的目录下面,会存放分割的视频文件图片。

0~6是刚刚每隔3帧取一个关键帧的储存文件夹。

input是原始视频逐帧图存放的文件夹。

output是一会儿要重绘的图的存放文件夹。

main_video.mp4是原始视频文件。

5. 确定风格:

然后我们需要确认我们转换的风格,比如是转换成卡通,还是3D又或者是真人,这些取决于我们选择的大模型的风格。我们这里选择卡通二次元。

将刚刚input路径下的图片拖入图生图,跑图测试。

修改提示词,先用DeepBooru 反推提示词。将红色背景,改成简单背景。加入LCM加速,提升出图速度。(我还加了个添加细节的lora这个随意)选择一个二次元模板。

如果你没有DeepBooru ,也可以用“WD 1.4标签器”反推提示词。

随后,我启用了“ADetailer”用于面部和手部修复。

加入了ControlNet 设置了两个单元,分别控制形态和前景。

渲染确定风格,这里风格主要取决于我们选择的大模型。

比如我选择的是tmndMix,你也可以选择写实的麦橘,那样出的风格就是写实的啦。

6. 批量渲染:

我们来到图生图的窗口,点击“批量处理”,将之前的输入输出目录的路径填入其中。

接下来,再将下面的“ControlNet ”的“批量处理” 页签打开,路径不用填写,它会继承图生图的路径设置。

注意上面是两个“ControlNet ”都要设置,完成后我们就可以点击“生成” 按钮了。

因为有lcm加速,所以速度要比以前快很多。显示大约需要的时间。

补充:这里有个bug注意一下,就是输出目录output填入了显示正常,但是跑图的时候无效。

我们会看见后台正常在跑图,但是填写的路径下目录里没东西。这时候我们需要“终止” 渲染。

将输出目录的地址清空不填写地址,用sd默认的地址。

然后我们点击“文件夹”图标,来到sd默认的img2img-images文件夹。

在弹出的目录里,选择今天日期的文件夹,将里面的图片清空。

回到SD,后面就会正常输出在这个默认的目录下了。将这些图片复制到之前的output目录中,但是这些图片是无法构建key的,因为input下的图片命名要和output下的图片命名一致。

所以我们需要使用批量修改命名工具去处理output下的图片命名。

左边是修改策略,右边是图片文件和预览修改后的样子。工具文末获取。

统一资源命名后,我们来到“Temporal-kit” 页签将视频和路径都填入设置。

填写完成后,点击“预处理 Ebsynth” 让其为我们的0-6文件跑“frames”和“keys”

后台完成后,我们即将进入自动生成补间帧环节。

7. 生成补间帧:

解压EbSynth-Beta-Win.zip压缩包到任意位置,这是一个exe执行程序,处理我们之前生成的0-6文件夹内的关键帧。资源可以在文末获取。

双击运行“EbSynth.exe”

将“frames”文件夹拖拽到,“Video:” 后面的路径里面。

将“keys”文件夹拖拽到,“Keyframes:” 后面的路径里面。

然后运行“EbSynth” 面板最下面的“Run AII” ,程序会开始自动生成补帧。

我们可以多开几个同时对0-6的文件夹处理,

注意每次使用,最好关掉重开!因为它不会自动更新最上级的路径。

完成后,我们将6个文件全部用上面一样的操作,执行一边。

8. 生成视频:

最后,我们再次回到“Temporal-Kit” 页签下“Ebsynth-流程” 页签,点击“重组 Ebsynth”来生成视频。

OK啦生成完成,流程部分到这里就结束了。但我一想其实还可结合之前的工具对视频进行放大处理。SD也有放大功能但是要重新渲染,下面的方式更简单。

工具获取看下方扫描获取


总结:

在本文中,我们详细探讨了使用SD-WebUI进行AI视频重绘的整个过程。这一过程涉及多个步骤,包括安装必要的软件和插件、分割视频、确定风格、批量渲染以及最终的视频生成。虽然这一流程相对复杂,需要一定的技术知识和耐心,但它提供了高度的自定义能力和本地化处理的优势,使得用户可以根据自己的需求和偏好来生成独特的视频内容。

总的来说,尽管SD-WebUI的视频重绘流程存在一定的门槛,但它提供了一个强大的平台,让用户能够创造出个性化的视频内容。通过本文的指导,即使是初学者也能够逐步掌握这一技术,享受到AI视频重绘带来的乐趣和创造力。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/766950.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

云原生之容器编排实践-OpenEuler23.09在线安装Kubernetes与KubeSphere

背景 前几篇文章中介绍了如何将 ruoyi-cloud 项目部署到 Kubernetes 集群中,包括网关服务、认证服务和系统服务并且对全部服务采用 YAML 文件的方式来进行部署,这虽然有助于理解 K8S 组织管理资源的风格与底层机制,但是对于团队中不太熟悉命…

黑马头条-数据管理平台

目录 项目准备 验证码登录 验证码登录-流程 token 的介绍 个人信息设置和 axios 请求拦截器 axios 响应拦截器和身份验证失败 优化-axios 响应结果 发布文章-富文本编辑器 项目准备 技术: • 基于 Bootstrap 搭建网站标签和样式 • 集成 wangEditor 插件…

嵌入式Linux系统编程 — 6.3 kill、raise、alarm、pause函数向进程发送信号

目录 1 kill函数 1.1 kill函数介绍 1.2 示例程序 2 raise函数 2.1 raise函数介绍 2.2 示例程序 3 alarm函数 3.1 alarm函数介绍 3.2 示例程序 4 pause函数 4.1 pause函数介绍 4.2 示例程序 与 kill 命令相类似, Linux 系统提供了 kill()系统调用&#…

用MySQL+node+vue做一个学生信息管理系统(一):配置项目

先用npm init -y生成配置文件 在项目下新建src文件夹,app.js文件。src目录用来放静态资源文件,app.js是服务器文件,index.js是vue的入口文件 使用npm install express下载express框架 在app.js文件夹开启node服务,监听的端口为…

可视化作品集(01):工业控制领域的大屏

hello,大家好,我是威斯数据,本期开始按照主题来分享可视化大屏/数字孪生项目作品集,大家想看哪些行业的作品,可以在评论区留言。 可视化大屏在工业控制领域可以帮助企业实现生产过程的实时监控、故障预警、生产调度和…

【Windows】Visual Studio Installer下载缓慢解决办法

【Windows】Visual Studio Installer下载缓慢解决办法 1.背景2.分析3.结果 1.背景 使用visual studio在线安装包进行IDE安装,发现下载几乎停滞,网速几乎为零。 经过排查并不是因为实际网络带宽导致。 这里涉及DNS知识; DNS(Dom…

Lua、AB包热更新总结

1.AB包热更新 (1)AB包是一种特定的压缩文件,可以放模型贴图音效等等 (2)Resources目录下打包时只读 无法修改;而AB包存储的位置是自定义的,能够动态更新,同时可以决定资源包初始的大…

红酒与舞蹈:舞动的味觉艺术

在艺术的海洋中,红酒与舞蹈总是能激起人们心中较温柔的涟漪。红酒以其深邃的色泽、馥郁的香气,诠释着味觉的艺术;而舞蹈,则以优雅的姿态、灵动的步伐,演绎着视觉的盛宴。当红酒遇上舞蹈,一场别开生面的艺术…

pycharm工具回退键调出

pycharm工具调出回退键。 View->Appearance->Toolbar,即可调出 调不出的可以使用快捷键:ctrlalt向左箭头 但是这个快捷键容易和电脑屏幕旋转冲突。可将电脑的快捷键关掉,即可。 ctrlalt向上箭头:将屏幕旋转到正常(横向&am…

Monorepo(单体仓库)与 MultiRepo(多仓库): Monorepo 单体仓库开发策略与实践指南

🔥 个人主页:空白诗 文章目录 一、引言1. Monorepo 和 MultiRepo 简介2. 为什么选择 Monorepo? 二、Monorepo 和 MultiRepo 的区别1. 定义和概述2. 各自的优点和缺点3. 适用场景 三、Monorepo 的开发策略1. 版本控制2. 依赖管理3. 构建和发布…

svn忽略上传文件node_modules文件

文章目录 1.点击svn项目右键-》选中svn的属性2. 点击 新建3. 点击其他4. 选择属性 svn:global-ignores5. 输入忽略文件 1.点击svn项目右键-》选中svn的属性 2. 点击 新建 3. 点击其他 4. 选择属性 svn:global-ignores 5. 输入忽略文件

能在网页上快速创建Linux系统的Instantbox

什么是 Instantbox ? Instantbox 是一个开源项目,旨在帮助用户在几秒钟内即可获得一个干净、随时可用的 Linux 机器。用户可以选择多种主流的的 Linux 发行版,目前支持 Ubuntu、CentOS、Arch Linux、Debia、Fedora、Alpine 的各个版本。软件基…

华为HCIP Datacom H12-821 卷24

1.单选题 企业大楼有大量员工通常都在上班时在大厅开始接入到公司的WLAN网络,随着每位员工走到各自的工位过程中,每个人的移动端叶通过漫游的方式漫游到各自的网络覆盖区域。为了尽量保证每个终端的IP地址是固定的,建议的做法是? A、配置VLAN Poo…

他们在闲鱼购物开通快手免密支付,支付宝被盗刷上万……

移动支付时代,想必大家都体验过爽到不能再爽,丝滑到不能再丝滑、方便到不能再方便的免密支付吧!‍‍‍‍ 小柴前几年也一样,在网络平台消费支付的时候,只要跳出授权免密支付的提醒,通通同意了。 但是被各种…

vue3 在el-input的光标处插入文本

点击文本框下方的按钮&#xff0c;将相应的文本插入光标处的实现&#xff1a; <el-input type"textarea" rows"4" v-model"formula" blur"handleBlur" clearable></el-input><el-button-group class"short_btn&q…

Python28-7.1 降维算法之PCA主成分分析

降维算法是一类数据处理技术&#xff0c;主要用于将高维数据映射到低维空间中&#xff0c;从而减少数据的维度。降维不仅可以减少计算复杂度&#xff0c;提高算法性能&#xff0c;还可以帮助数据可视化。常见的降维算法包括主成分分析&#xff08;PCA&#xff09;、线性判别分析…

冒泡排序写法

正宗的冒泡排序写法&#xff1a; public class BubbleSort {public static void main(String[] args) {int[] a {4,6,5,24,3,7,1};//初始化一个最大角标变量int n a.length-1;//循环轮次for (int i0;i<n;i){//从后向前开始&#xff0c;相邻元素比较大小&#xff0c;小的元…

HTML制作一个时钟走动效果

大家好&#xff0c;今天制作一个时钟走动效果&#xff01; 先看具体效果&#xff1a; 一、以下是一个简单的时钟走动效果的实现&#xff0c;使用了HTML、JavaScript和CSS技术。 <!DOCTYPE html> <html lang"en"> <head> <meta charset"…

【Linux】生物信息学常用基本命令

wget网址用于直接从网上下载某个文件到服务器&#xff0c;当然也可以直接从网上先把东西下到本地然后用filezilla这个软件来传输到服务器上。 当遇到不会的命令时候&#xff0c;可以使用man “不会的命令”来查看这个命令的详细信息。比如我想要看看ls这个命令的详细用法&…

Linux磁盘监控小技巧

作者&#xff1a;田逸&#xff08;formyz&#xff09; 默认情况下&#xff0c;使用Nrpe插件check_disk加选项“-w”与”-c”除了输出我们想监控的磁盘分区外&#xff0c;还输出了一些形如“/dev/shm”不需要监控的项目(如下图所示)&#xff0c;倒对查看起到了一些干扰作用。 从…