AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装


部署包作者:秋葉aaaki

免责声明:
本安装包及启动器免费提供 无任何盈利目的


大家好,我是风雨无阻。

众所周知,StableDiffusion 是非常强大的AI绘图工具,需要详细了解StableDiffusion的朋友,可查看我之前的这篇文章: 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion。


今天为大家带来的是 Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装 。


首先来明确一下这个ControlNet1.1 到到底是什么?

ControlNet1.1 是Stable Diffusion 绘画插件,在2023年4月份更新了 V1.1 版本,发布了14 个优化模型,并新增了多个预处理器,并且在原有的模型上进行了一些优化,让它的功能比之前更加好用了。

那么我们先来详细了解一下 ControlNet1.1 的新模型新功能。


一、ControlNet1.1 的新模型新功能


1、新增Lineart模型 和 lineart_anime模型


现在新增了两个模型,lineart和lineart anime,完全可以替代原来的Canny强大的线稿上色,无论是上色黑白和彩色功能都非常强大。


在这里插入图片描述


在这里插入图片描述


2、新增Instruct Pix2Pix 模型


模型能够接受一张图像和相应的文字指令(也就是prompt),根据指令来编辑图像,局部整体操纵图像程度的能力。


将白天变为夜晚 ,如图:

在这里插入图片描述


换发型 ,如图:


在这里插入图片描述


换装 ,如图:

在这里插入图片描述


3、 新增Tile 模型

Tile 模型对于图片高清修复、提升细节、根据画面自动推断内容有着很好效果,根据官方的介绍有5种功能:

  • 可以进行图片放大 2x、4x 或 8x 超分辨率
  • 可以在图像中添加、更改或重新生成图像细节
  • 可以修复、细化和改进通过任何其他超分辨率方法获得的不良图像细节
  • 它可以引导SD放大脚本,生成错误的问题
  • 可以完成未完成的图稿,如果这些图稿是用色块绘制的

在这里插入图片描述


图像修复前:

在这里插入图片描述


图像修复后:

在这里插入图片描述


细节调整前:

在这里插入图片描述


细节调整后:

在这里插入图片描述


4 、新增shuffle 模型

shuffle模型可以称为重组模型,从shuffle模型的是使用效果来看,shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成,所以当我们找到比较好的参考图时,就可以使用shuffle模型进行图片创作。


我们先来看一下人物图处理效果:

在这里插入图片描述


在这里插入图片描述


从成图效果来看,新生成的图片风格、色调、人物的部分姿态都进行还原和保留,因此我们使用Shuffle模型可以使用原图进行参考借鉴,重组画面进行生成的新图片。


再来看一下风景类图处理效果:

在这里插入图片描述


在这里插入图片描述


从成图来看,主要的配色、风格还是参考了原图的样式,构图结构上也有部分的参考。


新增的功能和模型效果介绍就到这里了,接下来介绍一下,如何安装和使用ControlNet1.1。


之前,我们一直在用的是Control插件,其实只需要将插件升级到新版本以后,就可以用新版本的模型了。所以我们只需更新插件,然后下载新的模型放进去就好。


二、安装ControlNet1.1

本次升级和安装的内容主要有2点:

  • 升级 ControlNet插件版本

  • 安装各种预处理器的模型


如果你还没有安装 Stable Diffusion 整合包,可以阅读 Stable Diffusion 研究(一)sd整合包v4.2 版本安装说明 这篇文章,了解安装 Stable Diffusion 整合包需要的电脑配置以及下载相关的安装包。


首先需要准备好ControlNet 1.1 安装文件,文件集成在整合包sd-webui-aki-v4.2 版本 里,没有下载的朋友,可以去自行下载。


1、升级 ControlNet插件版本

第一步, 进入整合包目录:sd-webui-aki-v4, 直接双击 A启动器.exe 运行


启动后如下 :

在这里插入图片描述


第二步,点击左侧版本管理

在这里插入图片描述


第三步,切换到扩展标签页 ,点击右上角“一键更新”按钮即可。


在这里插入图片描述


2、安装各种预处理器的模型 (可选)

第一步,将预处理器模型文件夹里的 download 文件夹,整个复制放到插件目录底下的annotator文件夹里面。

\controlnet1.1\预处理器\download
\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator

如图:

在这里插入图片描述



第二步,将controlnet1.1 模型放到sd-webui-controlnet\model 文件夹就可以了

\controlnet1.1\模型
\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models

在这里插入图片描述



完成以上操作后,关闭启动器、控制台、webui,然后重新启动就可生效。

如图:

在这里插入图片描述



三、ControlNet1.1 使用体验及相对于老板本的一些变化


1、颜色反转模式变为了一个单独的预处理器


在这里插入图片描述


2、新增加完美像素模式

选择以后能解决 ControlNet 处理的一些分辨率问题。


在这里插入图片描述


3、新增控制模式

新增控制模式:

  • 均衡
  • 更偏向提示词
  • 更偏向ControlNet

选择更偏向ControlNet时,需要降低CFG。

在这里插入图片描述


4、老板本的HED变为了SoftEdge

在这里插入图片描述


5、 增加了几个预处理器

OpenPose预处理器-> OpenPose模型
Openpose_full,一个模型姿态手部脸部全部搞定

在这里插入图片描述


6、老板本的 Depth模型 -> 新版本推荐 Leres++、Zoe预处理器

在这里插入图片描述


好了,今天的分享就到这里,ControlNet1.1 更多功能和变化这里就不再详细说明了,感兴趣的朋友可以自行研究。下一篇,将给大家带来,sd 各个功能模块的详细使用方法,敬请期待。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/51675.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

深度学习实践——模型部署优化实践

系列实验 深度学习实践——卷积神经网络实践:裂缝识别 深度学习实践——循环神经网络实践 深度学习实践——模型部署优化实践 深度学习实践——模型推理优化练习 源码: 1. 对应的github地址 https://github.com/Asionm/streamlit_demo 2. 对应的gitee地…

fwrite函数

1、函数声明 size_t fwrite( const void *buffer, size_t size, size_t count, FILE *stream ); 2、参数说明 buffer 指向要写入的数据的指针。 size 项大小(以字节为单位)。 count 要写入的项的最大数量。 stream 指向 FILE 结构的指针。 3、…

【机器学习】Cost Function

Cost Function 1、计算 cost2、cost 函数的直观理解3、cost 可视化总结附录 首先,导入所需的库: import numpy as np %matplotlib widget import matplotlib.pyplot as plt from lab_utils_uni import plt_intuition, plt_stationary, plt_update_onclic…

C# VS2022+WinForm+Oracle19.3+存储过程,SQL和代码分离

【我的目的】:SQL和代码分别存放在不同的地方,便于随时修改SQL的内容,也便于修改SQL的书写格式 方案1:把SQL存放在DataSet.xsd中实现SQL和代码分离 方案2:用存储过程实现SQL和代码分离 我最倾向方案1,利用…

网络安全(黑客)自学误区

前言 网络安全是当今社会中至关重要的议题。随着科技的迅猛发展,网络已经渗透到我们生活的方方面面,给我们带来了巨大的便利和机遇。然而,网络也存在着各种风险和威胁,如黑客攻击、数据泄露等。因此,学习网络安全知识…

给你一个项目,你将如何开展性能测试工作?

一、性能三连问 1、何时进行性能测试? 性能测试的工作是基于系统功能已经完备或者已经趋于完备之上的,在功能还不够完备的情况下没有多大的意义。因为后期功能完善上会对系统的性能有影响,过早进入性能测试会出现测试结果不准确、浪费测试资…

一文学会redis在springBoot中的使用

“收藏从未停止,练习从未开始”,或许有那么一些好题好方法,在被你选中收藏后却遗忘在收藏夹里积起了灰?今天请务必打开你沉甸甸的收藏重新回顾,分享一下那些曾让你拍案叫绝的好东西吧! 一、什么是redis缓存…

万年历【小游戏】(Java课设)

系统类型 Java实现的小游戏 使用范围 适合作为Java课设!!! 部署环境 jdk1.8Idea或eclipse 运行效果 更多Java课设系统源码地址:更多Java课设系统源码地址 更多Java小游戏运行效果展示:更多Java小游戏运行效果展…

JavaScript学习 -- 对称加密算法DES

在现代的互联网时代,数据安全性备受关注。为了保护敏感数据的机密性,对称加密算法是一种常用的方法。在JavaScript中,DES(Data Encryption Standard)是一种常用的对称加密算法。本篇博客将为您展示如何在JavaScript中使…

Unity 四元素

//-------------旋转------------ // //设置角度 (超过90或负数时,会设置-1结果是359这样的问题,可以使用下面旋转的方式) transform.rotate new Quaternion(0,0,0,0);//Quaternion四元数 transform.localEulerAngles new Vector3(0,0,0);//EulerA…

企业电子招投标采购系统源码之-java spring cloud+spring boot

​ 信息数智化招采系统 服务框架:Spring Cloud、Spring Boot2、Mybatis、OAuth2、Security 前端架构:VUE、Uniapp、Layui、Bootstrap、H5、CSS3 涉及技术:Eureka、Config、Zuul、OAuth2、Security、OSS、Turbine、Zipkin、Feign、Monitor、…

Restful的详细介绍~

RESTFUL简介: Restful是我们看待服务器的一种方式,我们都知道Java一切皆对象,因此在Java中,我们可以将所有的内容都看成对象,而在这里,RESTFUL是我们看待服务器的一种方式,我们可将服务器中的所…

idea中设置maven本地仓库和自动下载依赖jar包

1.下载maven 地址&#xff1a;maven3.6.3 解压缩在D:\apache-maven-3.6.3-bin\apache-maven-3.6.3\目录下新建文件夹repository打开apache-maven-3.6.3-bin\apache-maven-3.6.3\conf文件中的settings.xml编辑&#xff1a;新增本地仓库路径 <localRepository>D:\apache-…

ChatGPT与高等教育变革:价值、影响及未来发展

最近一段时间&#xff0c;ChatGPT吸引了社会各界的目光&#xff0c;它可以撰写会议通知、新闻稿、新年贺信&#xff0c;还可以作诗、写文章&#xff0c;甚至可以撰写学术论文。比尔盖茨、马斯克等知名人物纷纷为此发声&#xff0c;谷歌、百度等知名企业纷纷宣布要提供类似产品。…

WIZnet W5100S-EVB-Pico DHCP 配置教程(三)

DHCP协议介绍 什么是DHCP&#xff1f; 动态主机配置协议DHCP&#xff08;Dynamic Host Configuration Protocol&#xff09;是一种网络管理协议&#xff0c;用于集中对用户IP地址进行动态管理和配置。 DHCP于1993年10月成为标准协议&#xff0c;其前身是BOOTP协议。DHCP协议由…

ceph集群中RBD的性能测试、性能调优

文章目录 rados benchrbd bench-write测试工具Fio测试ceph rbd块设备的iops性能测试ceph rbd块设备的带宽测试ceph rbd块设备的延迟 性能调优 rados bench 参考&#xff1a;https://blog.csdn.net/Micha_Lu/article/details/126490260 rados bench为ceph自带的基准测试工具&am…

常见网关对比

常见网关对比 目前常见的开源网关大致上按照语言分类有如下几类&#xff1a; Nginxlua &#xff1a;OpenResty、Kong、Orange、Abtesting gateway 等 Java &#xff1a;Zuul/Zuul2、Spring Cloud Gateway、Kaazing KWG、gravitee、Dromara soul 等 Go &#xff1a;Janus、fa…

多线程只需这一篇足够

开玩笑的 本篇详细讲述了多线程的各种细节及操作方法 对锁的各种操作&#xff0c;以及原子性的阐述 原谅我嚣张的标题 Begin&#xff1a;本篇文章尽可能详细的讲述了线程的概念、使用、安全问题&#xff0c;以及消费者生产者模型的设计理念和实现代码。对于单例模式的两种实现代…

spring6——容器

文章目录 容器&#xff1a;IocIoc容器控制反转&#xff08;Ioc&#xff09;依赖注入IoC容器在Spring的实现 基于XML管理Bean搭建环境获取bean依赖注入setter注入构造器注入特殊值处理字面量赋值null值xml实体CDATA节 特殊类型属性注入为对象类型属性赋值方式一&#xff1a;引入…

1400*B. I Hate 1111(思维+数学)

Example input 3 33 144 69 output YES YES NO 题意&#xff1a; 问一个数字是否可以由 11&#xff0c;111&#xff0c;1111&#xff0c;11111...... 任意倍数加和所得。 解析&#xff1a; 可以观察到 1111%110&#xff0c;11111%1110&#xff0c;而后面更大的11111111…