stable-diffusion-webui的介绍与使用——Controlnet1.1

源码地址：https://github.com/lllyasviel/ControlNet | 最新版本 controlnet-v1.1
论文地址：2302.Adding Conditional Control to Text-to-Image Diffusion Models
扩展UI地址（需先安装sd-webui）：https://github.com/Mikubill/sd-webui-controlnet

一、controlnet-v1.1 能做什么？

包含14个模型(11个成熟模型，3个实验)

1.1 图片-深度图-重绘-模型（ControlNet 1.1 Depth）

对应模型与配置（两个都要存在）：

control_v11f1p_sd15_depth.pth
control_v11f1p_sd15_depth.yaml

内置的3种预处理器（Preprocessors）生成深度图：
Depth_Midas
Depth_Leres
Depth_Zoe
也可以直接从rendering engines 到处的深度图（depth）
下图来源于官方git (题词为)：

a handsome man

在这里插入图片描述

1.2 图片-Bae’s的正则化图-重构

Model file: control_v11p_sd15_normalbae.pth
Config file: control_v11p_sd15_normalbae.yaml
Acceptable Preprocessors: Normal BAE.
This model can accept normal maps from rendering engines as long as the normal map follows ScanNet’s protocol

题词

random seed 12345
(“a man made of flowers”):

在这里插入图片描述

1.3 图像-candy边缘-重构（Canny）

对应模型与配置

control_v11p_sd15_canny.pth
control_v11p_sd15_canny.yaml

在这里插入图片描述

1.4 图片-`MLSD直线检测`-重绘

control_v11p_sd15_mlsd.pth
control_v11p_sd15_mlsd.yaml

Preprocessors: MLSD.
在这里插入图片描述

1.5 图片-线稿-重绘

模型

Model file: control_v11p_sd15_scribble.pth
Config file: control_v11p_sd15_scribble.yaml

输入

真实图片（选择内置）处理器

Scribble_HED,
Scribble_PIDI

在这里插入图片描述

自己手绘（hand-drawn ）

, “the beautiful landscape”):

在这里插入图片描述

1.6 图像-平滑线稿-重绘

Acceptable Preprocessors:
SoftEdge_PIDI,
SoftEdge_PIDI_safe,
SoftEdge_HED,
SoftEdge_HED_safe.
在这里插入图片描述

1.7 图片-语义分割图-重绘

相当于1.0版本支持150种颜色，本版本支持182 coco颜色
模型与配置

Model file: control_v11p_sd15_seg.pth
Config file: control_v11p_sd15_seg.yaml

在这里插入图片描述

1.8 图片-人体（手）关键点-重绘

Model file: control_v11p_sd15_openpose.pth
Config file: control_v11p_sd15_openpose.yaml

几种使用组合（普通关键点、人脸关键点、手指关键点）

Openpose body
Openpose hand
Openpose face
Openpose body + Openpose hand
Openpose body + Openpose face
Openpose hand + Openpose face
Openpose body + Openpose hand + Openpose face
上面的组合太复杂了，建议使用下面2种
“Openpose” = Openpose body
“Openpose Full” = Openpose body + Openpose hand + Openpose face

单人姿态迁移

在这里插入图片描述
全部

1.9 图片-详细线稿（Lineart）-重绘

Model file: control_v11p_sd15_lineart.pth
Config file: control_v11p_sd15_lineart.yaml

详细程度
在这里插入图片描述
简略

线稿上色感

在这里插入图片描述

1.10 动漫线稿上色-anime lineart

在这里插入图片描述

*1.11 图片-排布随机-重绘 `Shuffle`（实验行功能）

Model file: control_v11e_sd15_shuffle.pth
Config file: control_v11e_sd15_shuffle.yaml

在这里插入图片描述

生成人物
在这里插入图片描述

配合mul-contolnet

在这里插入图片描述

1.12 Instruct Pix2Pix （实验性功能）

Model file: control_v11e_sd15_ip2p.pth
Config file: control_v11e_sd15_ip2p.yaml

基于instrcuct pix2pix的数据集训练的
在这里插入图片描述

1.13 对原图进行修复（Inpaint）

Model file: control_v11p_sd15_inpaint.pth
Config file: control_v11p_sd15_inpaint.yaml

Model file: control_v11f1e_sd15_tile.pth
Config file: control_v11f1e_sd15_tile.yaml

1.14 图片细节重构（`Tile`）

Model file: control_v11f1e_sd15_tile.pth
Config file: control_v11f1e_sd15_tile.yaml

在这里插入图片描述

安装

本机安装

服务器安装方法

git clone https://github.com/Mikubill/sd-webui-controlnet
git clone https://github.com/fkunn1326/openpose-editor.git

附录

论文以及原理

2302.Adding Conditional Control to Text-to-Image Diffusion Models
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/30429.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

stable-diffusion-webui的介绍与使用——Controlnet1.1

一、controlnet-v1.1 能做什么？

1.1 图片-深度图-重绘-模型（ControlNet 1.1 Depth）

1.2 图片-Bae’s的正则化图-重构

1.3 图像-candy边缘-重构 （Canny）

1.4 图片-MLSD直线检测-重绘

1.5 图片-线稿-重绘

真实图片 （选择内置）处理器

自己手绘（hand-drawn ）

1.6 图像-平滑线稿-重绘

1.7 图片-语义分割图-重绘

1.8 图片-人体（手）关键点-重绘

几种使用组合（普通关键点、人脸关键点、手指关键点）

单人姿态迁移

1.9 图片-详细线稿（Lineart）-重绘

线稿上色感

1.10 动漫线稿上色-anime lineart

*1.11 图片-排布随机-重绘 Shuffle（实验行功能）

配合mul-contolnet

1.12 Instruct Pix2Pix （实验性功能）

1.13 对原图进行修复（Inpaint）

1.14 图片细节重构（Tile）

安装

附录

论文以及原理

相关文章

1.3 图像-candy边缘-重构（Canny）

1.4 图片-`MLSD直线检测`-重绘

真实图片（选择内置）处理器

*1.11 图片-排布随机-重绘 `Shuffle`（实验行功能）

1.14 图片细节重构（`Tile`）