Stable Diffusion基础：ControlNet之人体姿势控制

image.png

在AI绘画中精确控制图片是一件比较困难的事情，不过随着 ControlNet 的诞生，这一问题得到了很大的缓解。

今天我就给大家分享一个使用Stable Diffusion WebUI + OpenPose ControlNet 复制照片人物姿势的方法，效果可以参考上图。

OpenPose 可以控制人体的姿态、面部的表情，有时候还能够解决坏手的问题（不要抱太大期望，下文会有介绍）。

OpenPose可以直接复制一张图片的人体姿势，就像题图一样，也可以通过骨架图生成人体图片（什么是骨架图？下文会有介绍）。

下面我们就以“文生图”为例，来看下如何使用 OpenPose 。

安装ControlNet

一般的 Stable Diffusion WebUI 整合包或者镜像都已经安装了这个插件，如果你的还没有安装，需要先安装它。已经安装好的跳过这一小节即可。

方法是打开 Stable Dissusion WebUI 前端页面，进入“扩展插件”-“从网址安装”，在“扩展插件的git仓库网址”中输入：github.com/Mikubill/sd…，然后点击“安装”，待安装完成后重启 SD WebUI。各种 ControlNet 模型和预处理器一般会在首次使用时自动下载安装。

如果访问github不畅，也可以通过别的方式下载插件包和对应的模型，然后自己部署到 stable-diffusion-webui 中。文章最后提供了我整理的插件包和各种模型。

具体部署路径如下：

  1. ControlNet插件：/extensions
  2. ControlNet模型：/extensions/sd-webui-controlnet/models
  3. ControlNet预处理器：/extensions/sd-webui-controlnet/annotator/downloads

注意需替换 为你自己的SD WebUI部署路径，如果你的 SD WebUI 启动命令中配置了模型的路径，或者做了文件夹的软链接，也需要根据实际情况进行调整。搞不明白的可以联系我。

安装成功后，在“文生图”、“图生图”界面的下方会出现 ControlNet 区域，点击右侧的展开按钮，下边有4个ControlNet单元，也就是我们可以同时使用4个ControlNet模型控制出图的效果，一般也就够了。

如果你的 ControlNet 只有1个单元，或者你想修改这个单元的数量，可以到“设置”中调整，如下图所示，找到“多重控制网:最大模型数量”，更改之后别忘了重启。

复制图片姿势

进入“文生图”界面，只需要选择一个你喜欢的大模型，填写简单的提示词就可以了。文章最后提供了我整理的模型合集，有兴趣的可以参考使用。

然后在页面下方的 ControlNet 中设置 OpenPose，按照下图所示的步骤操作：

  1. 这里只需要设置1个 ControlNet 单元，选择第一个就行了。
  2. 上传你要复制姿势的图片。
  3. 启用这个 ControNet 单元，一般选择图片后会自动勾选。
  4. 选中“完美匹配像素”，让 ControlNet 自动计算一个合理的内部图片处理空间，涉及底层技术细节，无脑勾选就行了。
  5. Control Type 选择 OpenPose。
  6. 预处理会自动带出，不用修改。它是用来从参考图片中提取骨架图的。
  7. 模型会自动带出，不用修改。它是在生成图片时根据骨架图控制人体姿势的。
  8. 这个按钮可以将参考图片的尺寸带到“文生图”参数中，如果参考图片的高宽没有超过 1024 ，建议使用，超过1024的出图会比较慢，可以按照图片比例手动设置“文生图”中的高宽参数。

最后点击“生成”就等着出图吧。这里会输出两张图片，一张是使用大模型加OpenPose生成的图片，另一张是根据参考图片生成的骨架图，我们可以把这个骨架图复制出来，以后继续使用或者分享给别人使用。

注意看这个骨架图中是有一点手的形状的，所以理论上，如果我们在骨架图中描绘了手的形状，生成图片中的手是会受到一定约束的。再来一张总统挥手的照片，这只手看着还不错，不过也是生成了很多张之后挑选出来的。

生图参数：

a man in a suit waves from a plane window as he stands on the deck of a plane with his hand up, Beeple, sunglasses, a stock photo, american romanticism
Negative prompt: EasyNegative,bad hands,bad fingers
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 289185078, Size: 656x432, Model hash: c0d1994c73, Model: realisticVisionV20_v20, Denoising strength: 0.7, Clip skip: 2, ControlNet 0: “preprocessor: openpose_full, model: control_v11p_sd15_openpose_fp16 [73c2b67d], weight: 1.5, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: True, control mode: Balanced, preprocessor params: (512, -1, -1)”, Hires upscale: 2, Hires upscaler: Latent, TI hashes: “EasyNegative: c74b4e810b03”, Version: v1.5.1

使用骨架图姿势

在上一小节我们使用 OpenPose 时，先提取了图片人物的骨架图，然后使用骨架图生成的图片，所以只要有骨架图就能生成图片了。这对于创造太方便了，毕竟没有那么多的图片可以参考。

这里为了演示方便，直接使用上一小节提取的骨架图。我们只需要更改 ControlNet 这里的设置，如下图所示：

  1. 上传照片使用骨架图。
  2. 预处理器设置为None，因为我们不需要再从照片中提取人物的骨架图。

其他参数都不变，直接生成就好了。

创造骨架图

骨架图从哪里来？这里介绍一个网站、两个插件，都可以生成或者获取骨架图。

Avatar Pose Maker

这是一个制作骨架图的网站，可以调整人体的姿势、拍照的视角，也可以下载别人制作好的骨架图。

打开的页面如下图所示，我简单说下几个操作区域：

  1. 这里选择你要调整的身体部位
  2. 这里设置具体身体部位的参数，可以调整姿势。
  3. 这里可以调整人物的视角，是正面、侧面，还是仰视、俯视等等。
  4. 这里下载你创造的骨架图照片
  5. 这里可以随机生成很多人体姿势。
  6. 这里可以进入查看别人分享的姿势，有标签说明姿势是什么含义，选择下载就好了。

OpenPose Editor

这是 Stable Diffusion WebUI 的一个插件

安装成功后，我们可以在一级页签中看到“OpenPose Editor”，这个插件的使用比较简单，可以在绘图区域这里直接调整人物的姿势，然后下载图片备用，或者直接发送到文生图、图生图等使用。

这里贴出我这个骨架图的出图效果：

生图参数：

eastern girl,18 years old, standing, waving left hand, balck hair, long straight hair, blue eyes, white shirt, blue jeans, trees, blue sky, cloud
Negative prompt: EasyNegative, bad hands, bad fingers, malformed
Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1995058330, Face restoration: CodeFormer, Size: 512x512, Model hash: 15012c538f, Model: realisticVisionV51_v51VAE, Denoising strength: 0.7, Clip skip: 2, ControlNet 0: “preprocessor: none, model: control_v11p_sd15_openpose_fp16 [73c2b67d], weight: 1, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (-1, -1, -1)”, Hires upscale: 2, Hires upscaler: Latent, TI hashes: “EasyNegative: c74b4e810b03”, Version: v1.5.1

3D Openpose

这是又一个Stable Diffusion WebUI的插件

安装成功后，我们可以在一级页签中看到“3D Openpose”，这个插件功能比较强大，我们可以在一个3D的环境中调整人物的形态，但是操作上也会比较复杂，大家可以自己体会下。

  1. 双击骨架图中的关节部位可以调整这个关节的方向。
  2. 鼠标滑动可以调整人物的视角和大小。
  3. 特别支持了手脚的深度图、边缘检测图，用于优化手脚的生成，也可以单独只生成手。

调整好后，点击“生成”。

生成后的预览图如下，第一张是骨架图，后边几张是用来画手脚的辅助图。

可以直接发送到文生图和图生图，也可以下载后备用。直接发送感觉不太好用，建议先下载再上传。ControlNet的设置方式和上文直接使用骨架图生成图片一样，注意不需要选择预处理器。

如果我们希望对手脚进行专门的修复，可以使用画手脚的辅助图。这里选择边缘检测这个ControlNet，注意还是不要选择预处理器，启动控制步数和结束控制步数大家可以根据实际情况调整，文生图中不要从0到1，会影响图片的结构，图生图中可以使用局部绘图修手修脚。

虽然我们专门对手脚进行了处理，但是出图的效果还是经常出现畸形的手脚，效果是有的，但和期望的差距还比较大。下边是两个例子：

  1. 文生图带修手：

  1. 先文生图，再图生图局部修手：

这里直接将该软件分享出来给大家吧~

1.stable diffusion安装包

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.SD从0到落地实战演练

在这里插入图片描述

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好，需要的点击下方添加，即可前往免费领取！

​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/602086.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

不得不聊的微服务Gateway

不得不聊的微服务Gateway

一、 什么是Gateway？ 1.网关的由来 单体应用拆分成多个服务后，对外需要一个统一入口，解耦客户端与内部服务 2.网关的作用 Spring Cloud Gateway是Spring Cloud生态系统中的一员，它被设计用于处理所有微服务的入口流量。作为一…
阅读更多...
Dice Semimetric Losses: Optimizing the Dice Score with Soft Labels

Dice Semimetric Losses: Optimizing the Dice Score with Soft Labels

文章目录 Dice Semimetric Losses: Optimizing the Dice Score with Soft Labels摘要方法实验结果 Dice Semimetric Losses: Optimizing the Dice Score with Soft Labels 摘要 Soft Dice Loss（SDL）在医学图像领域的许多自动分割中发挥了关键作用。在过…
阅读更多...
【数据库原理及应用】期末复习汇总高校期末真题试卷07

【数据库原理及应用】期末复习汇总高校期末真题试卷07

试卷 一、填空题（每空1分，共10分） 1.数据库管理系统在外模式、模式和内模式这三级模式之间提供了两层映象，其中 映象保证了数据的逻辑独立性。 2. 数据模型通常由 、数据操作和完整性约束三部分组…
阅读更多...
vue 文本中的\n 、＜br＞换行显示

vue 文本中的\n 、＜br＞换行显示

一、背景&#xff1a; 后端接口返回数据以\n 作为换行符&#xff0c;前端显示时候需要换行显示&#xff1b; demo&#xff1a; <p style"white-space: pre-wrap;">{{ info }}</p>data() {return {info: 1、优化图片\n 2、 优化时间\n}},项目上&#…
阅读更多...
通配符证书价格350元

通配符证书价格350元

通配符SSL证书是一种特殊的域名SSL证书&#xff0c;这款SSL证书默认保护主域名以及主域名下的所有子域名&#xff0c;因此&#xff0c;子域名比较多的个人或者企事业单位开发者都倾向于选择通配符SSL证书来简化SSL证书管理过程&#xff0c;节省购买SSL证书的资金&#xff0c;降…
阅读更多...
前端如何设置div可滚动，且设置滚动条颜色

前端如何设置div可滚动，且设置滚动条颜色

在前端中&#xff0c;设置 div 为可滚动并通过 CSS 自定义滚动条的颜色并不是所有浏览器都直接支持的功能&#xff0c;因为滚动条的样式在很大程度上取决于操作系统和浏览器的默认样式。然而&#xff0c;你可以使用某些 CSS 属性来尝试自定义滚动条的外观&#xff0c;这些属性在…
阅读更多...
JavaEE概述 + Maven

JavaEE概述 + Maven

文章目录 一、JavaEE 概述二、工具 --- Maven2.1 Maven功能 仓库 坐标2.2 Maven之项目构建2.3 Maven之依赖管理 三、插件 --- Maven Helper 一、JavaEE 概述 Java SE、JavaEE&#xff1a; Java SE&#xff1a;指Java标准版&#xff0c;适用于各行各业&#xff0c;主要是Java…
阅读更多...
2024 Flutter 一季度热门 issue/roadmap 进展和个人感触闲聊

2024 Flutter 一季度热门 issue/roadmap 进展和个人感触闲聊

因为最近的《Flutter&#xff1a;听说你最近到处和人说我解散了&#xff1f;》相关事件之后&#xff0c;不少人对于目前 Flutter 的一些进度情况比较关心&#xff0c;刚好这里做一个简要汇总&#xff0c;报告几个过去一季度相关的热门 issue/roadmap 情况&#xff0c;另外这些天…
阅读更多...
邮件群发系统的效率怎么样？如何评估性能？

邮件群发系统的效率怎么样？如何评估性能？

邮件群发系统的使用方法&#xff1f;邮件群发工具的关键功能&#xff1f; 邮件群发系统已成为企业、组织及个人进行信息沟通的重要工具。然而&#xff0c;当我们谈论邮件群发系统的效率时&#xff0c;我们需要从多个维度来全面分析和评估。AokSend就来介绍一下。 邮件群发系统…
阅读更多...
ReactFlow的ReactFlow实例事件传参undefined处理状态切换

ReactFlow的ReactFlow实例事件传参undefined处理状态切换

1.问题 ReactFlow的ReactFlow实例有些事件我们在不同的状态下并不需要&#xff0c;而且有时候传参会出现其它渲染效果&#xff0c;比如只读状态下我们不想要拖拉拽onEdgesChange连线重连或删除的功能。 2.思路 事件名称类型默认值onEdgesChange(changes: EdgeChange[]) >…
阅读更多...
AI大模型探索之路-训练篇17：大语言模型预训练-微调技术之QLoRA

AI大模型探索之路-训练篇17：大语言模型预训练-微调技术之QLoRA

系列篇章&#x1f4a5; AI大模型探索之路-训练篇1&#xff1a;大语言模型微调基础认知 AI大模型探索之路-训练篇2&#xff1a;大语言模型预训练基础认知 AI大模型探索之路-训练篇3&#xff1a;大语言模型全景解读 AI大模型探索之路-训练篇4&#xff1a;大语言模型训练数据集概…
阅读更多...
浅谈消息队列和云存储

浅谈消息队列和云存储

1970年代末&#xff0c;消息系统用于管理多主机的打印作业&#xff0c;这种削峰解耦的能力逐渐被标准化为“点对点模型”和稍复杂的“发布订阅模型”&#xff0c;实现了数据处理的分布式协同。随着时代的发展&#xff0c;Kafka&#xff0c;Amazon SQS&#xff0c;RocketMQ&…
阅读更多...
基于大数据+Hadoop的豆瓣电子图书推荐系统实现

基于大数据+Hadoop的豆瓣电子图书推荐系统实现

&#x1f339;作者主页&#xff1a;青花锁 &#x1f339;简介&#xff1a;Java领域优质创作者&#x1f3c6;、Java微服务架构公号作者&#x1f604; &#x1f339;简历模板、学习资料、面试题库、技术互助 &#x1f339;文末获取联系方式 &#x1f4dd; 系列文章目录 基于大数…
阅读更多...
组合模式(Composite)——结构型模式

组合模式(Composite)——结构型模式

组合模式(Composite)——结构型模式 组合模式是一种结构型设计模式&#xff0c; 你可以使用它将对象组合成树状结构&#xff0c; 并且能通过通用接口像独立整体对象一样使用它们。如果应用的核心模型能用树状结构表示&#xff0c; 在应用中使用组合模式才有价值。 例如一个场景…
阅读更多...
新能源汽车充电站智慧充电电能服务综合解决方案

新能源汽车充电站智慧充电电能服务综合解决方案

安科瑞薛瑶瑶18701709087/17343930412 ★解决方案 ✔目的地充电-EMS微电网平台 基于EMS解决方案从设备运维的角度解决本地充电的能量管理及运维问题&#xff0c;与充电管理平台打通数据&#xff0c;为企业微电网提供源、网、荷、储、充一体化解决方案。 ✔运营场站--电能服务…
阅读更多...
​「Python绘图」绘制太极图

​「Python绘图」绘制太极图

python 绘制太极 一、预期结果 二、核心代码 import turtlepen turtle.Turtle()print("开始绘制太极")radius 100 pen.color("black", "black") pen.begin_fill() pen.circle(radius/2, 180) pen.circle(radius, 180) pen.left(180) pen.circ…
阅读更多...
英语口语情景对话视频软件分享！

英语口语情景对话视频软件分享！

在当今全球化的时代&#xff0c;英语已成为一种通用的国际语言。为了提高英语口语能力&#xff0c;越来越多的人选择使用英语口语情景对话视频软件。本文将为您推荐几款备受欢迎的英语口语情景对话视频软件&#xff0c;帮助您轻松提高英语口语水平。 AI外语陪练 AI外语陪练软件…
阅读更多...
营养补充品软胶囊：弹性测试与市场表现的深度解析

营养补充品软胶囊：弹性测试与市场表现的深度解析

营养补充品软胶囊&#xff1a;弹性测试与市场表现的深度解析 在追求健康生活的时代&#xff0c;营养补充品市场蓬勃发展&#xff0c;其中软胶囊作为一种方便、易吸收的剂型&#xff0c;受到了消费者的广泛欢迎。然而&#xff0c;在这个竞争激烈的市场中&#xff0c;如何确保产…
阅读更多...
推荐5个AI工具平替GPT

推荐5个AI工具平替GPT

随着AI技术的快速发展&#xff0c;AI写作正成为创作的新风口。但是面对GPT-4这样的国际巨头&#xff0c;国内很多小伙伴往往望而却步&#xff0c;究其原因&#xff0c;就是它的使用门槛高&#xff0c;还有成本的考量。 不过&#xff0c;随着GPT技术的火热&#xff0c;国内也涌…
阅读更多...
window11事件查看器中“在事件中只要触发此事件，就会执行相关非XX.xml脚本”

window11事件查看器中“在事件中只要触发此事件，就会执行相关非XX.xml脚本”

在事件中只要触发此事件&#xff0c;就会执行相关非XX.xml脚本 一、操作过程 1、在时间查看器中&#xff0c;将任务附加到此事件上 2、按照提示逐步下一步添加完成 3、只要触发1中的事件&#xff0c;那么就会执行对应的关联脚本xx.xml。 二、解决办法 1、通过开始菜单搜索打…
阅读更多...
最新文章

Copyright @ 2022~2023