我用AI绘画Stable Diffusion 一个月后，竟然能做出惊艳所有人的效果！

大家好，我是设计师阿威

如今要拍摄一组写真，需要服装、道具、灯光、场地、布景、拍摄、后期等过程。整个过程需要统一才能形成好的写真效果。现在有了AI绘图技术，我们可以实现通过AI绘图，只用计算机计算就得到一组接近真实的写真照吗？答案是可以的！

其实基于现有的很多AI工具，都能实现真人AI写真，之前我介绍过了Stable Diffusion的WebUI和ComfyUI，今天我们仍然以所有AI绘图工具中，控图能力最强的Stable Diffusion为例，为大家深入浅出地介绍如何使用Stable Diffusion进行真人AI写真的创作。

话不多说，我们先看效果，下图是我做过的一部分AI写真，有男人，女人，和小孩

一、如何实现

现在，我们来整理一下思路，如何利用AI实现真人写真？大致上，我们大概可以想到以下几个思路：

• 网图AI换脸
• AI绘图换脸
• 真人训练AI绘图

在以上思路中，我们进一步分析拆解，可以发现其实可以得到以下几个关键步骤

• AI换脸
• AI绘制人物
• 真人模型训练

我们就以其中最小关键步骤为切入点来讲解

二、AI换脸

在Stable Diffusion中进行AI换脸是十分容易的，主要得益于WebUI强大的第三方插件商店，目前常用的roop和faceSwap两款插件，可以非常方便快速的实现AI换脸

1. 环境准备roop换脸插件

要使用AI换脸插件，我们需要先安装在需要的环境 准备环境的过程中，可能出现各种安装错误，这里不一一列举，大家有问题可以提出来，我看到会为大家解答！

roop插件是WebUI中的其中一款换脸插件

安装

通过插件商店安装：扩展->可下载->加载扩展列表 输入roop搜索，再点击安装即可

在这里插入图片描述

下载模型

下载 inswapper_128.onnx 模型：https://huggingface.co/ezioruan/inswapper_128.onnx/tree/main
（注意：如无法下载，请扫描获取本文所用到的安装包、插件和模型文件哦）

将下载的 inswapper_128.onnx 模型替换到 /models/roop/ 目录中。

使用

安装完成之后，重启sd-webui，我们就能在文生图和图生图都看到roop插件了。roop插件的界面基本上也一目了然，大概看看就知道怎么使用了。 Roop只会修改五官、眉毛以及脸型，不会改变肤色

1. 文生图
我们用以下咒语先画一个帅哥出来

best quality,masterpiece,
1boy,male focus,solo,facial hair,necktie,realistic,formal,suit,brown background,black necktie,looking at viewer,upper body,beard,brown hair,shirt,jacket,tongue,white shirt,black jacket,collared shirt,stubble,brown eyes,black suit,

在这里插入图片描述

这时，我们还没启用roop，现在我们再启用roop，把马斯克的脸替换上去
在这里插入图片描述

于是，我们就得到了这样的图片

在这里插入图片描述

融合图片

1. 图生图
文生图如此，那图生图其实也大同小异，我们随便从网络抓一个帅哥图片

然后调整我们的SD参数

按照普通的图生图模式，把重绘幅度拉低到0.3-0.6之间就行，当然最重要的还是启动roop换脸插件于是，我们最终得到这样的融合图片

在这里插入图片描述

进阶使用

上面流程中，我们使用默认参数即可，其实它的界面上还有一些可调整的参数

逗号分割的面部编号即我们可以选择替换图片中的第几个人脸，从左往右从0开始（比如我们图片有两个人，我们要替换右边的人脸，则填1），非常适合多人脸替换，我们可以挨个进行替换
面部修复/面部修复强度可以选择面部修复算法为CodeFormer或GFPGAN

CodeFormer：对输入图片均有增强效果，如头发，脖子，衣领，脸部，修复有有纹理效果，更接近真实。适合男士脸部
GFPGAN：修复后的图片比较光滑，有磨皮效果。适合女士脸部

1. 放大算法/放大倍数即对输入图片进行放大，可以选择不同的放大算法来保证图片放大后的质量

注意：请确保输入图像的脸部不要被头发帽子等遮挡物遮挡

2. faceSwap

那另一款换脸插件faceSwap其实也和roop非常类似

安装

通过代码仓库安装：扩展->从网址安装->扩展的git仓库网址
输入https://github.com/glucauze/sd-webui-faceswaplab.git 再点击安装即可
注意：如无法下载，请看文末获上面扫描获取哦

通过代码仓库安装

通过插件商店安装：扩展->可下载->加载扩展列表 输入faceSwapLab搜索，再点击安装即可

使用

在这里插入图片描述

通过faceSwap换脸，我们得到以下效果
在这里插入图片描述

文生图换脸 具体过程就不赘述了，同roop一样，文生图和图生图均能换脸

进阶使用

faceSwap，相比于roop来说，要稍微强大一点，它提供的功能更全，提供配置参数更多，不过大体和roop差不多，包括面部序号、面部修复、放大算法以及后重绘等。值得一提的是，faceSwap提供了一个非常轻量的人脸模型训练功能，它只需要你提供少量图片（当然图片越多效果越好），就能轻松训练一个轻量模型，跟直接替换相比，使用训练的模型进行换脸，可以使得最终结果更像，在插件界面可以选择自己训练好的人脸模型
在这里插入图片描述

模型训练

总体来说，不管是roop还是faceSwap，他们都提供了一种快速便捷的AI换脸功能，在很多场景下，这样的方式，其实就能完成真人AI写真了。

当然，如果你亲自去尝试了，你还是会发现这样的换脸插件在某些情况下，图片是很难达到预期的，包括脸部融合度，包括画面精细度等。

因此，如果需要让写真更加“真”，我们需要继续探索其他的方式！

三、AI绘制人物

在聊真人模型训练之前，我们先要学会如何用SD绘制人物的图片。首先，让我们绘制一个美女出来吧！

1. 大模型

首先确定你要绘制的画面风格，选择一个大模型，一般来说，我会将大模型粗暴的分为写实、动漫、2.5D三大类，然后再去细分不同的画风比如以下是我收藏的一些写实大模型

我们就以国风大模型为例，选择“国风汉服写实”大模型

2. lora模型

根据实际情况选择是否使用lora模型，lora模型可以是画风lora、可以是人物lora、也可以是特定部位lora 比如以下是我收藏的一些lora模型
在这里插入图片描述
这里，我不需要选择lora模型

关于模型下载，我一般使用c站

C站：https://civitai.com
下载模型之后，保存网站上的首图首图，以及作者的一些出图建议，能更加方便下次使用

如无法登录C站，可以扫描获取各种Lora模型哦

3.咒语（提示词）

提示词，是出图的关键，Stable Diffusion会根据你的提示词的内容、关系、以及权重等，来决定它会如何进行降噪出图。一般来说提示词分为几个部分

画质画风词

画质词：(masterpiece:1.2), best quality, highres,extremely detailed CG,perfect lighting,8k wallpaper, 真实系:photograph, photorealistic, 插画风:Illustration, painting, paintbrush, 二次元:anime, comic, game CG, 3D:3D,C4D render,unreal engine,octane render,

画风词：Cyberpunk 赛博朋克 8bit/16bit pixel 像素风 studio ghibli 宫崎骏风格 pixel style 皮克斯风格 Chinese ink style 水墨画

Lora（如果需要）

加载lora、hypernetwork等触发内容

负面提示词基本可以通用，包括一些低画质，多手多脚之类的

负面词：NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)),((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331),(morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331),(extra legs:1.331), (fused fingers:1.5), (too many fingers:1.5), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))), NSFW:not Suitable For Work不适合在公开场合出现的图片

我们使用以下提示词来画一个国风汉服写实美女

best quality,masterpiece,absurdres,Highly detailed,ultra-fine painting,extreme detail description,Professional,
1girl,full body,hair ornament,holding,necklace,orange with white chest pleated skirt,red waistband,red with white waistband,tang style outfits,transparent background,
hanfu,tang style outfits,

4. 其他参数

这里的很多参数都还有各自能继续深究的点，今天重点不在这，就先略过了，有必要可以出文单独分析

采样方法：不同的采样方法适用于不同画风
迭代步数：理论上迭代步数越高，画面越精细，出图时间也越长，但也和采样方法对应，有的采样方法可以在很少的步数内就出图，后续增加的迭代步数所换来的收益就不大了
高分辨率修复：开启高分辨率修复可以让SD对图像进行二次高清重绘放大
放大算法：不同的放大算法有不同放大效果，一般写实画风推荐4x-UltralSharp或8x_NMKD_Superscale_150000_G，动漫画风推荐R-ESRGAN 4x Anime6B
宽高：定义出图尺寸，一般需要参考大模型作者或lora作者给出的参考尺寸，需要更大尺寸图片可以再通过后期放大
随机种子数：方便重现出图

最终我以如下参数（图中标注为关键参数），来绘制一张国风汉服美女图
在这里插入图片描述
放大看看

在这里插入图片描述

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述