AI绘画王者归来！SD恐怖如斯！Facebook最强人体分割大师Sapiens 吊打SAM2，亦可Pose，Depth，Normal，ComfyUI

在AI绘画领域，SD恐怖如斯和Facebook的Sapiens模型一直是业界关注的焦点。而最近，Sapiens模型凭借其强大的人体分割能力，再次成为AI绘画领域的佼佼者。

SD恐怖如斯和Sapiens模型的优势
SD恐怖如斯是一款基于深度学习的AI绘画模型，能够自动识别和绘制人体结构，使绘画过程更加便捷和高效。而Facebook的Sapiens模型则专注于人体分割，能够将人体图像精确地分割成多个部分，为艺术家和设计师提供了更多创作空间。

在这里插入图片描述

简介

Meta Reality Labs (FaceBook 实验室) 推出了 Sapiens，这是一个用于四种基本的以人为中心的视觉任务的模型系列：2D 姿势估计、身体部位分割、深度估计和表面法线预测。

Sapiens 为以人为中心的视觉任务提供了一套全面的套件（例如，2D 姿势(pose)、部分分割(seg)、深度(depth)、法线(normal)等）。该模型系列针对 3 亿张野外人类图像进行了预训练，并对无约束条件表现出出色的泛化能力。

Sapiens 提供了一套全面的套件。模型本身支持 1K 高分辨率推理，并且只需对在超过 3 亿张野外人类图像上预训练的模型进行微调，就可以非常轻松地适应各个任务。
并显示出对不受约束条件的出色泛化。这些模型还设计用于提取高分辨率特征，以 1024 x 1024 图像分辨率和 16 像素的补丁大小进行本机训练。

如下图示例：

在这里插入图片描述

Sapiens 在ComfyUI的安装和使用

ComfyUI_Sapiens 已经收录到Manager中，可以通过搜索：sapiens 来安装，如下图：

安装项目依赖：

python -m pip install -r requirements.txt

下载模型：国内可用

• seg 身体部位分割
○ https://hf-mirror.com/facebook/sapiens-seg-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-seg-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-seg-1b-torchscript
• pose 2D 姿势估计
○ https://hf-mirror.com/facebook/sapiens-pose-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-pose-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-pose-1b-torchscript
• depth 深度估计
○ https://hf-mirror.com/facebook/sapiens-depth-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-depth-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-depth-1b-torchscript
○ https://hf-mirror.com/facebook/sapiens-depth-2b-torchscript
• normal 表面法线预测
○ https://hf-mirror.com/facebook/sapiens-normal-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-normal-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-normal-1b-torchscript
○ https://hf-mirror.com/facebook/sapiens-normal-2b-torchscript

注意：按需下载，推荐下载1b、2b 模型，质量会好些，下载完后放到对应目录，注意文件名不要修改，目录结构如下：

├── ComfyUI/models/sapiens/  
|     ├── seg/sapiens_1b_goliath_best_goliath_mIoU_7994_epoch_151_torchscript.pt2  
|     ├── pose/sapiens_1b_goliath_best_goliath_AP_639_torchscript.pt2  
|     ├── normal/sapiens_0.3b_normal_render_people_epoch_66_torchscript.pt2  
|     ├── depth/sapiens_1b_render_people_epoch_88_torchscript.pt2

下载_yolo8m_ 放到_ComfyUI/models/sapiens_ 目录下，目录结构如下，国内下载地址：https://hf-mirror.com/Ultralytics/YOLOv8/tree/main

├── ComfyUI/models/sapiens/  
|     ├── yolov8m.pt

Sapiens 节点详解

总共两个节点：

模型加载节点：输出模型

依次选择：seg、depth、normal、pose 的模型，建议每次选择一个，否则会爆显存。其他保持默认即可，对于pose可以勾选：use_yolo。

Sapiens 采样节点：

输入接入上个节点输出的模型，和加载图片，输出对应模型的图片和遮罩。

对于seg 人体部位分割，有两个选项：

seg_select: 选择单个要切割的部位，必须选择一项，如果有多个部位选择，则填写要切割部位对应的数字，到下面参数中，用英文逗号分开。
add_seg_index: 其他要切割部分的index，多个用用英文逗号分开。

可以用到的seg_select切割部位如下：整整27个，后期还会继续增加：

0 "Background", “背景”,  
1 "Apparel", “服饰  
2 "Face_Neck", "脸部"  
3 "Hair", “头发”,  
4 "Left_Foot", “左脚”,  
5 "Left_Hand", “左手”,  
6 "Left_Lower_Arm", “左下臂”,  
7 "Left_Lower_Leg", “左下腿”,  
8 "Left_Shoe", “左鞋”,  
9 "Left_Sock", “左袜子”,  
10 "Left_Upper_Arm", “左上臂”,  
11 "Left_Upper_Leg", “左上腿”,  
12 "Lower_Clothing", “下身衣物”,  
13 "Right_Foot", “右脚”,  
14 "Right_Hand", “右手”,  
15 "Right_Lower_Arm", “右下臂”,  
16 "Right_Lower_Leg", “右下腿”,  
17 "Right_Shoe", “右鞋”,  
18 "Right_Sock", “右袜子”,  
19 "Right_Upper_Arm", “右上臂”,  
20 "Right_Upper_Leg", “右上腿”,  
21 "Torso", “躯干”,  
22 "Upper_Clothing", “上身衣物”,  
23 "Lower_Lip", “下唇”  
24 "Upper_Lip", “上唇”  
25 "Lower_Teeth", “下牙”  
26 "Upper_Teeth", “上牙”  
27"Tongue", “舌头”

Sapiens seg 身体部位分割

工作流：

切割头发：

切割左右手：

切割左右小臂:

结合左右手+左右小臂

上身衣服：

分割嘴部：

牛，太牛，太准了，就问还有谁

Sapiens Pose 2D 姿势估计

对于需要的同学，可以下载depth,normal 模型，下载使用。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
在这里插入图片描述