在AI绘画领域,SD恐怖如斯和Facebook的Sapiens模型一直是业界关注的焦点。而最近,Sapiens模型凭借其强大的人体分割能力,再次成为AI绘画领域的佼佼者。
SD恐怖如斯和Sapiens模型的优势
SD恐怖如斯是一款基于深度学习的AI绘画模型,能够自动识别和绘制人体结构,使绘画过程更加便捷和高效。而Facebook的Sapiens模型则专注于人体分割,能够将人体图像精确地分割成多个部分,为艺术家和设计师提供了更多创作空间。
简介
Meta Reality Labs (FaceBook 实验室) 推出了 Sapiens,这是一个用于四种基本的以人为中心的视觉任务的模型系列:2D 姿势估计、身体部位分割、深度估计和表面法线预测。
Sapiens 为以人为中心的视觉任务提供了一套全面的套件(例如,2D 姿势(pose)、部分分割(seg)、深度(depth)、法线(normal)等)。该模型系列针对 3 亿张野外人类图像进行了预训练,并对无约束条件表现出出色的泛化能力。
Sapiens 提供了一套全面的套件。模型本身支持 1K 高分辨率推理,并且只需对在超过 3 亿张野外人类图像上预训练的模型进行微调,就可以非常轻松地适应各个任务。
并显示出对不受约束条件的出色泛化。这些模型还设计用于提取高分辨率特征,以 1024 x 1024 图像分辨率和 16 像素的补丁大小进行本机训练。
如下图示例:
Sapiens 在ComfyUI的安装和使用
ComfyUI_Sapiens 已经收录到Manager中,可以通过搜索:sapiens 来安装,如下图:
安装项目依赖:
python -m pip install -r requirements.txt
下载模型:国内可用
• seg 身体部位分割
○ https://hf-mirror.com/facebook/sapiens-seg-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-seg-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-seg-1b-torchscript
• pose 2D 姿势估计
○ https://hf-mirror.com/facebook/sapiens-pose-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-pose-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-pose-1b-torchscript
• depth 深度估计
○ https://hf-mirror.com/facebook/sapiens-depth-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-depth-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-depth-1b-torchscript
○ https://hf-mirror.com/facebook/sapiens-depth-2b-torchscript
• normal 表面法线预测
○ https://hf-mirror.com/facebook/sapiens-normal-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-normal-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-normal-1b-torchscript
○ https://hf-mirror.com/facebook/sapiens-normal-2b-torchscript
注意:按需下载,推荐下载1b、2b 模型,质量会好些,下载完后放到对应目录,注意文件名不要修改,目录结构如下:
├── ComfyUI/models/sapiens/
| ├── seg/sapiens_1b_goliath_best_goliath_mIoU_7994_epoch_151_torchscript.pt2
| ├── pose/sapiens_1b_goliath_best_goliath_AP_639_torchscript.pt2
| ├── normal/sapiens_0.3b_normal_render_people_epoch_66_torchscript.pt2
| ├── depth/sapiens_1b_render_people_epoch_88_torchscript.pt2
下载_yolo8m_ 放到_ComfyUI/models/sapiens_ 目录下,目录结构如下,国内下载地址:https://hf-mirror.com/Ultralytics/YOLOv8/tree/main
├── ComfyUI/models/sapiens/
| ├── yolov8m.pt
Sapiens 节点详解
总共两个节点:
模型加载节点:输出模型
依次选择:seg、depth、normal、pose 的模型,建议每次选择一个,否则会爆显存。其他保持默认即可,对于pose可以勾选:use_yolo。
Sapiens 采样节点:
输入接入上个节点输出的模型,和加载图片,输出对应模型的图片和遮罩。
对于seg 人体部位分割,有两个选项:
-
seg_select: 选择单个要切割的部位,必须选择一项,如果有多个部位选择,则填写要切割部位对应的数字,到下面参数中,用英文逗号分开。
-
add_seg_index: 其他要切割部分的index,多个用用英文逗号分开。
可以用到的seg_select切割部位如下:整整27个,后期还会继续增加:
0 "Background", “背景”,
1 "Apparel", “服饰
2 "Face_Neck", "脸部"
3 "Hair", “头发”,
4 "Left_Foot", “左脚”,
5 "Left_Hand", “左手”,
6 "Left_Lower_Arm", “左下臂”,
7 "Left_Lower_Leg", “左下腿”,
8 "Left_Shoe", “左鞋”,
9 "Left_Sock", “左袜子”,
10 "Left_Upper_Arm", “左上臂”,
11 "Left_Upper_Leg", “左上腿”,
12 "Lower_Clothing", “下身衣物”,
13 "Right_Foot", “右脚”,
14 "Right_Hand", “右手”,
15 "Right_Lower_Arm", “右下臂”,
16 "Right_Lower_Leg", “右下腿”,
17 "Right_Shoe", “右鞋”,
18 "Right_Sock", “右袜子”,
19 "Right_Upper_Arm", “右上臂”,
20 "Right_Upper_Leg", “右上腿”,
21 "Torso", “躯干”,
22 "Upper_Clothing", “上身衣物”,
23 "Lower_Lip", “下唇”
24 "Upper_Lip", “上唇”
25 "Lower_Teeth", “下牙”
26 "Upper_Teeth", “上牙”
27"Tongue", “舌头”
Sapiens seg 身体部位分割
工作流:
切割头发:
切割左右手:
切割左右小臂:
结合左右手+左右小臂
上身衣服:
分割嘴部:
牛,太牛,太准了,就问还有谁
Sapiens Pose 2D 姿势估计
对于需要的同学,可以下载depth,normal 模型,下载使用。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。