❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- ComfyUI EcomID 是基于 SDXL-EcomID 的开源项目，用于生成高度定制化的个性图像。
- 该项目结合了 PuLID 和 InstantID 的优点，优化了背景一致性和面部关键点控制。
- EcomID 在 200 万张淘宝图像上训练，适用于虚拟现实、影视制作等多个领域。
正文
ComfyUI EcomID 是什么
ComfyUI EcomID 是阿里妈妈推出的开源项目，通过单个参考图像生成定制的个性图像。它融合了 PuLID 和 InstantID 的优点，优化了背景一致性、面部关键点控制和面部真实性，提高了生成图像的相似度。EcomID 在 200 万张淘宝图像上训练，图像分辨率高，美学评分超过 5.5，能生成与个体身份高度一致的图像。
EcomID 的主要功能
- 定制化图像生成：根据单个 ID 参考图像生成具有个性化特征的图像。
- 保持个体身份特征：在图像生成过程中保持个体的独特身份特征。
- 高质量图像输出：生成的图像具有高质量和语义一致性。
- 背景一致性：协调背景与前景的一致性，避免突兀的合成效果。
- 面部关键点控制：精确控制面部关键点，确保生成的面部图像在身份识别上具有高度的准确性。
EcomID 的技术原理
- 预训练的人脸编码器：提取人脸特征，避免依赖预训练的 CLIP 图像编码器。
- 轻量级适配模块：基于交叉注意力的轻量级适配模块，支持图像作为提示。
- IdentityNet：用面部关键点作为条件输入，消除文本提示，用 ID 嵌入作为 ControlNet 中交叉注意力层的条件。
- 结合 PuLID 和 InstantID：获得更好的背景一致性、面部关键点控制和更高的相似度。
- 训练数据集：在 200 万张淘宝图像上训练，确保模型的泛化能力和图像质量。
如何运行 ComfyUI EcomID
安装步骤
- 升级 ComfyUI 到最新版本。
- 将仓库克隆到
ComfyUI/custom_nodes/目录或使用 Manager。 - 安装依赖库
insightface、onnxruntime和onnxruntime-gpu。
下载模型
- PuLID 预训练模型：放置在
ComfyUI/models/pulid/。 - EVA CLIP：自动下载到 huggingface 目录。
- facexlib 依赖：首次使用时下载。
- InsightFace：放置在
ComfyUI/models/insightface/models/antelopev2。 - InstantID 的 ip_adapter 模型：放置在
ComfyUI/models/instantid。 - ControlNet：放置在 ComfyUI controlnet 目录。
示例展示
在示例目录中，您将找到基本工作流程和专用换脸工作流程。
资源
- PuLID 预训练模型：https://huggingface.co/huchenlei/ipadapter_pulid/resolve/main/ip-adapter_pulid_sdxl_fp16.safetensors
- InsightFace AntelopeV2：https://huggingface.co/MonsterMMORPG/tools/tree/main
- InstantID ip_adapter 模型：https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin
- ControlNet 模型：https://huggingface.co/alimama-creative/SDXL-EcomID/resolve/main/diffusion_pytorch_model.safetensors
❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
