2024最新ComfyUI文生图详解教程！

前言

leetcode，16.25. LRU 缓存

设计和构建一个“最近最少使用”缓存，该缓存会删除最近最少使用的项目。
缓存应该从键映射到值(允许你插入和检索特定键对应的值)，并在初始化时指定最大容量。当缓存被填满时，它应该删除最近最少使用的项目。
它应该支持以下操作：获取数据 get 和写入数据 put 。
获取数据 get(key) - 如果密钥 (key) 存在于缓存中，则获取密钥的值（总是正数），否则返回 -1。
写入数据 put(key, value) - 如果密钥不存在，则写入其数据值。
当缓存容量达到上限时，它应该在写入新数据之前删除最近最少使用的数据值，从而为新的数据值留出空。

public class LRUCache {`    `class DLinkedNode {//定义双向链表节点和构造函数`        `int key;`        `int value;`        `DLinkedNode prev;`        `DLinkedNode next;`        `public DLinkedNode() {}`        `public DLinkedNode(int _key, int _value) {key = _key; value = _value;}`    `}`    `    //使用hash进行快速定位节点`    `private Map<Integer, DLinkedNode> cache = new HashMap<Integer, DLinkedNode>();`    `private int size;`    `private int capacity;`    `private DLinkedNode head, tail;``   `    `//初始化`    `public LRUCache(int capacity) {`        `this.size = 0;`        `this.capacity = capacity;`        `// 使用伪头部和伪尾部节点`        `head = new DLinkedNode();`        `tail = new DLinkedNode();`        `head.next = tail;`        `tail.prev = head;`    `}``   `    `public int get(int key) {`        `DLinkedNode node = cache.get(key);`        `if (node == null) {`            `return -1;`        `}`        `// 如果 key 存在，先通过哈希表定位，再移到头部`        `moveToHead(node);`        `return node.value;`    `}``   `    `public void put(int key, int value) {`        `DLinkedNode node = cache.get(key);`        `if (node == null) {`            `// 如果 key 不存在，创建一个新的节点`            `DLinkedNode newNode = new DLinkedNode(key, value);`            `// 添加进哈希表`            `cache.put(key, newNode);`            `// 添加至双向链表的头部`            `addToHead(newNode);`            `++size;`            `if (size > capacity) {`                `// 如果超出容量，删除双向链表的尾部节点`                `DLinkedNode tail = removeTail();`                `// 删除哈希表中对应的项`                `cache.remove(tail.key);`                `--size;`            `}`        `}`        `else {`            `// 如果 key 存在，先通过哈希表定位，再修改 value，并移到头部`            `node.value = value;`            `moveToHead(node);`        `}`    `}`  `    //伪头节点的作用是为了快速头插`    `private void addToHead(DLinkedNode node) {`        `node.prev = head;`        `node.next = head.next;`        `head.next.prev = node;`        `head.next = node;`    `}``   `    `private void removeNode(DLinkedNode node) {`        `node.prev.next = node.next;`        `node.next.prev = node.prev;`    `}``   `    `private void moveToHead(DLinkedNode node) {`        `removeNode(node);`        `addToHead(node);`    `}``   `    `private DLinkedNode removeTail() {`        `DLinkedNode res = tail.prev;`        `removeNode(res);`        `return res;`    `}``}

在这里插入图片描述

ComfyUI

ComfyUI是鼎鼎大名的Stable Diffusion图像生成模型的使用界面之一。相比于其前辈WebUI，ComfyUI不仅在组织形式上，在性能上也得到了提升:

• 以工作流形式面向用户，给用户更高的自由度，直观易用。
• 功能模块节点化，用户更加清楚功能和数据流转，可根据需求定制化
• 性能优化，图片生成速度更快
• 内部流程优化，硬件要求更低，低显存和CPU也能运行，降低使用门槛
• 支持工作流程分享
ComfyUI 开源地址：https://github.com/comfyanonymous/ComfyUI
Web UI 开源地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui
Stable diffusion 开源地址：https://github.com/CompVis/stable-diffusion
ComfyUI功能强大，包括文生图、图生图、文生视频、图片修复等，这里以文生图来对ComfyUI进行详细的入门介绍。

ComfyUI安装

windows下载安装：

对于windows用户来说只需要上ComfyUI的GitHub开源地址下载压缩包即可，如下图：

解压安装包到合适位置（建议选择磁盘剩余空间大的盘），如下图，

ComfyUI提供了run_cpu和run_nvida_gpu两种启动脚本，顾名思义，分别为使用CPU和GPU运算，选择响应的文件双击即启动。

Llinux、mac安装启动

需要按照ComfyUI的GitHub开源地址中说明，依次
克隆项目：
git clone https://github.com/comfyanonymous/ComfyUI.git
安装环境：
AMD :pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.0
NVIDA:pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
安装依赖:
pip install -r requirements.txt
手动运行python main.py 启动。

ComfyUI启动界面如下如：

模型安装

ComfyUI已经启动，但是没有模型来运行，需要我们下载模型到对应的目录中，如图：

提供两个下载模型资源的地址：
抱抱脸：https://huggingface.co/
C站：https://civitai.com/

我在https://huggingface.co/runwayml/stable-diffusion-v1-5 下载v1-5-pruned-emaonly.ckpt模型后，放入checkpoint目录，启动程序，选择好模型，使用默认的提示词、参数、解码器等，运行的效果如图：

模块详解

以默认的文生图流程为例，对ComfyUI的各个流程节点：大模型加载器、正向提示词、反向提示词、采样器、图像宽高、输出输出、VAE解码器等进行介绍。

模型加载器

如下图，模型加载器分为几大类，分别是模型库（checkpoint），插件预训练模型（VAE、LoRA等），放大器(upscale)等。

按照如图选择的路径点击，即可添加大模型的加载器节点，如图所示：

在这里插入图片描述

本地已加载4个大模型供选择，双击即可选择。

正反提示词

提示词在文生图中至关重要，提示词的好坏关系到生成的图的效果。如果自己运行文生图时，可以借鉴C站相关做作品的提示词模版。提示词节点如下图方法添加：

一个输入CLIP刚好与大模型的输出CLIP可以相连，一个输出与采样器相连。你会发现ComfyUI将可以相连的颜色也进行了匹配。

图像属性

如图添加图像属性：宽和高，batch_size指一次生产图的数量。仅有一个输出。

采样器

如图，我们添加简单的采样器：

在这里插入图片描述

4个输入：分别对应大模型的model输出、正反提示词和图像属性。
一个输出：流程经过采样器处理完成后，图像在低维度意味着已经生产，所以最后要连接VAE解码器进行解码。

在这里插入图片描述

采样器的7个参数：

• seed：种子，每张图都有个随机的种子。
• control_after_generate：每次生产图后下一次种子的产生方式。默认是随机。
注：当我们要微调当前已生产的图像时，将这个选项设置为固定。这样生成的图像不会相差太大。
• steps：生产图需要去噪的次数，值越大，图像越清晰，当然运行越慢。
• cfg：提示词在生成中的权重，越小生成的图越与提示词风马牛不相及，一般0.8~0.9.
• samper_name：ComfyUI提供了多种不同的采样器供选择，每种有不同的效果。感兴趣可以一一对比。
• scheduler：控制迭代中噪声量大小，也有多种可选。
• denoise:与steps相关，1表示按照steps设置的步数去降噪。

VAE解码器

如图进行添加。

输入samples与采样器的输入相连。VAE直接与大模型的VAE相连。
我们也可以新建一个VAE加载器与其相连，自定义要用的加载器类型。
输入图像直接与图像现实/保存相连。

保存图像

如图进行添加：

在这里插入图片描述

保存图像也有预览的功能，如果只是想预览图像可以选择添加preview image节点。
保存图像默认的保存路径在ComfyUI安装路径的temp目录下。

生成图像

添加好节点，只需选好要连接的输入输出，拖动就可以连接。 ComfyUI的颜色匹配可以辅助。
点击如下图，控制面板的 Queue Prompt或者按下Ctrl + enter，即可运行。

流程图运行过程中会标识运行的进度，表示正在运行的节点，清晰直观。

运行结束，可以save我们的流程图，以便下次加载或分享给他人。

接下就可以自己设置相关变量参数，试试看了。如下图是我参照C站相关作品的参数，生成流程图：

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。