SDXL in 4 steps with Latent Consistency LoRAs
在comfyui里实测LCM lora
原先需要20步一张图，现在20步，4张图。comfyui最新版新增了lcm采样器，支持lcm lora的工作流。
LCM lora模型下载：
huggingface.co/latent-consistency/lcm-lora-sdxl
Latent Consistency Models (LCM)
可以通过将原始模型提炼为另一个版本，从而减少使用稳定扩散（SDXL）生成图像所需的步骤（从原来的25到50步减少到4步）。
提炼是一种训练过程，使用新模型复制源模型的输出。提炼后的模型可以设计得更小（例如DistilBERT或最近发布的Distil-Whisper），或者像LCM一样，可以通过更少的步骤来运行。
通常，这是一个耗时且昂贵的过程，需要大量的数据、时间和GPU。
最新技术：潜在一致性蒸馏（Latent Consistency Distillation）
通过训练一个Lora，这个Lora可以使稳定扩散和SDXL变得更快，就像它们已经使用LCM过程进行提炼一样！
通过此方法可以将模型进行分离蒸馏。在LCM LoRA方法中，只需训练少量的适配器（称为LoRA层），而不是整个模型。得到的LoRA可以应用于任何模型，而无需单独进行蒸馏。
这意味着可以在3090上将任何SDXL模型的运行时间从7秒缩短到1秒，或在Mac上加快10倍！
12月2日，拟在上海开设N3期AIGC训练营。主要围绕ComfyUI来展开，涉及到安装指导、工作流讲解、应用场景研究等等。
训练营包括：
一整套完整工作流（离线、本地可运行）。
安装指导
- ComfyUI的环境配置
- 各种模型下载与配置
- 插件安装
视觉小说工作流讲解
- text-to-image（经典流程）
- controlnet（让图像更为可控）
- ip-adapter（从图像提取概念）
- animatediff（动画生成）
- bark（声音/音乐生成）
- Chatglm3（文本生成）
- Ren'Py（视觉小说编辑器）
早鸟申请 ⬇️
