使用 LCM LoRA 4 步完成 SDXL 推理

LCM 模型 通过将原始模型蒸馏为另一个需要更少步数 (4 到 8 步，而不是原来的 25 到 50 步) 的版本以减少用 Stable Diffusion (或 SDXL) 生成图像所需的步数。蒸馏是一种训练过程，其主要思想是尝试用一个新模型来复制源模型的输出。蒸馏后的模型要么尺寸更小 (如 DistilBERT 或最近发布的 Distil-Whisper)，要么需要运行的步数更少 (本文即是这种情况)。一般来讲，蒸馏是一个漫长且成本高昂的过程，需要大量数据、耐心以及一些 GPU 运算。

但以上所述皆为过往，今天我们翻新篇了！

今天，我们很高兴地公开一种新方法，其可以从本质上加速 Stable Diffusion 和 SDXL，效果跟用 LCM 蒸馏过一样！有了它，我们在 3090 上运行 任何 SDXL 模型，不需要 70 秒，也不需要 7 秒，仅需要约 1 秒就行了！在 Mac 上，我们也有 10 倍的加速！听起来是不是很带劲？那继续往下读吧！

方法概述

到底用了啥技巧？

在使用原始 LCM 蒸馏时，每个模型都需要单独蒸馏。而 LCM LoRA 的核心思想是只对少量适配器 (即 LoRA 层) 进行训练，而不用对完整模型进行训练。推理时，可将生成的 LoRA 用于同一模型的任何微调版本，而无需对每个版本都进行蒸馏。如果你已经迫不及待地想试试这种方法的实际效果了，可以直接跳到 下一节 试一下推理代码。如果你想训练自己的 LoRA，流程如下:

  1. 从 Hub 中选择一个教师模型。如: 你可以使用 SDXL (base)，或其任何微调版或 dreambooth 微调版，随你喜欢。

  1. 在该模型上 训练 LCM LoRA 模型。LoRA 是一种参数高效的微调 (PEFT)，其实现成本比全模型微调要便宜得多。有关 PEFT 的更详细信息，请参阅 此博文 或 diffusers 库的 LoRA 文档。

  1. 将 LoRA 与任何 SDXL 模型和 LCM 调度器一起组成一个流水线，进行推理。就这样！用这个流水线，你只需几步推理即可生成高质量的图像。

欲知更多详情，请 下载我们的论文。

快有啥用？

Stable Diffusion 和 SDXL 的快速推理为新应用和新工作流打开了大门，仅举几例:

  • 更易得: 变快后，生成工具可以被更多人使用，即使他们没有最新的硬件。

  • 迭代更快: 无论从个人还是商业角度来看，在短时间内生成更多图像或进行更多尝试对于艺术家和研究人员来说都非常有用。

  • 可以在各种不同的加速器上进行生产化部署，包括 CPU。

  • 图像生成服务会更便宜。

为了衡量我们所说的速度差异，在 M1 Mac 上用 SDXL (base) 生成一张 1024x1024 图像大约需要一分钟。而用 LCM LoRA，我们只需约 6 秒 (4 步) 即可获得出色的结果。速度快了一个数量级，我们再也无需等待结果，这带来了颠覆性的体验。如果使用 4090，我们几乎可以得到实时响应 (不到 1 秒)。有了它，SDXL 可以用于需要实时响应的场合。

快速推理 SDXL LCM LoRA 模型

在最新版的 diffusers 中，大家可以非常容易地用上 LCM LoRA:

from diffusers import DiffusionPipeline, LCMScheduler
import torch
 
model_id = "stabilityai/stable-diffusion-xl-base-1.0"
lcm_lora_id = "latent-consistency/lcm-lora-sdxl"
 
pipe = DiffusionPipeline.from_pretrained(model_id, variant="fp16")
 
pipe.load_lora_weights(lcm_lora_id)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to(device="cuda", dtype=torch.float16)
 
prompt = "close-up photography of old man standing in the rain at night, in a street lit by lamps, leica 35mm summilux"
images = pipe(
    prompt=prompt,
    num_inference_steps=4,
    guidance_scale=1,
).images[0]

代码所做的事情如下:

  • 使用 SDXL 1.0 base 模型去实例化一个标准的 diffusion 流水线。

  • 应用 LCM LoRA。

  • 将调度器改为 LCMScheduler，这是 LCM 模型使用的调度器。

  • 结束！

生成的全分辨率图像如下所示:

LCM LORA 微调后的 SDXL 模型用 4 步生成的图像

LCM LORA 微调后的 SDXL 模型用 4 步生成的图像

生成质量

我们看下步数对生成质量的影响。以下代码将分别用 1 步到 8 步生成图像:

images = []
for steps in range(8):
    generator = torch.Generator(device=pipe.device).manual_seed(1337)
    image = pipe(
        prompt=prompt,
        num_inference_steps=steps+1,
        guidance_scale=1,
        generator=generator,
    ).images[0]
    images.append(image)

生成的 8 张图像如下所示:

LCM LoRA 1 至 8 步生成的图像

LCM LoRA 1 至 8 步生成的图像

不出所料，仅使用 1 步即可生成细节和纹理欠缺的粗略图像。然而，随着步数的增加，效果改善迅速，通常只需 4 到 6 步就可以达到满意的效果。个人经验是，8 步生成的图像对于我来说有点过饱和及“卡通化”，所以本例中我个人倾向于选择 5 步和 6 步生成的图像。生成速度非常快，你只需 4 步即可生成一堆图像，并从中选择你喜欢的，然后根据需要对步数和提示词进行调整和迭代。

引导比例及反向提示

请注意，在前面的示例中，我们将引导比例 guidance_scale 设为 1 ，实际上就是禁用它。对大多数提示而言，这样设置就可以了，此时速度最快，但会忽略反向提示。你还可以将其值设为 1 到 2 之间，用于探索反向提示的影响——但我们发现再大就不起作用了。

与标准 SDXL 模型的生成质量对比

就生成质量而言，本文的方法与标准 SDXL 流水线相比如何？我们看一个例子！

我们可以通过卸掉 LoRA 权重并切换回默认调度器来将流水线快速恢复为标准 SDXL 流水线:

from diffusers import EulerDiscreteScheduler
 
pipe.unload_lora_weights()
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config)

然后，我们可以像往常一样对 SDXL 进行推理。我们使用不同的步数并观察其结果:

images = []
for steps in (1, 4, 8, 15, 20, 25, 30, 50):
    generator = torch.Generator(device=pipe.device).manual_seed(1337)
    image = pipe(
        prompt=prompt,
        num_inference_steps=steps,
        generator=generator,
    ).images[0]
    images.append(image)

不同步数下的 SDXL 结果

SDXL 流水线结果 (相同的提示和随机种子)，步数分别为 1、4、8、15、20、25、30 和 50

如你所见，此示例中的生成的图像在大约 20 步 (第二行) 之前几乎毫无用处，且随着步数的增加，质量仍会不断明显提高。最终图像中的细节很不错，但获得这样的效果需要 50 步。

其他模型的 LCM LoRA

该技术也适用于任何其他微调后的 SDXL 或 Stable Diffusion 模型。仅举一例，我们看看如何在 collage-diffusion 上运行推理，该模型是用 Dreambooth 算法对 Stable Diffusion v1.5 微调而得。

代码与我们在前面示例中看到的代码类似。我们先加载微调后的模型，然后加载适合 Stable Diffusion v1.5 的 LCM LoRA 权重。

from diffusers import DiffusionPipeline, LCMScheduler
import torch
 
model_id = "wavymulder/collage-diffusion"
lcm_lora_id = "latent-consistency/lcm-lora-sdv1-5"
 
pipe = DiffusionPipeline.from_pretrained(model_id, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.load_lora_weights(lcm_lora_id)
pipe.to(device="cuda", dtype=torch.float16)
 
prompt = "collage style kid sits looking at the night sky, full of stars"
 
generator = torch.Generator(device=pipe.device).manual_seed(1337)
images = pipe(
    prompt=prompt,
    generator=generator,
    negative_prompt=negative_prompt,
    num_inference_steps=4,
    guidance_scale=1,
).images[0]
images

基于 Dreambooth Stable Diffusion v1.5 模型使用 LCM LoRA，4 步推理

基于 Dreambooth Stable Diffusion v1.5 模型使用 LCM LoRA，4 步推理

Diffusers 全集成

LCM 在 diffusers 中的全面集成使得其可以利用 diffusers 工具箱中的许多特性和工作流，如:

  • 对采用 Apple 芯片的 Mac 提供开箱即用的 mps 支持。

  • 内存和性能优化，例如 flash 注意力或 torch.compile() 。

  • 针对低 RAM 场景的其他内存节省策略，包括模型卸载。

  • ControlNet 或图生图等工作流。

  • 训练和微调脚本。

测试基准

本节列出了 SDXL LCM LoRA 在各种硬件上的生成速度，给大家一个印象。忍不住再提一句，能如此轻松地探索图像生成真是太爽了！

上述所有测试的 batch size 均为 1，使用是 Sayak Paul 开发的 这个脚本。

对于显存容量比较大的卡 (例如 A100)，一次生成多张图像，性能会有显著提高，一般来讲生产部署时会采取增加 batch size 的方法来增加吞吐。

已公开发布的 LCM LoRA 及 LCM 模型

  • LCM LoRA 集锦

  • latent-consistency/lcm-lora-sdxl。SDXL 1.0 base 的 LCM LoRA 权重，上文示例即使用了该权重。

  • latent-consistency/lcm-lora-sdv1-5。Stable Diffusion 1.5 的 LCM LoRA 权重。

  • latent-consistency/lcm-lora-ssd-1b。segmind/SSD-1B 的 LCM LoRA 权重，该模型是经过蒸馏的 SDXL 模型，它尺寸比原始 SDXL 小 50%，速度快 60%。

  • latent-consistency/lcm-sdxl。对 SDXL 1.0 base 进行全模型微调而得的一致性模型。

  • latent-consistency/lcm-ssd-1b。对 segmind/SSD-1B 进行全模型微调而得的一致性模型。

加分项: 将 LCM LoRA 与常规 SDXL LoRA 结合起来

使用 diffusers + PEFT 集成，你可以将 LCM LoRA 与常规 SDXL LoRA 结合起来，使其也拥有 4 步推理的超能力。

这里，我们将 CiroN2022/toy_face LoRA 与 LCM LoRA 结合起来:

from diffusers import DiffusionPipeline, LCMScheduler
import torch
 
model_id = "stabilityai/stable-diffusion-xl-base-1.0"
lcm_lora_id = "latent-consistency/lcm-lora-sdxl"
pipe = DiffusionPipeline.from_pretrained(model_id, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
 
pipe.load_lora_weights(lcm_lora_id)
pipe.load_lora_weights("CiroN2022/toy-face", weight_name="toy_face_sdxl.safetensors", adapter_name="toy")
 
pipe.set_adapters(["lora", "toy"], adapter_weights=[1.0, 0.8])
pipe.to(device="cuda", dtype=torch.float16)
 
prompt = "a toy_face man"
negative_prompt = "blurry, low quality, render, 3D, oversaturated"
images = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_inference_steps=4,
    guidance_scale=0.5,
).images[0]
images

结合两种 LoRA 以实现快速推理

标准 LoRA 和 LCM LoRA 相结合实现 4 步快速推理

想要探索更多有关 LoRA 的新想法吗？可以试试我们的实验性 LoRA the Explorer (LCM 版本) 空间，在这里你可以把玩社区的惊人创作并从中获取灵感！

如何训练 LCM 模型及 LCM LoRA

最新的 diffusers 中，我们提供了与 LCM 团队作者合作开发的训练和微调脚本。有了它们，用户可以:

  • 在 Laion 等大型数据集上执行 Stable Diffusion 或 SDXL 模型的全模型蒸馏。

  • 训练 LCM LoRA，它比全模型蒸馏更简单。正如我们在这篇文章中所示，训练后，可以用它对 Stable Diffusion 实现快速推理，而无需进行蒸馏训练。

更多详细信息，请查阅代码库中的 SDXL 或 Stable Diffusion 说明文档。

我们希望这些脚本能够激励社区探索实现自己的微调。如果你将它们用于自己的项目，请告诉我们！

资源

  • LCM 项目网页、论文

  • LCM LoRA 相关资源

    SDXL 的 LCM LoRA 权重

    Stable Diffusion v1.5 的 LCM LoRA 权重

    Segmind SSD-1B 的 LCM LoRA 权重

    技术报告

  • 演示应用

    4 步推理 SDXL LCM LoRA 模型

    近实时视频流

  • LoRA the Explorer 空间 (实验性 LCM 版)

  • PEFT: 简介、代码库

  • 训练脚本

    Stable Diffusion 1.5 训练脚本

    SDXL 训练脚本

文章转载自：HuggingFace

原文链接：https://www.cnblogs.com/huggingface/p/17844967.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/171783.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

论文阅读：“基于特征检测与深度特征描述的点云粗对齐算法”

论文阅读：“基于特征检测与深度特征描述的点云粗对齐算法”

文章目录 摘要简介相关工作粗对齐传统的粗对齐算法基于深度学习的粗对齐算法 特征检测及描述符构建 本文算法ISS 特征检测RANSAC 算法3DMatch 算法 实验结果参考文献 摘要 点云对齐是点云数据处理的重要步骤之一，粗对齐则是其中的难点。近年来，基于深度…
阅读更多...
VM——绘制亮度均匀性曲线

VM——绘制亮度均匀性曲线

1、需求：检测汽车内饰氛围灯的亮度均匀性，并绘制均匀性曲线 2、结果： 3、方法： 主要分为3步 （1）提取氛围灯ROI，忽略背景 （2）对提取到的ROI图进行切片处理，计算出每个切片的亮度均值 （3）绘制均匀性曲线 3.1 提取氛围灯ROI step1: 转成黑白图 step2:通过blob和…
阅读更多...
【图像分类】【深度学习】【Pytorch版本】Inception-ResNet模型算法详解

【图像分类】【深度学习】【Pytorch版本】Inception-ResNet模型算法详解

【图像分类】【深度学习】【Pytorch版本】Inception-ResNet模型算法详解 文章目录 【图像分类】【深度学习】【Pytorch版本】Inception-ResNet模型算法详解前言Inception-ResNet讲解Inception-ResNet-V1Inception-ResNet-V2残差模块的缩放(Scaling of the Residuals)Inception-…
阅读更多...
第1关：图的邻接矩阵存储及求邻接点操作

第1关：图的邻接矩阵存储及求邻接点操作

任务要求参考答案评论2 任务描述相关知识 顶点集合边集合编程要求测试说明 任务描述 本关任务：要求从文件输入顶点和边数据，包括顶点信息、边、权值等，编写程序实现以下功能。 1）构造无向网G的邻接矩阵和顶点集，即图…
阅读更多...
配置文件自动提示

配置文件自动提示

1、引入依赖<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-configuration-processor</artifactId> </dependency> 2、修改IDEA配置
阅读更多...
mysql底层是如何存放数据的

mysql底层是如何存放数据的

总览 首先总的来说&#xff0c;分为四个层级&#xff0c;行页区段。行就是数据库里的一行数据。 但一次从磁盘读进内存的数据量是一页&#xff08;页是读写的单位&#xff0c;默认16KB一页&#xff09;&#xff0c;页分很多种类&#xff0c;例如数据页、溢出页、undo日志页。 …
阅读更多...
OpenAI宫斗，尘埃落定，微软成最大赢家

OpenAI宫斗，尘埃落定，微软成最大赢家

周末被OpenAI董事会闹剧刷屏，ChatGPT之父Sam Altman前一天被踢出董事会，免职CEO，后一天重返OpenAI，目前结局未知。 很多同学想要围观，缺少背景知识，这里老章为大家简单介绍前因后果及涉及的人物，时间线，让大家轻松围观。 备好瓜子，开始。 1、主角 先看一张图，看一…
阅读更多...
Java基于B/S架构，包括PC后台管理端、APP移动端、可视化数据大屏的智慧工地源码

Java基于B/S架构，包括PC后台管理端、APP移动端、可视化数据大屏的智慧工地源码

智慧工地管理平台充分运用数字化技术&#xff0c;聚焦施工现场岗位一线&#xff0c;依托物联网、互联网、AI等技术&#xff0c;围绕施工现场管理的人、机、料、法、环五大维度&#xff0c;以及施工过程管理的进度、质量、安全三大体系为基础应用&#xff0c;实现全面高效的工程…
阅读更多...
无人售货奶柜：颠覆传统零售行业的潜力黑马

无人售货奶柜：颠覆传统零售行业的潜力黑马

无人售货奶柜&#xff1a;颠覆传统零售行业的潜力黑马 无人售货奶柜具备体积小、灵活运用空间、无需人工看守和自动结算等特点。相较于传统建店方式&#xff0c;它的成本大大降低&#xff0c;从而提高了运营效率。此外&#xff0c;无人售货奶柜独特的优势之一就是可以保持24小时…
阅读更多...
【GUI】-- 11 贪吃蛇小游戏之绘制静态的小蛇

【GUI】-- 11 贪吃蛇小游戏之绘制静态的小蛇

GUI编程 04 贪吃蛇小游戏 4.2 第二步&#xff1a;绘制静态的小蛇 现在绘制静态的小蛇(即小蛇初始位置)&#xff0c;并且完善游戏默认初始状态。这一步还在GamePanel类中实现。 首先&#xff0c;定义了小蛇的数据结构&#xff0c; //定义蛇的数据结构int length; //小蛇总长…
阅读更多...
LeetCode【45】跳跃游戏2

LeetCode【45】跳跃游戏2

题目&#xff1a; 思路&#xff1a; 注意和跳跃游戏【55】不同的是&#xff0c;题目保证可以跳到nums[n-1];那么每次跳到最大即可 代码&#xff1a; public class LeetCode45 {public static int jump(int[] nums) {int jumps 0;int currentEnd 0;int farthest 0;for(int…
阅读更多...
案例研究｜北京交通大学基于DataEase开展多场景校园数据分析与展示

案例研究｜北京交通大学基于DataEase开展多场景校园数据分析与展示

北京交通大学是教育部直属&#xff0c;教育部、交通运输部、北京市人民政府和中国国家铁路集团有限公司共建的全国重点大学&#xff0c;是国家“211工程”“985工程优势学科创新平台”“双一流”建设高校。 多年来&#xff0c;北京交通大学积极发挥信息技术赋能学校人才培养、…
阅读更多...
软考高项知识点 安全技术

软考高项知识点 安全技术

阅读更多...
STM32 -Bin/Hex文件格式解析

STM32 -Bin/Hex文件格式解析

文章目录 1. 概述2. Hex文件2.1 格式解析2.2 数据类型2.3 举例解析2.4 合并两个Hex文件方法 3 总结&#xff08;未完待续&#xff09; 1. 概述 Hex文件&#xff1a;它是单片机和嵌入式工程编译输出的一种常见的目标文件格式&#xff08;比如keil就能编译输出hex文件&#xff0…
阅读更多...
Rockchip Clock

Rockchip Clock

一：概述 1、时钟子系统 本章节所指的时钟是给SOC各个组件提供时钟的树状框架，而非内核使用的时钟。和其他模块一样，CLOCK也有框架，用以适配不同的平台。适配层之上是客户代码和接口，也就是各模块（如需要时钟信号的外设）的驱动。适配层之下是具体的SOC的时钟操作细节。…
阅读更多...
Rust错误处理机制：优雅地管理错误

Rust错误处理机制：优雅地管理错误

大家好&#xff01;我是lincyang。 今天&#xff0c;我们要探讨的是Rust语言中的错误处理机制。 Rust作为一种系统编程语言&#xff0c;对错误处理的重视程度是非常高的。它提供了一套既安全又灵活的机制来处理可能出现的错误。 Rust错误处理的两大类别 在Rust中&#xff0…
阅读更多...
Flutter：多线程Isolate的简单使用

Flutter：多线程Isolate的简单使用

在flutter中如果要使用线程&#xff0c;需要借助Isolate来实现。 简介 在Flutter中&#xff0c;Isolate是一种轻量级的线程解决方案&#xff0c;用于在应用程序中执行并发任务。Isolate可以被认为是独立于主线程的工作单元&#xff0c;它们可以在后台执行任务而不会阻塞应用程…
阅读更多...
影像仪自行更换RGB光源，“看得清，测得准”！

影像仪自行更换RGB光源，“看得清，测得准”！

影像仪作为一种现代化高精度测量设备&#xff0c;在各行各业都有着广泛的应用。而RGB表光作为影像仪中的一个关键技术&#xff0c;也是实现图像真实还原的重要因素之一。 **什么是RGB表光&#xff1f;**RGB是指红&#xff08;Red&#xff09;、绿&#xff08;Green&#xff09;…
阅读更多...
vue动态获取目录结构进行配置静态路由

vue动态获取目录结构进行配置静态路由

文章目录 前言定义项目页面格式一、vite 配置动态路由新建 /router/utils.ts引入 /router/utils.ts 二、webpack 配置动态路由总结如有启发&#xff0c;可点赞收藏哟~ 前言 项目中动态配置路由可以减少路由配置时间&#xff0c;并可减少配置路由出现的一些奇奇怪怪的问题 路由…
阅读更多...
Postman的各种参数你都用对了吗？

Postman的各种参数你都用对了吗？

大家好&#xff0c;我是G探险者。 Postman我们都不陌生&#xff0c;作为一个广泛使用的 HTTP 客户端&#xff0c;平时我们使用它来测试接口&#xff0c;无非就是把接口的url放进去&#xff0c;然后根据请求类型get或者post,在不同位置传一下参数&#xff0c;除了常见的 Params…
阅读更多...
最新文章

Copyright @ 2022~2023