LCM-LoRA模型推理简明教程

潜在一致性模型 (LCM) 通常可以通过 2-4 个步骤生成高质量图像，从而可以在几乎实时的设置中使用扩散模型。

来自官方网站：

LCM 只需 4,000 个训练步骤（约 32 个 A100 GPU 小时）即可从任何预训练的稳定扩散 (SD) 中提取出来，只需 2~4 个步骤甚至一步即可生成高质量的 768 x 768 分辨率图像，从而显着加速文本转换 -图像生成。 我们使用 LCM 在短短 4,000 次训练迭代中提取了 Dreamshaper-V7 版本的 SD。

有关 LCM 的更多技术概述，请参阅论文。

然而，每个模型需要单独蒸馏以进行潜在一致性蒸馏。 LCM-LoRA 的核心思想是只训练几个适配器层，在本例中适配器是 LoRA。 这样，我们就不必训练完整的模型并保持可训练参数的数量可控。 然后，生成的 LoRA 可以应用于模型的任何微调版本，而无需单独蒸馏它们。 此外，LoRA 还可应用于图像到图像、ControlNet/T2I-Adapter、修复、AnimateDiff 等。LCM-LoRA 还可以与其他 LoRA 结合，只需很少的步骤 (4-8) 即可生成样式图像。

NSDT在线工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器

LCM-LoRA 可用于 stable-diffusion-v1-5、stable-diffusion-xl-base-1.0 和 SSD-1B 模型。 所有的检查点都可以在这个集合中找到。

有关LCM-LoRA的更多详细信息，请参阅技术报告。

本指南展示了如何使用 LCM-LoRA 进行推理：

  • 文本到图像
  • 图像到图像
  • 与风格化的 LoRA 相结合
  • ControlNet/T2I 适配器
  • 图像修复
  • 动画差异

在阅读本指南之前，我们将先了解一下使用 LCM-LoRA 执行推理的一般工作流程。 LCM-LoRA 与其他稳定扩散 LoRA 类似，因此它们可以与任何支持 LoRA 的 DiffusionPipeline 一起使用。

  • 加载任务特定的管道和模型。
  • 将调度程序设置为 LCMScheduler。
  • 加载模型的 LCM-LoRA 权重。
  • 减少 [1.0, 2.0] 之间的guiding_scale，并在 [4, 8] 之间设置 num_inference_steps。
  • 使用常用参数对管道进行推理。

让我们看看如何使用 LCM-LoRA 对不同的任务进行推理。

首先，确保已安装 peft，以获得更好的 LoRA 支持。

pip install -U peft

1、文本转图像

我们将使用 StableDiffusionXLPipeline 和调度程序：LCMScheduler，然后加载 LCM-LoRA。 该管道与 LCM-LoRA 和调度程序一起，可实现快速推理工作流程，克服扩散模型的缓慢迭代特性。

import torch
from diffusers import DiffusionPipeline, LCMScheduler

pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    variant="fp16",
    torch_dtype=torch.float16
).to("cuda")

# set scheduler
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

# load LCM-LoRA
pipe.load_lora_weights("latent-consistency/lcm-lora-sdxl")

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

generator = torch.manual_seed(42)
image = pipe(
    prompt=prompt, num_inference_steps=4, generator=generator, guidance_scale=1.0
).images[0]

结果如下：

请注意，我们仅使用 4 个步骤进行生成，这比标准 SDXL 通常使用的步骤要少得多。

你可能已经注意到，我们设置guidance_scale=1.0，这会禁用classifer-free-guidance。 这是因为 LCM-LoRA 是在指导下进行训练的，因此在这种情况下批量大小不必加倍。 这会导致更快的推理时间，但缺点是负面提示对去噪过程没有任何影响。
还可以使用 LCM-LoRA 的指导，但由于训练的性质，模型对guiding_scale 值非常敏感，高值可能会导致生成的图像中出现伪影。 在我们的实验中，我们发现最佳值在 [1.0, 2.0] 范围内。

2、使用微调模型进行推理

如上所述，LCM-LoRA 可以应用于模型的任何微调版本，而无需单独提取它们。 让我们看看如何使用微调模型进行推理。 在此示例中，我们将使用 animagine-xl 模型，它是用于生成动画的 SDXL 模型的微调版本。

from diffusers import DiffusionPipeline, LCMScheduler

pipe = DiffusionPipeline.from_pretrained(
    "Linaqruf/animagine-xl",
    variant="fp16",
    torch_dtype=torch.float16
).to("cuda")

# set scheduler
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

# load LCM-LoRA
pipe.load_lora_weights("latent-consistency/lcm-lora-sdxl")

prompt = "face focus, cute, masterpiece, best quality, 1girl, green hair, sweater, looking at viewer, upper body, beanie, outdoors, night, turtleneck"

generator = torch.manual_seed(0)
image = pipe(
    prompt=prompt, num_inference_steps=4, generator=generator, guidance_scale=1.0
).images[0]

结果如下：

3、图像到图像

LCM-LoRA 也可以应用于图像到图像的任务。 让我们看看如何使用 LCM 执行图像到图像的生成。 在本例中，我们将使用 dreamshaper-7 模型和 LCM-LoRA 来实现 stable-diffusion-v1-5 。

import torch
from diffusers import AutoPipelineForImage2Image, LCMScheduler
from diffusers.utils import make_image_grid, load_image

pipe = AutoPipelineForImage2Image.from_pretrained(
    "Lykon/dreamshaper-7",
    torch_dtype=torch.float16,
    variant="fp16",
).to("cuda")

# set scheduler
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

# load LCM-LoRA
pipe.load_lora_weights("latent-consistency/lcm-lora-sdv1-5")

# prepare image
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/img2img-init.png"
init_image = load_image(url)
prompt = "Astronauts in a jungle, cold color palette, muted colors, detailed, 8k"

# pass prompt and image to pipeline
generator = torch.manual_seed(0)
image = pipe(
    prompt,
    image=init_image,
    num_inference_steps=4,
    guidance_scale=1,
    strength=0.6,
    generator=generator
).images[0]
make_image_grid([init_image, image], rows=1, cols=2)

结果如下：

你可以根据提示和提供的图像获得不同的结果。 为了获得最佳结果，我们建议尝试 num_inference_steps、strength 和guiding_scale 参数的不同值并选择最佳值。

4、与风格化的 LoRA 结合

LCM-LoRA 可以与其他 LoRA 结合使用，只需很少的步骤即可生成样式图像 (4-8)。 在下面的示例中，我们将使用 LCM-LoRA 和剪纸 LoRA。 要了解有关如何组合 LoRA 的更多信息，请参阅这个指南。

import torch
from diffusers import DiffusionPipeline, LCMScheduler

pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    variant="fp16",
    torch_dtype=torch.float16
).to("cuda")

# set scheduler
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

# load LoRAs
pipe.load_lora_weights("latent-consistency/lcm-lora-sdxl", adapter_name="lcm")
pipe.load_lora_weights("TheLastBen/Papercut_SDXL", weight_name="papercut.safetensors", adapter_name="papercut")

# Combine LoRAs
pipe.set_adapters(["lcm", "papercut"], adapter_weights=[1.0, 0.8])

prompt = "papercut, a cute fox"
generator = torch.manual_seed(0)
image = pipe(prompt, num_inference_steps=4, guidance_scale=1, generator=generator).images[0]
image

结果如下：

5、ControlNet/T2I 适配器

让我们看看如何使用 ControlNet/T2I-Adapter 和 LCM-LoRA 进行推理。

在本例中，我们将使用 SD-v1-5 模型和 SD-v1-5 的 LCM-LoRA 以及 canny ControlNet。

import torch
import cv2
import numpy as np
from PIL import Image

from diffusers import StableDiffusionControlNetPipeline, ControlNetModel, LCMScheduler
from diffusers.utils import load_image

image = load_image(
    "https://hf.co/datasets/huggingface/documentation-images/resolve/main/diffusers/input_image_vermeer.png"
).resize((512, 512))

image = np.array(image)

low_threshold = 100
high_threshold = 200

image = cv2.Canny(image, low_threshold, high_threshold)
image = image[:, :, None]
image = np.concatenate([image, image, image], axis=2)
canny_image = Image.fromarray(image)

controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-canny", torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    controlnet=controlnet,
    torch_dtype=torch.float16,
    safety_checker=None,
    variant="fp16"
).to("cuda")

# set scheduler
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

# load LCM-LoRA
pipe.load_lora_weights("latent-consistency/lcm-lora-sdv1-5")

generator = torch.manual_seed(0)
image = pipe(
    "the mona lisa",
    image=canny_image,
    num_inference_steps=4,
    guidance_scale=1.5,
    controlnet_conditioning_scale=0.8,
    cross_attention_kwargs={"scale": 1},
    generator=generator,
).images[0]
make_image_grid([canny_image, image], rows=1, cols=2)

结果如下：

本示例中的推理参数可能不适用于所有示例，因此我们建议你尝试“num_inference_steps”、“guidance_scale”、“controlnet_conditioning_scale”和“cross_attention_kwargs”参数的不同值，并选择最佳的值。

下面的示例展示了如何将 LCM-LoRA 与 Canny T2I 适配器和 SDXL 结合使用。

import torch
import cv2
import numpy as np
from PIL import Image

from diffusers import StableDiffusionXLAdapterPipeline, T2IAdapter, LCMScheduler
from diffusers.utils import load_image, make_image_grid

# Prepare image
# Detect the canny map in low resolution to avoid high-frequency details
image = load_image(
    "https://huggingface.co/Adapter/t2iadapter/resolve/main/figs_SDXLV1.0/org_canny.jpg"
).resize((384, 384))

image = np.array(image)

low_threshold = 100
high_threshold = 200

image = cv2.Canny(image, low_threshold, high_threshold)
image = image[:, :, None]
image = np.concatenate([image, image, image], axis=2)
canny_image = Image.fromarray(image).resize((1024, 1024))

# load adapter
adapter = T2IAdapter.from_pretrained("TencentARC/t2i-adapter-canny-sdxl-1.0", torch_dtype=torch.float16, varient="fp16").to("cuda")

pipe = StableDiffusionXLAdapterPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", 
    adapter=adapter,
    torch_dtype=torch.float16,
    variant="fp16", 
).to("cuda")

# set scheduler
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

# load LCM-LoRA
pipe.load_lora_weights("latent-consistency/lcm-lora-sdxl")

prompt = "Mystical fairy in real, magic, 4k picture, high quality"
negative_prompt = "extra digit, fewer digits, cropped, worst quality, low quality, glitch, deformed, mutated, ugly, disfigured"

generator = torch.manual_seed(0)
image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    image=canny_image,
    num_inference_steps=4,
    guidance_scale=1.5, 
    adapter_conditioning_scale=0.8, 
    adapter_conditioning_factor=1,
    generator=generator,
).images[0]
make_image_grid([canny_image, image], rows=1, cols=2)

结果如下：

6、图像修复

LCM-LoRA 也可用于修复。

import torch
from diffusers import AutoPipelineForInpainting, LCMScheduler
from diffusers.utils import load_image, make_image_grid

pipe = AutoPipelineForInpainting.from_pretrained(
    "runwayml/stable-diffusion-inpainting",
    torch_dtype=torch.float16,
    variant="fp16",
).to("cuda")

# set scheduler
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

# load LCM-LoRA
pipe.load_lora_weights("latent-consistency/lcm-lora-sdv1-5")

# load base and mask image
init_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/inpaint.png")
mask_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/inpaint_mask.png")

# generator = torch.Generator("cuda").manual_seed(92)
prompt = "concept art digital painting of an elven castle, inspired by lord of the rings, highly detailed, 8k"
generator = torch.manual_seed(0)
image = pipe(
    prompt=prompt,
    image=init_image,
    mask_image=mask_image,
    generator=generator,
    num_inference_steps=4,
    guidance_scale=4, 
).images[0]
make_image_grid([init_image, mask_image, image], rows=1, cols=3)

结果如下：

7、动画差异

AnimateDiff 允许你使用稳定扩散模型对图像进行动画处理。 为了获得好的结果，我们需要生成多个帧（16-24），而使用标准 SD 模型执行此操作可能会非常慢。 LCM-LoRA 可用于显着加快该过程，因为你只需为每一帧执行 4-8 个步骤。 让我们看看如何使用 LCM-LoRA 和 AnimateDiff 执行动画。

import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler, LCMScheduler
from diffusers.utils import export_to_gif

adapter = MotionAdapter.from_pretrained("diffusers/animatediff-motion-adapter-v1-5")
pipe = AnimateDiffPipeline.from_pretrained(
    "frankjoshua/toonyou_beta6",
    motion_adapter=adapter,
).to("cuda")

# set scheduler
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

# load LCM-LoRA
pipe.load_lora_weights("latent-consistency/lcm-lora-sdv1-5", adapter_name="lcm")
pipe.load_lora_weights("guoyww/animatediff-motion-lora-zoom-in", weight_name="diffusion_pytorch_model.safetensors", adapter_name="motion-lora")

pipe.set_adapters(["lcm", "motion-lora"], adapter_weights=[0.55, 1.2])

prompt = "best quality, masterpiece, 1girl, looking at viewer, blurry background, upper body, contemporary, dress"
generator = torch.manual_seed(0)
frames = pipe(
    prompt=prompt,
    num_inference_steps=5,
    guidance_scale=1.25,
    cross_attention_kwargs={"scale": 1},
    num_frames=24,
    generator=generator
).frames[0]
export_to_gif(frames, "animation.gif")

结果如下：

原文链接：LCM-LoRA推理简明教程 - BimAnt

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/197306.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

距离向量路由协议——IGRP和EIGRP

距离向量路由协议——IGRP和EIGRP

IGRP-内部网关路由协议 IGRP（Interior Gateway Routing Protocol，内部网关路由协议）是一种动态距离向量路由协议，它是Cisco公司在20世纪80年代中期设计的，是Cisco专用路由协议。目前在Cisco高版本的IOS已经对IGRP不提…
阅读更多...
python加速方法：GPU加速（numba库）Demo及编写注意事项

python加速方法：GPU加速（numba库）Demo及编写注意事项

上周使用GPU加速了一个算法，效果特别惊艳，由于算法代码本身没有太大参考价值，所以这里只记录了一些心得体会，以便后续遇到问题进行参考排查 numba加速代码编写注意事项 numba加速代码编写一定要注意： 1、开辟空间&am…
阅读更多...
用通俗的方式讲解Transformer：从Word2Vec、Seq2Seq逐步理解到GPT、BERT

用通俗的方式讲解Transformer：从Word2Vec、Seq2Seq逐步理解到GPT、BERT

直到今天早上，刷到CSDN一篇讲BERT的文章，号称一文读懂，我读下来之后，假定我是初学者，读不懂。 关于BERT的笔记，其实一两年前就想写了，迟迟没动笔的原因是国内外已经有很多不错的资料&#xff0…
阅读更多...
nodejs之express学习（1）

nodejs之express学习（1）

安装 npm i express使用 // 导入 const express require(express) // 创建应用 const app express() // 创建路由 app.get(/home,(req,res)>{res.end("hello express") }) app.listen(3000,()>{console.log("服务已启动~") })路由的介绍 什么是…
阅读更多...
leetCode 226.翻转二叉树

leetCode 226.翻转二叉树

给你一棵二叉树的根节点 root ，翻转这棵二叉树，并返回其根节点。 226. 翻转二叉树 - 力扣（LeetCode） 示例 1: 输入：root [4,2,7,1,3,6,9] 输出：[4,7,2,9,6,3,1] 示例 2： 输入：root…
阅读更多...
【栈和队列（1）（逆波兰表达式）】

【栈和队列（1）（逆波兰表达式）】

文章目录 前言什么是栈(Stack)栈方法栈的模拟实现链表也可以实现栈逆波兰表达式逆波兰表达式在栈中怎么使用 前言 什么是栈(Stack) 栈：一种特殊的线性表，其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶&#xff0…
阅读更多...
智慧化工~工厂设备检修和保全信息化智能化机制流程

智慧化工~工厂设备检修和保全信息化智能化机制流程

化工厂每年需要现场检修很多机器，比如泵、压缩机、管道、塔等等，现场检查人员都是使用照相机，现场拍完很多机器后，回办公室整理乱糟糟的照片，但是经常照了之后无法分辨是哪台设备，而且现场经常漏拍&#xf…
阅读更多...
毫米波雷达DOA角度计算-----MUSIC算法

毫米波雷达DOA角度计算-----MUSIC算法

MUSIC算法如下： txNum ：发射天线 2个 ，rxNum：接收天线 4 个 。 ant ： 为目标点的 天线 接收数据 ， 为 8*1矩阵。 A ant;d 0.5;M 1; % # 快拍数ang_ax -90:90; % 角度坐标% 接收信号方向向量for k1:…
阅读更多...
vr中小学智慧教育仿真平台大大减轻教师备课负担

vr中小学智慧教育仿真平台大大减轻教师备课负担

在教育领域，将VR虚拟现实、AR增强现实和元宇宙技术融合到在线教育的VR云课堂智慧学习平台，通过为学生和教师提供了一个全新的、沉浸式的学习环境，极大地改善了传统的教学方式和学习体验，正成为改革的重要力量。 课程资源云平台拥有…
阅读更多...
类指针压缩空间

类指针压缩空间

一、类指针压缩介绍 压缩指针，指的是在 64 位的机器上，使用 32 位的指针来访问数据（堆中的对象或 Metaspace 中的元数据）的一种方式。 对象头中的 Class Pointer 默认占 8 个字节，开启 -XX:UseCompressedOops 后&…
阅读更多...
零基础学Python第三天||写一个简单的程序

零基础学Python第三天||写一个简单的程序

通过对四则运算的学习，已经初步接触了Python中内容，如果看官是零基础的学习者，可能有点迷惑了。难道敲几个命令，然后看到结果，就算编程了？这也不是那些能够自动运行的程序呀？ 的确。到目前为止…
阅读更多...
leetCode 226.翻转二叉树 递归 + 非递归 + 前中后序 + 层序遍历 【深度和广度优先遍历】

leetCode 226.翻转二叉树 递归 + 非递归 + 前中后序 + 层序遍历 【深度和广度优先遍历】

我的往期文章： leetCode 226.翻转二叉树-CSDN博客https://blog.csdn.net/weixin_41987016/article/details/134613347?spm1001.2014.3001.5501 （一）递归做法（深度） C代码：前序遍历 class Solution { pu…
阅读更多...
酒水代理商城小程序开发搭建攻略

酒水代理商城小程序开发搭建攻略

随着互联网的快速发展，线上商城已成为越来越多人的选择。对于酒水代理行业来说，拥有一个专属的线上商城小程序能够大大提升业务效率，拓展销售渠道。本文将手把手教你如何开发搭建一个酒水代理商城小程序。 步骤一：登录乔拓云网后台…
阅读更多...
简要介绍Spring原生框架与Spring是轻量级框架的原因

简要介绍Spring原生框架与Spring是轻量级框架的原因

😉😉 学习交流群： ✅✅1：这是孙哥suns给大家的福利！ ✨✨2：我们免费分享Netty、Dubbo、k8s、Mybatis、Spring...应用和源码级别的视频资料 🥭🥭3：QQ群：583783…
阅读更多...
物理机虚拟化关键技术介绍

物理机虚拟化关键技术介绍

☞ ░ 前往老猿Python博客 ░ https://blog.csdn.net/LaoYuanPython 一、虚拟化原理 将多个“同质或异构”资源（包括但不限于芯片、硬件、软件、应用）形成一个资源池，对资源池进行抽象、解耦形成独立的“虚拟资源”，并实现虚拟资…
阅读更多...
MySql之内连接，外连接，左连接，右连接以及子查询举例详解

MySql之内连接，外连接，左连接，右连接以及子查询举例详解

一.数据准备 资源绑定中有sql执行语句，直接复制粘贴，用navicat执行创建表并插入数据 （有需要的可自行下载，如有问题可在评论区留言） students，scores，courses三张表的联系如下图所示 二.内连接…
阅读更多...
p11 第60题 设计一个算法，逆序单链表中的数据 电子科技大学2014年数据结构（c语言代码实现）

p11 第60题 设计一个算法，逆序单链表中的数据 电子科技大学2014年数据结构（c语言代码实现）

通过头插法可以实现单链表的逆置 下方博客有图解： 王道p40 5.将带头结点的单链表就地逆置，所谓“就地”是指辅助空间复杂度为O（1）-CSDN博客 单链表的逆置可以通过遍历链表，逐个将节点取出并插入到新链表的头部来实现…
阅读更多...
pandas教程：USDA Food Database USDA食品数据库

pandas教程：USDA Food Database USDA食品数据库

文章目录 14.4 USDA Food Database（美国农业部食品数据库） 14.4 USDA Food Database（美国农业部食品数据库） 这个数据是关于食物营养成分的。存储格式是JSON，看起来像这样： {"id": 21441, &quo…
阅读更多...
0004Java程序设计-ssm基于微信小程序的校园第二课堂

0004Java程序设计-ssm基于微信小程序的校园第二课堂

文章目录 摘 要目录系统设计开发环境 编程技术交流、源码分享、模板分享、网课分享 企鹅🐧裙：776871563 摘 要 随着信息技术和网络技术的飞速发展，人类已进入全新信息化时代，传统管理技术已无法高效，便捷地管理信息。…
阅读更多...
Doris-集群部署（四）

Doris-集群部署（四）

创建目录并拷贝编译后的文件 1）创建目录并拷贝编译后的文件 mkdir /opt/module/apache-doris-0.15.0 cp -r /opt/software/apache-doris-0.15.0-incubating-src/output /opt/module/apache-doris-0.15.02）修改可打开文件数（每个节点&#x…
阅读更多...
最新文章

Copyright @ 2022~2023