diffusers pipeline拆解：理解pipelines、models和schedulers

diffusers pipeline拆解：理解pipelines、models和schedulers

翻译自：https://huggingface.co/docs/diffusers/using-diffusers/write_own_pipeline v0.24.0

diffusers 设计初衷就是作为一个简单且易用的工具包，来帮助你在自己的使用场景中构建 diffusion 系统。diffusers 的核心是 models 和 schedulers。而 DiffusionPipeline 则将这些组件打包到一起，从而可以简便地使用。在了解其中原理之后，你也可以将这些组件（models 和 schedulers）拆开，来构建适合自己场景的 diffusion 系统。

本文将介绍如何使用 models 和 schedulers 来组建一个 diffusion 系统用作推理生图。我们先从最基础的 DDPMPipeline 开始，然后介绍更复杂、更常用的 StableDiffusionPipeline。

解构DDPMPipeline

以下是 DDPMPipeline 构建和推理的示例：

from diffusers import DDPMPipeline

ddpm = DDPMPipeline.from_pretrained("google/ddpm-cat-256", use_safetensors=True).to("cuda")
image = ddpm(num_inference_steps=25).images[0]
image

在这里插入图片描述

这就是 diffusers 中使用 pipeline 进行推理生图的全部步骤了，是不是超级简单！那么，在 pipeline 背后实际上都做了什么呢？我们接下来将 pipeline 拆解开，看一下它具体做了什么事。

我们提到，pipeline 主要的组件是 models 和 schedulers，在上面的 DDPMPipeline 中，就包含了 UNet2DModel 和 DDPMScheduler。该 pipeline 首先产生一个与输出图片尺寸相同的噪声图，在每个时间步（timestep），将噪声图传给 model 来预测噪声残差（noise residual），然后 scheduler 会根据预测出的噪声残差得到一张噪声稍小的图像，如此反复，直到达到预设的最大时间步，就得到了一张高质量生成图像。

我们可以不直接调用 pipeline 的 API，根据下面的步骤自己走一遍 pipeline 做的事情：

加载模型 model 和 scheduler
from diffusers import DDPMScheduler, UNet2DModel

scheduler = DDPMScheduler.from_pretrained("google/ddpm-cat-256")
model = UNet2DModel.from_pretrained("google/ddpm-cat-256", use_safetensors=True).to("cuda")
设置timesteps
scheduler.set_timesteps(50)
scheduler.timesteps
# 输出：
tensor([980, 960, 940, 920, 900, 880, 860, 840, 820, 800, 780, 760, 740, 720,
        700, 680, 660, 640, 620, 600, 580, 560, 540, 520, 500, 480, 460, 440,
        420, 400, 380, 360, 340, 320, 300, 280, 260, 240, 220, 200, 180, 160,
        140, 120, 100,  80,  60,  40,  20,   0])

在对 scheduler 设置好总的去噪步数之后，ddpm scheduler 会创建一组均匀间隔的数组，本例中我们将 temesteps 设置为 50，所以该数组的长度为 50。在进行去噪时，数组中的每个元素对应了一个时间步，在之后不断循环的去噪中，我们在每一步会遍历用到这个数组的元素。

采样随机噪声

采样一个与输出图片尺寸相同的随机噪声：

import torch

sample_size = model.config.sample_size
noise = torch.randn((1, 3, sample_size, sample_size), device="cuda")
实现迭代去噪循环

然后我们写一个循环，来迭代这些时间步。在每个 step，UNet2DModel 都会进行一次 forward，并返回预测的噪声残差。scheduler 的 step 方法接收 噪声残差 noisy_residual 、当前时间步 t 和 input 作为输入，输出前一时间步的噪声稍小的图片。然后该输出会作为下一时间步的模型输入。反复迭代这个过程，直到将 timesteps 迭代完。

input = noise

for t in scheduler.timesteps:
    with torch.no_grad():
        noisy_residual = model(input, t).sample
    previous_noisy_sample = scheduler.step(noisy_residual, t, input).prev_sample
    input = previous_noisy_sample

以上就是完整的去噪过程了，你也可以使用类似的方式来实现自己的 diffusion 系统。

  1. 最后一步我们将去噪输出转换为 pillow 图片，看一下结果：

    from PIL import Image
import numpy as np

image = (input / 2 + 0.5).clamp(0, 1).squeeze()
image = (image.permute(1, 2, 0) * 255).round().to(torch.uint8).cpu().numpy()
image = Image.fromarray(image)
image

以上就是基础的 DDPMPipeline 背后实际做的事情了。首先，初始化 model 和 scheduler，然后为 scheduler 设置最大时间步，创建一个时间步数组，然后我们采样一个随机噪声，循环遍历 timestep，在每个 step，模型会预测出一个噪声残差，scheduler 根据这个噪声残差来生成一个噪声稍小的图片，如此迭代，直到走完所有 step。

接下来我们将看一下更复杂、更强大的 StableDiffusionPipeline，整体的步骤与上面的 DDPMPipeline 类似。

解构StableDiffusionPipeline

Stable Diffusion 是一种 latent diffusion 的文生图模型。所谓 latent diffusion，指的是其扩散过程是发生在低维度的隐层空间，而非真实的像素空间。这样的模型比较省内存。vae encoder 将图片压缩成一个低维的表示，vae decoder 则负责将压缩特征转换回为真实图片。对于文生图的模型，我们还需要一个 tokenizer 和一个 text encoder 来生成 text embedding，还有，在前面的 DDPMPipeline 中已经提到的 Unet model 和 scheduler。可以看到，Stable Diffusion 已经比 DDPM pipeline 要复杂的多了，它包含了三个独立的预训练模型。

加载模型、设置参数

现在我们先将各个组件通过 from_pretrained 方法加载进来。这里我们先用 SD1.5 的预训练权重，每个组件存放在不同的子目录中：

from PIL import Image
import torch
from transformers import CLIPTextModel, CLIPTokenizer
from diffusers import AutoencoderKL, UNet2DConditionModel, PNDMScheduler

vae = AutoencoderKL.from_pretrained("CompVis/stable-diffusion-v1-4", subfolder="vae", use_safetensors=True)
tokenizer = CLIPTokenizer.from_pretrained("CompVis/stable-diffusion-v1-4", subfolder="tokenizer")
text_encoder = CLIPTextModel.from_pretrained(
    "CompVis/stable-diffusion-v1-4", subfolder="text_encoder", use_safetensors=True
)
unet = UNet2DConditionModel.from_pretrained(
    "CompVis/stable-diffusion-v1-4", subfolder="unet", use_safetensors=True
)

这里我们使用 UniPCMultistepScheduler 来替换掉默认的 PNDMScheduler。没别的意思，就为了展示一下替换一个其他的 scheduler 组件有多么简单：

from diffusers import UniPCMultistepScheduler

scheduler = UniPCMultistepScheduler.from_pretrained("CompVis/stable-diffusion-v1-4", subfolder="scheduler")

然后将各个模型放到 cuda 上：

torch_device = "cuda"
vae.to(torch_device)
text_encoder.to(torch_device)
unet.to(torch_device)

配置一些参数：

prompt = ["a photograph of an astronaut riding a horse"] # prompt按自己喜好设置，想生成什么就描述什么
height = 512  # SD 默认高
width = 512  # SD 默认款
num_inference_steps = 25  # 去噪步数
guidance_scale = 7.5  # classifier-free guidance (CFG) scale
generator = torch.manual_seed(0)  # 随机种子生成器，用于控制初始的噪声图
batch_size = len(prompt)

其中 guidance_scale 参数表示图片生成过程中考虑 prompt 的权重。

创建 text embedding

接下来，我们来对条件 prompt 进行 tokenize，并通过 text encoder 模型产生文本 embedding：

text_input = tokenizer(
    prompt, padding="max_length", max_length=tokenizer.model_max_length, truncation=True, return_tensors="pt"
)

with torch.no_grad():
    text_embeddings = text_encoder(text_input.input_ids.to(torch_device))[0]

我们还需要产生无条件的 text tokens，其完全有 padding token 组成，然后经过 text encoder，得到 uncond_embedding 的 batch_size 和 seq_length 需要与刚刚得到的条件 text embedding 相等。我们将 条件 embedding 和无条件 embedding 拼起来，从而进行并行的 forward：

max_length = text_input.input_ids.shape[-1]
uncond_input = tokenizer([""] * batch_size, padding="max_length", max_length=max_length, return_tensors="pt")
uncond_embeddings = text_encoder(uncond_input.input_ids.to(torch_device))[0]

text_embeddings = torch.cat([uncond_embeddings, text_embeddings])
采样随机噪声

之前提到，SD 的扩散过程是在低维度的 latent 空间进行的，因此此时采样的随机噪声的尺寸比最终生成图片小。对这个 latent 噪声进行迭代去噪。我们随后会通过 vae decoder 将它解码到真实图片的尺寸，即 512。

vae enoder (在 img2img 中使用, text2img 不需要) 和 vae decoder 分别用于将真实尺寸的图片映射到低维 latent 空间，和将低维 latent 解码为真实图片。由于 vae 有三个降采样层，每次会将图片尺寸缩小一半，从而总共缩小了 2**3=8 倍，因此我们将原图的尺寸缩小 8 倍，得到 latent 空间的噪声尺寸。

# 2 ** (len(vae.config.block_out_channels) - 1) == 8

latents = torch.randn(
    (batch_size, unet.config.in_channels, height // 8, width // 8),
    generator=generator,
    device=torch_device,
)
对图像进行去噪

首先我们要先对噪声进行放缩，乘上一个系数 sigma，这可以提升某些 schedulers 的效果，比如我们刚替换的 UniPCMultistepScheduler：

latents = latents * scheduler.init_noise_sigma

然后，我们写一个循环，将 latent 空间的纯噪声一步步地去噪为关于我们 prompt 的 latent 图。和之前 DDPM 的循环类似，整体上我们要做三件事情：

  1. 设置 scheduler 的总去噪步数
  2. 迭代进行这些去噪步
  3. 在每一步，使用 UNet model 来预测噪声残差，并将其传给 scheduler ，生成出上一步的噪声图片

不同的是，我们这里的 SD 需要做 classifer-guidance generation：

from tqdm.auto import tqdm

scheduler.set_timesteps(num_inference_steps)

for t in tqdm(scheduler.timesteps):
    # 我们要做 classifier-guidance generation，所以先扩一下 latent，方便并行推理
    latent_model_input = torch.cat([latents] * 2)

    latent_model_input = scheduler.scale_model_input(latent_model_input, timestep=t)

    # 预测噪声残差
    with torch.no_grad():
        noise_pred = unet(latent_model_input, t, encoder_hidden_states=text_embeddings).sample

    # 进行引导
    noise_pred_uncond, noise_pred_text = noise_pred.chunk(2)
    noise_pred = noise_pred_uncond + guidance_scale * (noise_pred_text - noise_pred_uncond)

    # 生成前一步的 x_t -> x_t-1
    latents = scheduler.step(noise_pred, t, latents).prev_sample
图片解码

最后一步我们使用 vae decoder 来对去噪之后 latent representation 进行解码生成出真实图片。并转换成 pillow image 查看结果。

# scale and decode the image latents with vae
latents = 1 / 0.18215 * latents
with torch.no_grad():
    image = vae.decode(latents).sample
    
image = (image / 2 + 0.5).clamp(0, 1).squeeze()
image = (image.permute(1, 2, 0) * 255).to(torch.uint8).cpu().numpy()
images = (image * 255).round().astype("uint8")
image = Image.fromarray(image)
image

在这里插入图片描述

从基础的 DDPMPipeline 到更复杂的 StableDiffusionPipeline，我们了解了如何构建自己的 diffusion 系统。关键就是在迭代去噪循环的视线。主要包含设定 timesteps、遍历 timesteps 并交替使用 UNet model 进行噪声预测和使用 scheduler 进行前一步图的计算。这就是 diffusers 库的设计理念，既可以直接通过封装好的 pipeline 直接生图，也可以用其中的各个组件方便地自己构建 diffusion 系统的 pipeline。

下一步，我们可以：

  1. 探索其他 diffusers 库中已有的 pipeline，像本文介绍的那样试着自己对其进行结构，并自行从头实现。
  2. 试着自己构造一个全新的 pipeline 并贡献到 diffusers 库 参考

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/228258.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

四十、Saga模式

四十、Saga模式

目录 一、定义 二、流程 三、优点 四、缺点 五、四种模式的对比 一、定义 Saga模式是一种用于处理复杂异步操作流的模式，通常用于React/Redux的应用程序中。在这种模式中，业务逻辑被分成多个离散步骤，每个步骤都是一个Generator函数&…
阅读更多...
AUTOSAR CP Port Driver简介

AUTOSAR CP Port Driver简介

Port Driver 1 背景2 基于 EB 及 TC39X 配置3 Port API 使用1 背景 Port driver 在 AUTOSAR 中是一个比较冷门的模块，基本上在 MCAL 层级，关注的人也少，他由不像其他模块那样通用型比较强，Port 在每种内核的 MCU 的配置都有区别,甚至有些芯片直接没有 Port 模块,使用其他方…
阅读更多...
企业级高级美颜美妆SDK解决方案

企业级高级美颜美妆SDK解决方案

人们对于美的追求已经不仅仅局限于现实世界，更延伸到了虚拟世界。为了满足这一需求，美摄科技全新开发了一款高级美颜美妆SDK，为企业提供了一站式的美颜美妆解决方案。 这款全新的美颜美妆SDK，是我们对美颜技术的一次全面升级。它…
阅读更多...
Java实现布隆过滤器

Java实现布隆过滤器

一、概述 布隆过滤器本质上是一个很长的二进制数组，主要用来判断一个数据存不存在数组里，如果存在就用1表示，不存在用0表示，它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 …
阅读更多...
教你pycharm运行Django第一个项目

教你pycharm运行Django第一个项目

文章目录 前言搭建Django:1.新建Django项目：2.为Django项目指定远程中创建的虚拟环境下的python解释器：3.配置ubuntu的端口转发（添加端口号为1234的端口）：关于Python技术储备一、Python所有方向的学习路线二、Python基…
阅读更多...
Nacos源码解读07——集群数据同步

Nacos源码解读07——集群数据同步

Distro协议背景 Distro 协议是 Nacos 社区自研的⼀种 AP 分布式协议，是面向临时实例设计的⼀种分布式协议， 其保证了在某些 Nacos 节点宕机后，整个临时实例处理系统依旧可以正常工作。作为⼀种有状态 的中间件应用的内嵌协议，Dis…
阅读更多...
【软件推荐】文本转语音，语音转wav，导入ue5

【软件推荐】文本转语音，语音转wav，导入ue5

文字转语音 在线免费文字转语音 - TTSMaker官网 | 马克配音https://ttsmaker.cn/ 文件转换器 语音转wav Convertio — 文件转换器https://convertio.co/zh/
阅读更多...
[英语学习][10][Word Power Made Easy]的精读与翻译优化

[英语学习][10][Word Power Made Easy]的精读与翻译优化

[序言] 下面这段话, 译者翻译没有太大问题, 就是某些单词上, 跟他理解得不一样. 另外还有一个关键的定语从句, 我认为译者理解不到位, 导致翻译不够通顺. [英文学习的目标] 提升自身的英语水平, 对日后编程技能的提升有很大帮助. 希望大家这次能学到东西, 同时加入我的社区讨…
阅读更多...
静态HTTP和动态HTTP的混合使用：最佳实践

静态HTTP和动态HTTP的混合使用：最佳实践

在当今的互联网环境中，静态HTTP和动态HTTP各有其优势和局限。静态HTTP具有速度快、安全性高和易于维护的特点，而动态HTTP则能够实现动态交互和处理大量动态数据。为了充分利用两者的优势，越来越多的网站开始采用静态HTTP和动态HTTP混合使用的…
阅读更多...
两个分数相加。

两个分数相加。

输入两个分数&#xff0c;例如3/41/2&#xff0c;输出3/41/25/4。 运行程序时&#xff0c;如下图所示&#xff1a; 输入样例1: 1/61/2输出样例2: 1/61/22/3 #include<stdio.h> int gcd(int a,int b) //求最大公约数&#xff08;Greatest Common Divisor&…
阅读更多...
代码随想录第二十七天（一刷C语言）|分发饼干摆动序列最大子数组和

代码随想录第二十七天（一刷C语言）|分发饼干摆动序列最大子数组和

创作目的&#xff1a;为了方便自己后续复习重点&#xff0c;以及养成写博客的习惯。 一、分发饼干 思路&#xff1a;参考carl文档 局部最优就是大饼干喂给胃口大的&#xff0c;充分利用饼干尺寸喂饱一个&#xff0c;全局最优就是喂饱尽可能多的小孩。尝试使用贪心策略&#x…
阅读更多...
FastAPI之声明请求参数示例数据

FastAPI之声明请求参数示例数据

在Pydantic模型中添加额外的JSON模式数据 您可以声明Pydantic模型的示例&#xff0c;这些示例将被添加到生成的JSON模式中。 示例代码 from fastapi import FastAPI from pydantic import BaseModelapp FastAPI()class Item(BaseModel):name: strdescription: str | None …
阅读更多...
设计模式——单例模式（Singleton Pattern）

设计模式——单例模式（Singleton Pattern）

概述 单例模式确保一个类只有一个实例&#xff0c;而且自行实例化并向整个系统提供整个实例&#xff0c;这个类称为单例类&#xff0c;它提供全局访问的方法。单例模式是一种对象创建型模式。单例模式有三个要点&#xff1a;一是某个类只能有一个实例&#xff1b;二是它必须自行…
阅读更多...
WebStorm：Mac/Win上强大的JavaScript开发工具

WebStorm：Mac/Win上强大的JavaScript开发工具

WebStorm是JetBrains公司开发的针对Mac和Windows系统的JavaScript开发工具。它为开发者提供了一站式的代码编辑、调试、测试和版本控制等功能&#xff0c;帮助你更高效地进行Web开发。新版本的WebStorm 2023在性能和用户体验方面都做出了重大改进&#xff0c;让你的JavaScript开…
阅读更多...
冰箱镜头除雾解决方案

冰箱镜头除雾解决方案

冰箱镜头除雾解决方案 1.0 雾气产生原因 由于温度和湿度的变化，导致空气中的水汽凝结在镜头上，形成一层细小的水滴，从而影响了镜头的透光性和清晰度。 这种情况跟汽车玻璃、眼镜等物体表面起雾的原理是一样的， 雾的形成条件 （1）湿度–充足的水汽：①水汽输送（向岸风…
阅读更多...
【RHCE】openlab搭建web网站

【RHCE】openlab搭建web网站

网站需求&#xff1a; 1、基于域名 www.openlab.com 可以访问网站内容为 welcome to openlab!!! 增加映射 [rootlocalhost ~]# vim /etc/hosts 创建网页 [rootlocalhost ~]# mkdir -p /www/openlab [rootlocalhost ~]# echo welcome to openlab > /www/openlab/index.h…
阅读更多...
[足式机器人]Part2 Dr. CAN学习笔记-数学基础Ch0-2 特征值与特征向量

[足式机器人]Part2 Dr. CAN学习笔记-数学基础Ch0-2 特征值与特征向量

本文仅供学习使用 本文参考&#xff1a; B站&#xff1a;DR_CAN Dr. CAN学习笔记-数学基础Ch0-2 特征值与特征向量 1. 定义1.1 线性变换1.2 求解特征值&#xff0c;特征向量1.3 应用&#xff1a;对角化矩阵——解耦Decouple 2. Summary 1. 定义 A v ⃗ λ v ⃗ A\vec{v}\lambd…
阅读更多...
广播和组播

广播和组播

1. 广播 1.1 知识点 INADDR_ANY代表本机所有地址 常用方法当你将套接字绑定到INADDR_ANY&#xff0c;它会监听所有可用的网络接口&#xff0c;这意味着它将接受来自所有本地IP地址的传入连接或数据包 1.1.1 广播的流程 广播发送端&#xff1a; ----> 添加广播属性 1、建立套…
阅读更多...
无需繁琐编程 开启高效数据分析之旅！

无需繁琐编程 开启高效数据分析之旅！

不学编程做R统计分析&#xff1a;图形界面R Commander官方手册 R Commander是 R 的图形用户界面&#xff0c;不需要键入命令就可通过熟悉的菜单和对话框来访问 R 统计软件。 R 和 R Commander 均可免费安装于所有常见的操作系统——Windows、Mac OS X 和 Linux/UNIX。 本书作…
阅读更多...
DataGrip常见问题

DataGrip常见问题

查询语句结果没有输出在output中 进行如下配置 配置后查询结果输出在output中 左侧数据库链接信息导航栏被隐藏 以上导航栏被隐藏&#xff0c;按下图操作调出
阅读更多...
最新文章

Copyright @ 2022~2023