Stable Diffusion XL(SDXL)是一个强大的文本到图像生成模型,它以三种关键方式迭代以前的Stable Differsion模型:
1. UNet大3倍,SDXL将第二个文本编码器(OpenCLIP-ViT-bigG/14)与原始文本编码器相结合,以显著增加参数数量
2. 引入了大小和裁剪条件,以保护训练数据不被丢弃,并对生成的图像应该如何裁剪有更多的控制权
3. 介绍了一个两阶段的建模过程;基础模型(也可以作为独立模型运行)生成图像作为精简模型的输入,该精简模型添加了额外的高质量细节
# 以下代码为程序运行进行设置
import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from diffusers import AutoPipelineForText2Image
import torch
# 以下代码引入SDXL模型
pipeline_text2image = AutoPipelineForText2Image.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")
# 以下代码由提示词生成高清图片
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipeline_text2image(prompt=prompt).images[0]
image.show()