Stable Diffusion 模型的概念、类型、下载、安装、使用

本文收录于《AI绘画从入门到精通》专栏，专栏总目录：点这里。

大家好，我是水滴~~

我们在《Stable Diffusion WebUI 界面介绍》时，第一个就讲到了 Stable Diffusion 模型，那么这个模型是什么？该从哪儿下载？下载后放到哪儿？该怎么使用呢？本篇文章将围绕着这几个问题来逐一讲述。

文章目录

一、什么是模型
二、大模型的类型
- 2.1 基础模型（Base Model）
- 2.2 文件类型
三、大模型在哪儿下载
- 3.1 Civitai（C站）
- 3.2 LiblibAI（哩布哩布AI）
四、大模型放哪里
五、使用大模型生成图片

一、什么是模型

Stable Diffusion 是一种基于扩散过程的图像生成模型，由 CompVis、Stability AI 和 LAION 共同开发。该模型通过模拟扩散过程，将噪声图像逐渐转化为目标图像，可以生成高质量、高分辨率的图像。
Stable Diffusion 模型经过大量的图文模型进行训练，具有强大的生成能力，可以胜任多种风格，如写实、原画、2.5D等，并能实现顶级的光影效果和人物风景细节。

简单来理解，Stable Diffusion 是经过训练出来的，可以生成图片的模型。人们可以针对性的来训练某种风格的模型，所以我们会看到有很多种模型。我们想要生成什么风格类型的图片，就选择对应的模型。

模型是生成图片的基础，我们想要出什么图，就选择什么样的模型，所以我们一般称它为大模型、底模型、主模型。

在下图中有三种模型，每一种模型都有自己的风格：

在这里插入图片描述

Dark Sushi Mix 大颗寿司Mix：动漫风格、2.5D
Disney Pixar Cartoon type B：3D 风格、迪士尼皮克斯动画片
majicMIX realistic 麦橘写实：写实风格、亚洲人面孔

二、大模型的类型

2.1 基础模型（Base Model）

Stable Diffusion 的基础模型有很多版本，而使用最广泛的是 SD1.5 和 SDXL（Stable Diffusion Extra Large），绝大部分模型都是基于这两个版本来训练出来的。

下面是这两个版本的差异：

图像质量和生成速度：SDXL在图像质量方面相对于SD 1.5有了显著的提升。SDXL能够生成更高质量的图像，具有更强的细节和更真实的质感。此外，SDXL的生成速度也比SD 1.5更快，这得益于其更大的模型规模和更高效的计算资源利用。
模型规模和训练数据：SDXL是一个更大规模的模型，其参数数量比SD 1.5更多。这意味着SDXL能够处理更复杂、更精细的图像生成任务。同时，SDXL的训练数据量也比SD 1.5更大，这有助于提高其生成图像的多样性和准确性。
应用场景：由于SDXL在图像质量和生成速度方面的优势，它更适合用于需要高质量图像生成的应用场景，如广告、游戏设计、影视制作等。而SD 1.5则更适合用于一些对图像质量要求不高、更注重生成速度的场景，如社交媒体分享、个人创作等。

2.2 文件类型

Stable Diffusion 模型的文件类型主要包括以下几种：

.ckpt：这是 TensorFlow 和 PyTorch 等深度学习框架常用的模型检查点（checkpoint）文件扩展名。它通常用于保存和加载模型在训练过程中的权重和状态。
.safetensors：这是一种特定的文件格式，用于保存模型的权重和参数。在某些情况下，Stable Diffusion模型可能会使用这种格式来存储其模型文件。
.pt：这是PyTorch深度学习框架使用的模型文件扩展名。PyTorch是一个流行的深度学习框架，因此许多模型，包括Stable Diffusion，可能会使用这种格式来存储模型文件。

在这几种模型文件中，最常用的是 .ckpt 和 .safetensors 两种类型。
.safetensors 是 HuggingFace 推出的新的模型存储格式。与 .ckpt 不同 .safetensors 格式不会包含执行代码，因此不需要反序列化。这意味着加载模型时 .safetensors 会更快，也更安全。目前，.safetensors 已经成为主流的 Stable Diffusion 模型存储格式。。