上一篇我们解析了所有Pipeline的基类DiffusionPipeline。后续各种各样的pipeline都继承了DiffusionPipeline的模型加载保存等功能，然后再配合各个组件实现各种的结构即可。

事实上，一个Pipeline通常包含了如下模块(from_pretrained函数根据model_index.json文件new了一个Pipeline，挨个扫描子文件夹创建模块加载对应的weight和config)：

• VAE，即变分自编码器，把图像编码到特征，进行生成过程后再把特征解码到图像。(有weight)
• UNet，用于迭代采样预测噪声的模型。(有weight)
• Text Encoder，用于把tokens编码为一串向量，用来控制扩散模型的生成。(有weight)
• Tokenizer，把输入的文本按照字典编码为上面的tokens。
• Scheduler，我们知道扩散模型有很多采样方法，Scheduler定义了我们用哪种采样方法
• Safety_checker，NSFW检测器，很多人应该都不想要这个，可以去掉。
• Feature_extractor，也是NSFW检测器的一部分，也可以去掉。
• Image Encoder，如果有image作为条件就会需要，计算image embedding，用来控制扩散模型的生成(有weight)
• Image Processor，配合Image Encoder，在计算emebedding之前进行一些数据增强。
• ControlNet，如果使用各种control condition就会需要，本质是半个UNet，用于计算condition_images的feature 融合到UNet中(有weight)

本节我将带领大家解构diffusers中3个我觉得最有学习意义的Pipeline：

• SD-Inpainting：StableDiffusionInpaintPipeline
• ControlNet：StableDiffusionControlNetPipeline
• AnimateDiff：AnimateDiffPipeline

理解了上方这几个Pipeline，我们后续就很好对任意的pipeline进行修改和自定义了，无论是需要图像生成结构控制，还是局部重绘，亦或是需要视频生成一致性控制，都可以有一个很好的理解。

对于每个pipeline，我将按照如下方式展开：

• 首先，进行组件的介绍__init__。
• 然后，按照pipeline的执行顺序__call__，分模块的讲解实现代码和原理。

【注意：SD作为经典的Pipeline我放在前面讲解，后面的Pipeline的某些代码，如果和SD相同，我将不再重复讲解，如果有细微差别，我会专门讲解】

题外话：我们看那典中典的五行代码，最后一行pipeline(xxx)，代表着我们用这个对象的名称作为一个函数的调用，那么这种用法就会自动调用StableDiffusionPipeline类中的__call__()函数。事实上，Diffusers库中的大多数类我们首先就要看__init__()函数和__call__()函数。

StableDiffusionInpaintPipeline

组件：

vae: Union[AutoencoderKL, AsymmetricAutoencoderKL],
text_encoder: CLIPTextModel,
tokenizer: CLIPTokenizer,
unet: UNet2DConditionModel,
scheduler: KarrasDiffusionSchedulers,
safety_checker: StableDiffusionSafetyChecker,
feature_extractor: CLIPImageProcessor,
image_encoder: CLIPVisionModelWithProjection = None,

加载模型

根据上节可知，StableDiffusionInpaintPipeline调用from_pretrained依次加载各个模块，再最后执行__init__()函数：这一段把所有模块组合起来，并为pipeline注册对应的配置信息(一个FrozenDict类self._internal_dict中)。

	def __init__(
        self,
        vae: Union[AutoencoderKL, AsymmetricAutoencoderKL