Stable Diffusion核心网络结构解析
- 1. SD模型整体架构初识
1. SD模型整体架构初识
Stable Diffusion模型整体上是一个End-to-End模型,主要由以下三个核心组件构成。
- VAE(变分自编码器,Variational Auto-Encoder),
- U-Net
- CLIP Text Encoder
{\cal L}{\mathrm{Autoencoder}}=\operatorname*{min}{\cal E,D}\operatorname*{max}{\psi}\left({\cal L}{r e c}(x,{\cal D}({\cal E}(x)))-{\cal L}{a d v}({\cal D}({\cal E}(x)))+\log{\cal D}{\psi}(x)+{\cal L}_{r e g}(x;{\cal E},{\cal D})\right) \