来自 论文《 Denoising Diffusion Probabilistic Model》(DDPM)
论文链接: https://arxiv.org/abs/2006.11239
Hung-yi Lee 课件整理
一、 q ( x t ∣ x t − 1 ) q(x_{t} \mid x_{t-1} ) q(xt∣xt−1)的计算
第一行的图示给出了
x
t
x_{t}
xt 和
x
t
−
1
x_{t-1}
xt−1的关系,这里的
β
t
\beta_{t}
βt是事先准备好的值,从
β
1
\beta_{1}
β1 到
β
T
\beta_{T}
βT,这个值相当于超参数,是可以调整的。
噪声是从一个均值为0,方差为1的高斯分布中sample出来的。
实际上这里的
q
(
x
t
∣
x
t
−
1
)
q(x_{t} \mid x_{t-1} )
q(xt∣xt−1)服从高斯分布,它的均值是它的均值是
1
−
β
t
∗
x
t
\sqrt{1-\beta_{t} } *x_{t}
1−βt∗xt,方差是
β
t
\sqrt{\beta_{t} }
βt。
要怎么计算
q
(
x
t
∣
x
0
)
q(x_{t} \mid x_{0} )
q(xt∣x0)呢,我们想象中是图片下面表示的这样,是一步一步依次产生的。
实际上这个概率是可以直接计算出来的。
依照上面,我们把 x 1 x_{1} x1和 x 2 x_{2} x2分别用图示表示出来,他们彼此的噪声的分布是相互独立的,没有关系的。
接下来我们把第一行的
x
1
x_{1}
x1带入第二行的
x
1
x_{1}
x1;
这样得到
x
2
x_{2}
x2和
x
0
x_{0}
x0的表达式,也就是第三行。
这样我们得到了 x 2 x_{2} x2的表示,后面两项的分布是一样的,只是系数不同,我们可以只采样一次,把系数合并就可以了,得到黄色噪声图前面的系数。
依此类推,整个过程可以全部合起来,得到
x
t
x_{t}
xt的表示。
为了简化,我们把
α
t
\alpha _{t}
αt写成
1
−
β
t
1-\beta _{t}
1−βt, 把
α
ˉ
t
\bar{ \alpha }_{t}
αˉt写成
α
1
α
2
.
.
.
α
t
\alpha _{1}\alpha _{2}...\alpha _{t}
α1α2...αt, 这样就可以把红色方框里面的数值用方框下面的符号简化表达。