[1]Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013).

1-什么是VAE

1.1-目标

$\mathbf{x}$：为$\mathbf{z}$的采样，生成自条件分布$p_{{\theta }^{\ast }}(\mathbf{x}|\mathbf{z})$（${\theta }^{\ast }$表示ground truth而$\theta$表示解码器参数），；
$\mathbf{z}$：$\mathbf{x}$更本质的描述（不可直接观测），来自先验分布$p_{{\mathbf{\theta }}^{\ast }}(\mathbf{z})$；

目标是是根据$\mathbf{x}$能够得到$\mathbf{z}$:

1.2-Intractability:

• $\begin{array}{rcl}{p}_{\mathbf{\theta }}(\mathbf{x})& =& \int p_{\mathbf{\theta }}(\mathbf{z})p_{\mathbf{\theta }}(\mathbf{x}|\mathbf{z})d\mathbf{z}\end{array}$，因为在实际情况下，潜在变量$\mathbf{z}$的维度可能很高，或者先验分布$p_{{\mathbf{\theta }}^{\ast }}(\mathbf{z})$和条件分布$p_{{\theta }^{\ast }}(\mathbf{x}|\mathbf{z})$可能是复杂的非线性函数。因此，直接计算这个积分是不可行的。

VAE采用了一种变分推断的方法来近似计算这个积分。具体来说，VAE使用了变分下界（ELBO），通过优化ELBO来近似计算这个积分。这种方法将原本的推断问题转化为一个优化问题，并且通过优化方法（如随机梯度下降）来求解。尽管使用ELBO进行近似推断使得VAE的训练变得可行，但这仍然是一个近似方法，其精度取决于所选的变分分布族和优化算法的选择。

• $p_{\mathbf{\theta }}(\mathbf{z}|\mathbf{x})=p_{\mathbf{\theta }}(\mathbf{x}|\mathbf{z})p_{\mathbf{\theta }}(\mathbf{z})/p_{\mathbf{\theta }}(\mathbf{x})$中的$p_{\mathbf{\theta }}(\mathbf{x})$未知 （贝叶斯公式，在观察到数据后，对事件发生概率进行推断的过程，通过计算后验概率，根据观察到的数据进行推断，并更新对事件发生概率的认识）。

1.3-Approximation use NN:

$p_{\theta }(\mathbf{z}|\mathbf{x})\cong q_{\varphi }(\mathbf{z}|\mathbf{x})$，用KL散度评估两个分布的相似程度：
D K L ( q ϕ ( z ∣ x ) ∣ ∣ p θ ( z ∣ x ) ) = − ∑ z q ϕ ( z ∣ x ) log ⁡ ( p θ ( z ∣ x ) q ϕ ( z ∣ x ) ) = − ∑ z q ϕ ( z ∣ x