生成模型之Flow-Based model

Flow-Based Model

文章目录

Flow-Based Model
- 简介
- 总览
- 数学基础
- - jacobian matrix
  - determinant行列式
  - Change of variable theorem
- 架构
- 常见几种方法
- - coupling layer
  - 采用1*1卷积进行channel shuffle

简介

Flow-Based对概率密度函数的直接建模，这使得它们在数据生成和推断方面具有优势，并且在潜在空间中的操作更加直观。但是，它们可能在处理复杂数据分布时受限，因为需要设计适合数据分布的逆变换

与其他生成模型原理区别：

Flow-based模型：这种模型通过学习数据的概率密度函数来进行生成。它们学习了数据的分布，并利用这种分布来生成新的样本。
VAE：变分自编码器利用潜在变量的分布来建模数据。它通过编码器将输入数据映射到潜在空间中，并通过解码器从潜在空间中的采样重建输入数据。
GAN：生成对抗网络通过生成器生成假样本，同时使用鉴别器来区分真实和假的样本。生成器和鉴别器相互竞争，以提高生成器生成逼真样本的能力。

总览

为了得到更好的generator，采用极大似然估计，最大化 $log^{P_G(x)}$ ,也就是最小化 $P_{data}$ 和 $P_G$ 两个分布之间的距离（KL散度）。

在这里插入图片描述

$\begin{aligned} \theta^{*} &=arg\max_{\theta}\prod_{i=1}^mP_G(x^i;\theta)=arg\max_{\theta}log\prod_{i=1}^mP_G(x^i;\theta) \\ &=arg\max_\theta\sum_{i=1}^mlogP_G(x^i;\theta)\quad\{x^1,x^2,...,x^m\}\operatorname{from}P_{data}(x) \\ &\approx arg\max_\theta E_{x\sim P_{data}}[logP_G(x;\theta)] \\ &=arg\max_\theta\int_xP_{data}(x)logP_G(x;\theta)dx-\int_xP_{data}(x)logP_{data}(x)dx \\ &=arg\min_{\theta}KL(P_{data}||P_{0}) \end{aligned}$

数学基础

jacobian matrix

2023-12-04_19-10-02

determinant行列式

给出行列式值的几何形式——面积、体积

Change of variable theorem

在这里插入图片描述
$\begin{aligned} &\left.p(x^{\prime})\left|det\begin{bmatrix}\Delta x_{11}&\Delta x_{21}\\\Delta x_{12}&\Delta x_{22}\end{bmatrix}\right.\right|=\pi(z^{\prime})\Delta z_{1}\Delta z_{2}\quad\mathrm{x=f(z)} \\ &\left.p(x^{\prime})\left|\frac{1}{\Delta z_{1}\Delta z_{2}}det\begin{bmatrix}\Delta x_{11}&\Delta x_{21}\\\Delta x_{12}&\Delta x_{22}\end{bmatrix}\right.\right|=\pi(z^{\prime}) \\ &\left.p(x^{\prime})\left|det\begin{bmatrix}\Delta x_{11}/\Delta z_{1}&\Delta x_{21}/\Delta z_{1}\\\Delta x_{12}/\Delta z_{2}&\Delta x_{22}/\Delta z_{2}\end{bmatrix}\right.\right|=\pi(z^{\prime}) \\ &\left.p(x')\left|\det\begin{bmatrix}\partial x_1/\partial z_1&\partial x_2/\partial z_1\\\partial x_1/\partial z_2&\partial x_2/\partial z_2\end{bmatrix}\right.\right|=\pi(z') \\ &\left.p(x^{\prime})\left|\det\begin{bmatrix}\partial x_1/\partial z_1&\partial x_1/\partial z_2\\\partial x_2/\partial z_1&\partial x_2/\partial z_2\end{bmatrix}\right.\right|=\pi(z^{\prime}) \\ &p(x^{\prime})|\det(J_{f})|=\pi(z^{\prime})\quad p(x^{\prime})=\pi(z^{\prime})\left|\frac{1}{\det(J_{f})}\right| \\ &p(x^{\prime})=\pi(z^{\prime})|det(J_{f^{-1}})| \end{aligned}$