11 GMM——高斯混合模型

11.1 模型介绍

从几何角度来说：

• 高斯混合模型表示：加权平均——由多个高斯分布混合叠加而成，如图
  

• 公式可以表达为：
  $$p(x)=\sum _{i=1}^K{\alpha }_i\cdot N(x|{\mu }_i,{\Sigma }_i),\sum _{i=1}^K{\alpha }_i=1$$

若从混合模型的角度来说：

• 数据可以表示为：
  { x : X = { x i } i = 1 N z : Z = { z i } i = 1 N { z ∈ { C 1 , C 2 , … , C K } P ( z ) ∈ { p 1 , p 2 , … , p K } \begin{cases} x: X = {\lbrace x_i \rbrace}_{i=1}^{N} \\ z: Z = {\lbrace z_i \rbrace}_{i=1}^{N} \\ \end{cases} \qquad \begin{cases} z \in {\lbrace C_1, C_2, \dots, C_K \rbrace} \\ P(z) \in {\lbrace p_1, p_2, \dots, p_K \rbrace} \\ \end{cases} {x:X={xi​}i=1N​z:Z={zi​}i=1N​​{z∈{C1​,C2​,…,CK​}P(z)∈{p1​,p2​,…,pK​}​

• 其中$x$表示ovserve variable，$z$表示latent variable

• 这里的隐变量$z$表示样本X分别属于哪一个高斯

从概率图的角度看，GMM是概率生成模型，可以从隐变量的分布中生成N个数据，如下图：

11.2 通过MLE估计参数

首先简单的导出一下GMM的公式（核心思想就是引入$z$）：
$$P(x)=\sum _{i=1}^{K}P(x,z=C_i)=\sum _{i=1}^{K}P(x,z=C_i)=\sum _{i=1}^{K}P(z=C_i)P(x|z=C_i)=\sum _{i=1}^K{p}_i\cdot N(x|{\mu }_i,{\Sigma }_i)$$
假设我们直接用MLE去进行参数求解，有：
$$\begin{array}{rl}{\hat{\theta }}_{MLE}& =arg\underset{\theta }{\max }\log P(X)\\ & =arg\underset{\theta }{\max }\sum _{i=1}^N\log P(x_i)\\ & =arg\underset{\theta }{\max }\sum _{i=1}^N\log \sum _{j=1}^K{p}_j\cdot N(x_i|{\mu }_j,{\Sigma }_j)\end{array}$$
我们发现公式中的对数还嵌套了累加运算，导致无法通过MLE求的解析解。

11.3 EM求解

由于无法求的解析解，我们只能通过近似方法求的近似解，通过GMM的性质，我们可以代入EM公式：