• 多维高斯分布是一种特殊的多维随机分布，应用非常广泛，很多现实问题的原始特征分布都可以看作多维高斯分布。本文以数据特征服从多维高斯分布的多分类任务这一理想场景为例，从理论层面分析数据特征和分类问题难度的关系
• 注意，本文分析不涉及算法层面，仅仅是对数据特征的分析，实用意义不强，纯机器学习层面可能只对特征挖掘有点作用，工程层面可以指导探测器设计。本文主旨在于借助这个场景说明多维高斯分布的信息熵和KL散度计算方法
• 关于信息熵和KL散度（相对熵）的详细说明参考：信息论概念详细梳理：信息量、信息熵、条件熵、互信息、交叉熵、KL散度、JS散度

0. 场景

• 考虑一般的多分类机器学习场景：设目标识别算法的原始输入为 $x=(x,y,I,\lambda ,\theta ...)$，定义为 $k$ 维随机向量 $X=(X_1,X_2,\dots ,X_k)$，设检测目标类别数为 $n$

• 进一步假设 $X$ 是多维高斯分布，这意味着原始观测中每个维度都服从高斯分布。当 $n=4$ 时，多维随机变量 $X$ 沿维度 $f_0$ 和 $f_0-f_1$ 的边缘分布示意图如下，使用不同颜色代表不同类别数据
  

  绘图代码供参考：

  import numpy as np
  import matplotlib.pyplot as plt
  from matplotlib.patches import Ellipse
  
  # 高斯分布参数，f0和f1两个维度
  means_2d = [(0, 0), (2, 3), (4, 2), (6, 5)]
  covariances = [
      np.array([[0.35, 0.05], 
                [0.05, 0.35]]), 
      np.array([[0.75, 0.5], 
                [0.5, 0.75]]), 
      np.array([[0.2, 0.1], 
                [0.1, 0.2]]), 
      np.array([[1.25, -0.4], 
                [-0.4, 1.25]])
  ]
  colors = ['blue', 'green', 'red', 'purple']
  fig, (ax1, ax2) = plt.subplots(2, 1, figsize=(8, 8))
  
  # 绘制沿f0的的边缘分布
  means_1d = [m[0] for m in means_2d]
  std_devs = [c[0,0].item() for c in covariances]
  # 概率密度曲线
  x = np.linspace(-2, 10, 1000)
  for i, (mean, std_dev, color) in enumerate(zip(means_1d, std_devs, colors)):
      y = (1/(std_dev * np.sqrt(2 * np.pi))) * np.exp(-0.5 * ((x - mean) / std_dev)**2)
      ax1.plot(x, y, color=color, label=f'Class {i}')
  # 抽样样本用竖线表示
  for mean, std_dev, color in zip(means_1d, std_devs, colors):
      samples = np.random.normal(mean, std_dev, 20)
      ax1.vlines(samples, ymin=0, ymax=(1/(std_dev * np.sqrt(2 * np.pi))) * np.exp(-0.5 * ((samples - mean) / std_dev)**2), color=color, linestyle='-', alpha=0.2)
  # 图例和标题
  ax1.legend()
  ax1.set_title('Distribution of raw observation along feature $f_0$')
  ax1.set_xlabel('$f_0$')
  ax1.set_ylabel('Probability Density')
  
  
  # 绘制沿f0和f1的的二维边缘分布
  for mean, cov, color in zip(means_2d, covariances, colors):
      eigenvalues, eigenvectors = np.linalg.eigh(cov)
      order = eigenvalues.argsort()[::-1]
      eigenvalues, eigenvectors = eigenvalues[order], eigenvectors[:, order]
      angle = np.degrees(np.arctan2(*eigenvectors[:, 0][::-1]))
      width, height = 3 * np.sqrt(eigenvalues)
      ell = Ellipse(xy=mean, width=width, height=height, angle=angle, color=color, alpha=0.2)
      ax2.add_artist(ell)
  # 抽样样本用点表示
  for i, (mean, cov, color) in enumerate(zip(means_2d, covariances, colors)):
      samples = np.random.multivariate_normal(mean, cov, 100)
      ax2.scatter(samples[:, 0], samples[:, 1], color=color, s=4, label=f'Class {i}')
  # 添加图例和标题
  ax2.legend()
  ax2.set_title('Distribution of raw observation along feature $f_0$ & $f_1$')
  ax2.set_xlabel('$f_0$')
  ax2.set_ylabel('$f_1$')
  
  # 显示图形
  plt.tight_layout()
  plt.show()
  

• 注意图示为原始输入数据 $f$ 的样本分布情况，识别算法从中提取特征用于分类。注意到

  1. 数据 ${\mathcal{D}}_i$（分布 $p_i$ ）的集中程度描述了第 $i$ 类目标的原始特征强度。分布越集中，说明探测系统对第 $i$ 类目标的观测一致性越强，其受系统噪音和环境因素影响程度越小
  2. 不同数据 ${\mathcal{D}}_i$ 和 ${\mathcal{D}}_j$（分布 $p_i$ 和 $p_j$ ）之间的距离刻画了分布间差异程度。两类数据距离越大则差异越强，越容易区分。反之，若两类数据的原始数据分布有重叠（如 $p_1,p_2$），则理论上重叠部分的样本所属类别无法准确区分

• 为最大化识别准确率，从两方面考虑（以下准则可以用来指导探测器设计）

  1. 增大类内特征强度（同类数据尽量集中），形式化表示为最小化每一类数据分布信息熵的总和
  2. 增大类间特征差异（不同类数据尽量远离），形式化表示为最大化每一组数据分布相对熵（KL散度）的总和。值得注意的是，由于KL散度不对称，无法直接作为度量，这里还需要一些trick

1. 多维高斯分布

• 设原始输入为 $x=(x,y,I,\lambda ,\theta ...)$，定义为 $k$ 维随机向量 $X=(X_1,X_2,\dots ,X_k)$，设检测目标类别数为 $n$，第 $i$ 类目标的原始观测输入服从多维高斯分布，即：
  $$p_i(x)=p_i(x_1,...,x_k)=\frac{1}{(2\pi {)}^{n/2}\det ({\Sigma }_i{)}^{1/2}}{e}^{-\frac{1}{2}(\mathbf{x}-{\mu }_i{)}^{\top }{\mathbf{\Sigma }}_i^{-1}(\mathbf{x}-{\mu }_i)}\text{\hspace{1em}(1.1)}$$ 称随机向量 $X$ 服从期望为 ${\mu }_i$，协方差矩阵为 ${\Sigma }_i$ 的多维正态分布，记为 $X\sim N({\mu }_i,{\Sigma }_i)$。其中 ${\Sigma }_i$ 为协方差矩阵：
  $$\begin{array}{rl}{\Sigma }_i& =\left[\begin{array}{cccc}D{X}_1& \text{Cov}(X_1,X_2)& \dots & \text{Cov}(X_1,X_k)\\ \text{Cov}(X_2,X_1)& D{X}_2& \dots & \text{Cov}(X_2,X_k)\\ ⋮& ⋮& & ⋮\\ \text{Cov}(X_k,X_1)& \text{Cov}(X_k,X_2)& \dots & D{X}_k\end{array}\right]\\ & \\ & =\left[\begin{array}{cccc}{\sigma }_1^2& {\rho }_{12}{\sigma }_1{\sigma }_2& \dots & {\rho }_{1k}{\sigma }_1{\sigma }_k\\ {\rho }_{21}{\sigma }_2{\sigma }_1& {\sigma }_2^2& \dots & {\rho }_{2k}{\sigma }_2{\sigma }_k\\ ⋮& ⋮& & ⋮\\ {\rho }_{k,1}{\sigma }_k{\sigma }_1& {\rho }_{k,2}{\sigma }_k{\sigma }_2& \dots & {\sigma }_k^2\end{array}\right]\end{array}\text{\hspace{1em}(1.2)}$$
• 显然 $\Sigma$ 是实对称矩阵，通常情况下是正定矩阵（只要 $X_i$ 不为常数，其任意阶顺序主子式 > 0）。这种矩阵有一些良好性质，列举一些以便后续计算
  1. ${\Sigma }^{-1},{\Sigma }_1+{\Sigma }_2$ 也是正定对称矩阵
  2. 奇异值分解（SVD分解）结果和特征值分解（谱分解）一致，即有
     $$\Sigma =U\Lambda U^{\top }\text{\hspace{1em}(1.3)}$$ 其中 $U$ 是正交矩阵，$\Lambda$ 是对角阵且对角线上的元素是正的（正定矩阵），这意味着 $\Sigma$ 可以如下开方：
     $${\Sigma }^{\frac{1}{2}}=U{\Lambda }^{\frac{1}{2}}{U}^{\top }\text{\hspace{1em}(1.4)}$$ 且 ${\Sigma }^{\frac{1}{2}}$ 也是正定对称矩阵
• 多维高斯分布有以下基本统计量（期望、方差、二阶矩）
  $$\begin{array}{rl}{\mathbb{E}}_{\mathbf{x}}[\mathbf{x}]& =\int p(\mathbf{x})\mathbf{x}dx=\mathbf{\mu }\\ {\mathbb{E}}_{\mathbf{x}}\left[(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^{\top }\right]& =\int p(\mathbf{x})(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^{\top }dx=\mathbf{\Sigma }\\ {\mathbb{E}}_{\mathbf{x}}\left[\mathbf{x}{\mathbf{x}}^{\top }\right]& =\mathbf{\mu }{\mathbf{\mu }}^{\top }+{\mathbb{E}}_{\mathbf{x}}\left[(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^{\top }\right]=\mathbf{\mu }{\mathbf{\mu }}^{\top }+\mathbf{\Sigma }\end{array}\text{\hspace{1em}(1.5)}$$ 其中二阶矩就是普通随机变量常见结论 $\mathbb{E}(X^2)=\mathbb{E}(X{)}^2+D(X)$ 的多维扩展

2. 多维高斯分布的信息熵

• 设第 $i$ 类目标原始观测的分布 $p_i(x)=\mathcal{N}({\mu }_i,{\Sigma }_i)$，计算其信息熵
  $$\begin{array}{rl}{\mathcal{H}}_{p_i}& ={\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}[-\log p_i(\mathbf{x})]\\ & ={\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[\frac{n}{2}\log 2\pi +\frac{1}{2}\log \det \left({\Sigma }_i\right)+\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^{\top }{\mathbf{\Sigma }}_i^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)\right]\\ & =\frac{k}{2}\log 2\pi +\frac{1}{2}\log \det \left({\mathbf{\Sigma }}_i\right)+\frac{1}{2}{\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^{\top }{\mathbf{\Sigma }}_i^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)\right]\end{array}\text{\hspace{1em}(2.1)}$$ 最后一项的展开需要借助马哈拉诺比斯变换：对于任意服从多维高斯分布的随机向量 $X\sim \mathcal{N}(\mu ,\Sigma )$, 有随机向量 $Y={\Sigma }^{-\frac{1}{2}}(x-\mu )$ 是标准高斯分布，即 $Y\sim \mathcal{N}(0,I_k)$，注意到
  $$x={\Sigma }^{\frac{1}{2}}y+\mu \text{\hspace{1em}(2.2)}$$ 故有
  $$\begin{array}{rl}{\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^{\top }{\mathbf{\Sigma }}_i^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)\right]& ={\mathbb{E}}_{\mathbf{y}\sim p_i(\mathbf{y})}\left[{\left({\Sigma }_i^{\frac{1}{2}}\mathbf{y}\right)}^{\top }{\mathbf{\Sigma }}_i^{-1}\left({\Sigma }_i^{\frac{1}{2}}\mathbf{y}\right)\right]\\ & ={\mathbb{E}}_{\mathbf{y}\sim p_i(\mathbf{y})}\left[y^{\top }y\right]\\ & =\sum _{i=1}^k\mathbb{E}[y_i^2]\\ & =k\end{array}\text{\hspace{1em}(2.3)}$$
• 综上所述，有
  $$\begin{array}{rl}{\mathcal{H}}_{p_i}& =\frac{k}{2}\log 2\pi +\frac{1}{2}\log \det \left({\mathbf{\Sigma }}_i\right)+\frac{1}{2}k\\ & =\frac{k}{2}(1+\log 2\pi )+\frac{1}{2}\log \det ({\mathbf{\Sigma }}_{\mathbf{i}})\end{array}\text{\hspace{1em}(2.4)}$$

3. 两个多维高斯分布之间的相对熵（KL散度）

• 下面计算第 $i$ 类和第 $j$ 类目标原始观测的分布 $p_i(x),p_j(x)$ 之间的相对熵：
  $$\begin{array}{rl}{D}_{KL}(p_i||p_j)& ={\mathbb{E}}_{x\sim p_i(x)}\log \frac{p_i(x)}{p_j(x)}\\ & ={\mathbb{E}}_{x\sim p_i(x)}\log p_i(x)+E_{x\sim p_i(x)}[-\log p_j(x)]\\ & =-{\mathcal{H}}_{p_i}+E_{x\sim p_i(x)}[-\log p_j(x)]\end{array}\text{\hspace{1em}(3.1)}$$ 展开其中第二项：
  $$\begin{array}{rl}{\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}[-\log p_j(\mathbf{x})]& ={\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[\frac{n}{2}\log 2\pi +\frac{1}{2}\log \det \left({\Sigma }_j\right)+\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_j\right)}^{\top }{\mathbf{\Sigma }}_j^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_j\right)\right]\\ & =\frac{k}{2}\log 2\pi +\frac{1}{2}\log \det \left({\mathbf{\Sigma }}_j\right)+\frac{1}{2}{\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[{\left(\mathbf{x}-{\mathbf{\mu }}_j\right)}^{\top }{\mathbf{\Sigma }}_j^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_j\right)\right]\end{array}\text{\hspace{1em}(3.2)}$$
  进一步展开其中最后一项：
  $$\begin{array}{rl}{\mathbb{E}}_{\mathbf{x}\sim p(\mathbf{x})}\left[{\left(\mathbf{x}-{\mathbf{\mu }}_q\right)}^{\top }{\mathbf{\Sigma }}_q^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_q\right)\right]& ={\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[\mathrm{Tr}((\mathbf{x}-{\mathbf{\mu }}_j{)}^{\top }{\mathbf{\Sigma }}_j^{-1}(\mathbf{x}-{\mathbf{\mu }}_j))\right].\\ & ={\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_j\right){\left(\mathbf{x}-{\mathbf{\mu }}_j\right)}^{\top }\right)\right].\\ & =\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}{\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[\left(\mathbf{x}-{\mathbf{\mu }}_j\right){\left(\mathbf{x}-{\mathbf{\mu }}_j\right)}^{\top }\right]\right)\\ & =\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}{\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[\mathbf{x}{\mathbf{x}}^{\top }-{\mathbf{\mu }}_j{\mathbf{x}}^{\top }-\mathbf{x}{\mathbf{\mu }}_j^{\top }+{\mathbf{\mu }}_j{\mathbf{\mu }}_j^{\top }\right]\right)\\ & =\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}\left({\mathbf{\Sigma }}_i+{\mathbf{\mu }}_i{\mathbf{\mu }}_i^{\top }-{\mathbf{\mu }}_j{\mathbf{\mu }}_i^{\top }-{\mathbf{\mu }}_i{\mathbf{\mu }}_j^{\top }+{\mathbf{\mu }}_j{\mathbf{\mu }}_j^{\top }\right)\right)\\ & =\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}{\mathbf{\Sigma }}_i+{\mathbf{\Sigma }}_j^{-1}\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right){\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right)}^{\top }\right)\\ & =\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}{\mathbf{\Sigma }}_i\right)+\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right){\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right)}^{\top }\right)\\ & =\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}{\mathbf{\Sigma }}_i\right)+\mathrm{Tr}\left({\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right)}^{\top }{\mathbf{\Sigma }}_j^{-1}\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right)\right)\\ & =\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}{\mathbf{\Sigma }}_i\right)+{\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right)}^{\top }{\mathbf{\Sigma }}_j^{-1}\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right)\end{array}\text{\hspace{1em}(3.3)}$$ 注意到 $i=j$ 时上式等于 $k$，退化到式 (2.4)

• 综上所述，有
  $$\begin{array}{rl}{D}_{KL}(p_i\Vert p_j)& =-{\mathcal{H}}_{p_i}+E_{x\sim p_i(x)}[-\log p_j(x)]\\ & =-\left(\frac{k}{2}(1+\log 2\pi )+\frac{1}{2}\log \det ({\mathbf{\Sigma }}_{\mathbf{i}})\right)+\left(\frac{k}{2}\log 2\pi +\frac{1}{2}\log \det \left({\mathbf{\Sigma }}_j\right)+\frac{1}{2}{\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[{\left(\mathbf{x}-{\mathbf{\mu }}_j\right)}^{\top }{\mathbf{\Sigma }}_j^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_j\right)\right]\right)\\ & =\frac{1}{2}{\mathbb{E}}_{\mathbf{x}\sim p_i(\mathbf{x})}\left[{\left(\mathbf{x}-{\mathbf{\mu }}_j\right)}^{\top }{\mathbf{\Sigma }}_j^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_j\right)\right]+\frac{1}{2}\left[\log \det \left({\mathbf{\Sigma }}_j\right)-\log \det \left({\mathbf{\Sigma }}_i\right)-k\right]\\ & =\frac{1}{2}\left[\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}{\mathbf{\Sigma }}_i\right)+{\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right)}^{\top }{\mathbf{\Sigma }}_j^{-1}\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right)\right]+\frac{1}{2}\left[\log \frac{\det ({\Sigma }_j)}{\det ({\Sigma }_i)}-k\right]\\ & =\frac{1}{2}\left[\mathrm{Tr}\left({\mathbf{\Sigma }}_j^{-1}{\mathbf{\Sigma }}_i\right)+{\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right)}^{\top }{\mathbf{\Sigma }}_j^{-1}\left({\mathbf{\mu }}_i-{\mathbf{\mu }}_j\right)-\log \det \left({\mathbf{\Sigma }}_j^{-1}{\mathbf{\Sigma }}_i\right)-k\right]\end{array}\text{\hspace{1em}(3.4)}$$

• 根据定义，KL 散度是非对称的，因此不能当作一个度量使用，为了使其称为有效度量，对于任意分布 $p_i,p_j$，交互顺序计算两次 KL 散度，求和作为二者距离的度量，即
  $$\begin{array}{rl}{D}_{sym}(p_i,p_j)& =D_{KL}(p_i\Vert p_j)+D_{KL}(p_j\Vert p_i)\\ & =\frac{1}{2}\left[\mathrm{Tr}\left({\Sigma }_j^{-1}{\Sigma }_i\right)+\mathrm{Tr}\left({\Sigma }_i^{-1}{\Sigma }_j\right)\right]\\ & +\frac{1}{2}\left[{\left({\mu }_i-{\mu }_j\right)}^{\top }{\Sigma }_j^{-1}\left({\mu }_i-{\mu }_j\right)+{\left({\mu }_j-{\mu }_i\right)}^{\top }{\Sigma }_i^{-1}\left({\mu }_j-{\mu }_i\right)\right]\\ & -\frac{1}{2}\left[\mathrm{logdet}\left({\Sigma }_j^{-1}{\Sigma }_i\right)+\log \det \left({\Sigma }_i^{-1}{\Sigma }_j\right)\right]-k\\ & =\frac{1}{2}\left[\mathrm{Tr}\left({\Sigma }_j^{-1}{\Sigma }_i\right)+\mathrm{Tr}\left({\Sigma }_i^{-1}{\Sigma }_j\right)\right]+\frac{1}{2}{\left({\mu }_i-{\mu }_j\right)}^{\top }({\Sigma }_j^{-1}+{\Sigma }_i^{-1})\left({\mu }_i-{\mu }_j\right)-k\end{array}\text{\hspace{1em}(3.5)}$$

4 总结

• 最后，把结论式 (2.4) 和 (3.5) 回带第0节的优化目标中，引入优化协调系数 $\alpha \in [0,1]$，我们要最大化
  $$\begin{array}{rl}\max \mathcal{J}& =\max (1-\alpha )\sum _{i=1}^n-{\mathcal{H}}_{p_i}+\alpha \sum _{i\ne j}{D}_{sym}(p_i,p_j)\\ & =\max (\alpha -1)\sum _{i=1}^n{\mathcal{H}}_{p_i}+\alpha \sum _{i\ne j}{D}_{sym}(p_i,p_j)\\ & =\max (\alpha -1)\sum _{i=1}^n\left(\frac{k}{2}(1+\log 2\pi )+\frac{1}{2}\log \det ({\mathbf{\Sigma }}_{\mathbf{i}})\right)+\\ & \alpha \sum _{i\ne j}\left(\frac{1}{2}\left[\mathrm{Tr}\left({\Sigma }_j^{-1}{\Sigma }_i\right)+\mathrm{Tr}\left({\Sigma }_i^{-1}{\Sigma }_j\right)\right]+\frac{1}{2}{\left({\mu }_i-{\mu }_j\right)}^{\top }({\Sigma }_j^{-1}+{\Sigma }_i^{-1})\left({\mu }_i-{\mu }_j\right)-k\right)\\ & =\max (\alpha -1)\sum _{i=1}^n\log \det ({\mathbf{\Sigma }}_{\mathbf{i}})+\alpha \sum _{i\ne j}\left(\left[\mathrm{Tr}\left({\Sigma }_j^{-1}{\Sigma }_i\right)+\mathrm{Tr}\left({\Sigma }_i^{-1}{\Sigma }_j\right)\right]+{\left({\mu }_i-{\mu }_j\right)}^{\top }({\Sigma }_j^{-1}+{\Sigma }_i^{-1})\left({\mu }_i-{\mu }_j\right)\right)\end{array}\text{\hspace{1em}(4.1)}$$
  当任意第 $i$ 类目标原始观测分布 $p_i$ 为各项独立高斯分布时，有 ${\Sigma }_i$ 是对角矩阵，设为 ${\Sigma }_i=\text{diag}\left({\sigma }_{i1},{\sigma }_{i2},...,{\sigma }_{ik}\right)$，上式可表示为
  $$\begin{array}{rl}\max \mathcal{J}=\max & (\alpha -1)\sum _{i=1}^n\sum _{d=1}^k\log {\sigma }_{id}+\\ & \alpha \left(\sum _{i\ne j}\sum _{d=1}^k\left(\frac{{\sigma }_{id}}{{\sigma }_{jd}}+\frac{{\sigma }_{jd}}{{\sigma }_{id}}\right)+\sum _{i\ne j}{\left({\mu }_i-{\mu }_j\right)}^{\top }\left({\Sigma }_j^{-1}+{\Sigma }_i^{-1}\right)\left({\mu }_i-{\mu }_j\right)\right)\end{array}\text{\hspace{1em}(4.2)}$$
• 直观理解：
  1. $(\alpha -1){\sum }_{i=1}^n\log \det ({\mathbf{\Sigma }}_{\mathbf{i}})$：本项中 $(\alpha -1)<=0$，故此处希望每个分布 $p_i$ 的协方差矩阵行列式尽量小。协方差矩阵行列式的值反映了数据分布的总体不确定性,行列式越小，表示数据在各个维度上的分布越集中
  2. $\alpha {\sum }_{i\ne j}\left(\mathrm{Tr}\left({\Sigma }_j^{-1}{\Sigma }_i\right)+\mathrm{Tr}\left({\Sigma }_i^{-1}{\Sigma }_j\right)\right)$ ：矩阵的迹等于矩阵特征值之和，特征值代表线性变换对空间的拉伸程度，因此迹反映了线性变换对空间的拉伸和压缩的总量。 ${\Sigma }_j^{-1}{\Sigma }_i$ 可以看作对空间连续施加两个线性变换，${\Sigma }_j={\Sigma }_i$ 时对空间没有变换，此项取得最小，反之二者对空间每一维度拉伸和压缩程度差异越大（特征值比例越大）时，此项越大。故此项意味着不同分布的散布特性应尽量不同
  3. $\alpha {\sum }_{i\ne j}\left({\left({\mu }_i-{\mu }_j\right)}^{\top }({\Sigma }_j^{-1}+{\Sigma }_i^{-1})\left({\mu }_i-{\mu }_j\right)\right)$：本项表示均值向量之间的差异，权重由协方差矩阵的逆矩阵决定。它衡量了均值向量之间的方差加权距离