矩阵的因子分解1-奇异值分解

文章目录

矩阵的因子分解1-奇异值分解

矩阵的因子分解1-奇异值分解

题型：对 $\in \mathbb{C}^{m \times n}$ 进行奇异值分解 $\Sigma V^H$

题目中为简化计算，都是取 $\mathbb{C}^{m\times n}$ 的特殊情形： $\mathbb{R}^{m\times n}$ ，如下也是按照 $\mathbb{R}^{m\times n}$ 来展开的

求法归纳

求 $A^HA$ 的特征值和特征向量 ${\alpha_1,\alpha_2,\dots}$
单位化特征向量得到 $V$
用非零特征值求： $A$ 的奇异值 和 将奇异值按从大到小的顺序排列并形成对角矩阵 $\Sigma$
求 $AA^H$ 的特征值和特征向量 ${\beta_1,\beta_2,\dots}$
单位化特征向量得到 $U$
$\begin{pmatrix} \Sigma&0\\ 0&0 \end{pmatrix} V^H$

注：

$A^HA$ 和 $AA^H$ 均为对称矩阵，特征值均非负，且二者的非零特征值相同；不同特征值对应的特征向量正交
计算量大但推荐，不用通过 Gram-Schmidt 正交化方法补充单位向量

例1. 对矩阵 $\begin{pmatrix} 0 & 1 \\ -1 & 0 \\ 0 & 2 \\ 1 & 0 \end{pmatrix}$ 进行奇异值分解

1. 计算 $A^H A$ 的特征值和特征向量

$A^H A = \begin{pmatrix} 0 & -1 & 0 & 1 \\ 1 & 0 & 2 & 0 \end{pmatrix} \begin{pmatrix} 0 & 1 \\ -1 & 0 \\ 0 & 2 \\ 1 & 0 \end{pmatrix} = \begin{pmatrix} 2 & 0 \\ 0 & 5 \end{pmatrix}$

特征值为：

$\lambda_1 = 5, \quad \lambda_2 = 2$

对应的特征向量为：

$\alpha_1 = \begin{pmatrix} 0 \\ 1 \end{pmatrix}, \quad \alpha_2 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$

将特征向量单位化：

$v_1 = \frac{\alpha_1}{\|\alpha_1\|} = \begin{pmatrix} 0 \\ 1 \end{pmatrix}, \quad v_2 = \frac{\alpha_2}{\|\alpha_2\|} = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$

$\begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}$

2. 将奇异值按从大到小排列，并构造对角矩阵 $\Sigma$

奇异值是特征值的平方根
$\sigma_1 = \sqrt{5}, \quad \sigma_2 = \sqrt{2}$
则
$\Sigma = \begin{pmatrix} \sqrt{5} & 0 \\ 0 & \sqrt{2} \end{pmatrix}$

3. 计算 $A A^H$ 的特征值和特征向量

$A^H = \begin{pmatrix} 0 & 1 \\ -1 & 0 \\ 0 & 2 \\ 1 & 0 \end{pmatrix} \begin{pmatrix} 0 & -1 & 0 & 1 \\ 1 & 0 & 2 & 0 \end{pmatrix} = \begin{pmatrix} 1 & 0 & 2 & 0 \\ 0 & 1 & 0 & -1 \\ 2 & 0 & 4 & 0 \\ 0 & -1 & 0 & 1 \end{pmatrix}$

特征值为：

$\lambda_1 = 5, \quad \lambda_2 = 2, \quad \lambda_3 = 0, \quad \lambda_4 = 0$

对应的特征向量为：

$\beta_1 = \begin{pmatrix} 1 \\ 0 \\ 2 \\ 0 \end{pmatrix}, \quad \beta_2 = \begin{pmatrix} 0 \\ -1 \\ 0 \\ 1 \end{pmatrix}, \quad \beta_3 = \begin{pmatrix} 0 \\ 1 \\ 0 \\ 1 \end{pmatrix}, \quad \beta_4 = \begin{pmatrix} -2 \\ 0 \\ 1 \\ 0 \end{pmatrix}$

将特征向量单位化：

$u_1 = \frac{\beta_2}{\|\beta_2\|} = \begin{pmatrix} \frac{1}{\sqrt{5}} \\ 0 \\ \frac{2}{\sqrt{5}} \\ 0 \end{pmatrix}, \quad u_2 = \frac{\beta_1}{\|\beta_1\|} = \begin{pmatrix} 0 \\ -\frac{1}{\sqrt{2}} \\ 0 \\ \frac{1}{\sqrt{2}} \end{pmatrix}, \quad \\ u_3 = \frac{\beta_3}{\|\beta_3\|} = \begin{pmatrix} 0 \\ \frac{1}{\sqrt{2}} \\ 0 \\ \frac{1}{\sqrt{2}} \end{pmatrix}, \quad u_4 = \frac{\beta_4}{\|\beta_4\|} = \begin{pmatrix} -\frac{2}{\sqrt{5}} \\ 0 \\ \frac{1}{\sqrt{5}} \\ 0 \end{pmatrix}$

$\begin{pmatrix} \frac{1}{\sqrt{5}} & 0 & 0 & -\frac{2}{\sqrt{5}} \\ 0 & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\ \frac{2}{\sqrt{5}} &0 & 0 & \frac{1}{\sqrt{5}} \\ 0 &\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \end{pmatrix}$

4. 构造分解结果

根据奇异值分解公式：
$\begin{pmatrix} \Sigma & 0 \\ 0 & 0 \end{pmatrix} V^H$
其中：
$\Sigma = \begin{pmatrix} \sqrt{5} & 0 \\ 0 & \sqrt{2} \end{pmatrix}, \quad \begin{pmatrix} \Sigma & 0 \\ 0 & 0 \end{pmatrix} = \begin{pmatrix} \sqrt{5} & 0 \\ 0 & \sqrt{2} \\ 0 & 0 \\ 0 & 0 \end{pmatrix}$
因此，分解结果为：
$\begin{pmatrix} \sqrt{5} & 0\\ 0 & \sqrt{2} \\ 0 & 0 \\ 0 & 0 \end{pmatrix} V^H$