机器学习数学基础：14.矩阵的公式

1. 操作顺序可交换

对于矩阵 $A$ ，若存在两种运算 $?$ 和 $?$ ，使得 $A^{?})^{?}\ =(A^{?})^{?}$ ，这意味着这两种运算的顺序可以交换。由此我们得到以下三个重要等式：

$A^{*})^{-1}\ =(A^{-1})^{*}$ ：
- 已知伴随矩阵与逆矩阵的关系 $A^{*} \ = |A|A^{-1}$ 。
- 对于 $A^{*})^{-1}$ ，将 $A^{*} \ = |A|A^{-1}$ 代入可得 $A|A^{-1})^{-1}$ 。
- 根据逆矩阵性质 $(kA)^{-1}\ =\frac{1}{k}A^{-1}$ （这里 $\ = |A|$ ），则 $(|A|A^{-1})^{-1}\ =\frac{1}{|A|}(A^{-1})^{-1}$ 。
- 又因为 $A^{-1})^{-1}\ =A$ ，所以 $\frac{1}{|A|}(A^{-1})^{-1}\ =\frac{1}{|A|}A$ 。
- 对于 $A^{-1})^{*}$ ，由 $A^{*} \ = |A|A^{-1}$ 可得 $A^{-1})^{*}\ =|A^{-1}|(A^{-1})^{-1}$ 。
- 已知 $|A^{-1}|\ =\frac{1}{|A|}$ ，所以 $(A^{-1})^{*}\ =\frac{1}{|A|}(A^{-1})^{-1}\ =\frac{1}{|A|}A$ 。
- 综上， $A^{*})^{-1}\ =(A^{-1})^{*}$ 。
$A^{T})^{*}\ =(A^{*})^{T}$ ：
- 设 $A\ =(a_{ij})$ ，则 $A^{T}\ =(a_{ji})$ 。
- 伴随矩阵 $A^{*}$ 的元素 $A^{*})_{ij}\ =A_{ji}$ （其中 $A_{ij}$ 是 $A$ 的代数余子式）。
- 对于 $A^{T})^{*}$ ，其元素 $A^{T})^{*})_{ij}\ =(A^{T})_{ji}$ 的代数余子式。
- 而 $A^{T})_{ji}\ =A_{ij}$ ，所以 $A^{T})^{*})_{ij}$ 实际上是 $A_{ij}$ 的代数余子式。
- 对于 $A^{*})^{T}$ ， $A^{*})^{T}$ 的元素 $A^{*})^{T})_{ij}\ =(A^{*})_{ji}$ ，而 $A^{*})_{ji}$ 也是 $A_{ij}$ 的代数余子式。
- 所以 $A^{T})^{*}\ =(A^{*})^{T}$ 。
$A^{-1})^{T}\ =(A^{T})^{-1}$ ：
- 因为 $AA^{-1}\ =E$ ，两边同时取转置，根据 $AB)^{T}\ =B^{T}A^{T}$ ，可得 $AA^{-1})^{T}\ =(A^{-1})^{T}A^{T}\ =E^{T}\ =E$ 。
- 由逆矩阵定义，若 $\ = E$ ，则 $B \ = A^{-1}$ ，所以 $A^{-1})^{T}$ 是 $A^{T}$ 的逆矩阵，即 $A^{-1})^{T}\ =(A^{T})^{-1}$ 。

2. 整体操作要对调

对于两个矩阵 $A$ 和 $B$ ，若满足 $AB)^{?}\ =B^{?}A^{?}$ ，则有以下等式：

$AB)^{-1}\ =B^{-1}A^{-1}$ ：
- 因为 $AB)(B^{-1}A^{-1}) \ = A(BB^{-1})A^{-1}$ （矩阵乘法结合律）。
- 而 $BB^{-1}\ =E$ ，所以 $A(BB^{-1})A^{-1}\ =AEA^{-1}\ =AA^{-1}\ =E$ 。
- 同理 $B^{-1}A^{-1})(AB)\ =B^{-1}(A^{-1}A)B \ = B^{-1}EB \ = B^{-1}B \ = E$ 。
- 根据逆矩阵定义，若 $\ = E$ 且 $\ = E$ ，则 $B$ 是 $A$ 的逆矩阵，所以 $AB)^{-1}\ =B^{-1}A^{-1}$ 。
$AB)^{T}\ =B^{T}A^{T}$ ：
- 设 $A\ =(a_{ij})$ 是 $m\times n$ 矩阵， $B\ =(b_{ij})$ 是 $n\times p$ 矩阵，则 $A B$ 的 $(i, j)$ 元素为 $\sum_{k \ = 1}^{n}a_{ik}b_{kj}$ 。
- 那么 $AB)^{T}$ 的 $(i, j)$ 元素为 $\sum_{k \ = 1}^{n}a_{jk}b_{ki}$ 。
- 对于 $B^{T}A^{T}$ ， $B^{T}$ 是 $p\times n$ 矩阵， $A^{T}$ 是 $n\times m$ 矩阵， $B^{T}A^{T}$ 的 $(i, j)$ 元素为 $\sum_{k \ = 1}^{n}(B^{T})_{ik}(A^{T})_{kj}\ =\sum_{k \ = 1}^{n}b_{ki}a_{jk}$ 。
- 所以 $AB)^{T}\ =B^{T}A^{T}$ 。
$AB)^{*}\ =B^{*}A^{*}$ ：
- 已知 $A^{*} \ = |A|A^{-1}$ ， $B^{*} \ = |B|B^{-1}$ 。
- 那么 $AB)^{*}\ =|AB|(AB)^{-1}$ 。
- 因为 $\ = |A||B|$ ， $AB)^{-1}\ =B^{-1}A^{-1}$ ，所以 $AB)^{*}\ =|A||B|B^{-1}A^{-1}$ 。
- 又因为 $B^{*}A^{*}\ =|B|B^{-1}|A|A^{-1}\ =|A||B|B^{-1}A^{-1}$ 。
- 所以 $AB)^{*}\ =B^{*}A^{*}$ 。

3. 重复操作会还原

$A^{T})^{T}\ =A$ ：
- 设 $A\ =(a_{ij})$ ，则 $A^{T}\ =(a_{ji})$ 。
- 对 $A^{T}$ 再取转置， $A^{T})^{T}$ 的 $(i, j)$ 元素就是 $A^{T}$ 的 $(j, i)$ 元素，即 $a_{ij}$ 。
- 所以 $A^{T})^{T}\ =A$ 。
$A^{-1})^{-1}\ =A$ ：
- 由逆矩阵定义，若 $\ = E$ ，则 $B \ = A^{-1}$ 。
- 因为 $AA^{-1}\ =E$ ，那么对于 $A^{-1}$ ，存在矩阵 $A$ 使得 $A^{-1}A \ = E$ 。
- 所以 $A$ 是 $A^{-1}$ 的逆矩阵，即 $A^{-1})^{-1}\ =A$ 。

4. 转置的优良性

$A^{T}| \ = |A|$ ：
- 行列式的定义是基于矩阵元素的一种运算，转置只是行列互换，其本质上的代数运算关系不变。
- 从行列式的展开式角度来看， $A$ 的行列式展开式与 $A^{T}$ 的行列式展开式完全相同，所以 $A^{T}| \ = |A|$ 。
$kA)^{T}\ =kA^{T}$ ：
- 设 $A\ =(a_{ij})$ ，则 $kA\ =(ka_{ij})$ 。
  - $kA)^{T}$ 的 $(i, j)$ 元素为 $ka_{ji})$ 。
- 而 $kA^{T}$ 的 $(i, j)$ 元素为 $k(a_{ji})$ 。
- 所以 $kA)^{T}\ =kA^{T}$ 。
$A + B)^{T}\ =A^{T}+B^{T}$ ：
- 设 $A\ =(a_{ij})$ ， $B\ =(b_{ij})$ ，则 $A + B\ =(a_{ij}+b_{ij})$ 。
  - $A + B)^{T}$ 的 $(i, j)$ 元素为 $a_{ji}+b_{ji})$ 。
  - $A^{T}\ =(a_{ji})$ ， $B^{T}\ =(b_{ji})$ ，所以 $A^{T}+B^{T}$ 的 $(i, j)$ 元素为 $a_{ji}+b_{ji}$ 。
- 因此 $A + B)^{T}\ =A^{T}+B^{T}$ 。

同时需要注意，一般情况下 $B)^{-1}\neq A^{-1}+B^{-1}$ 且 $B)^{*}\neq A^{*}+B^{*}$ ，通过简单的反例可以说明。例如，取 $A\ =\begin{pmatrix}1&0\\0&1\end{pmatrix}$ ， $B\ =\begin{pmatrix}-1&0\\0&-1\end{pmatrix}$ ，则 $B\ =\begin{pmatrix}0&0\\0&0\end{pmatrix}$ ， $A + B)^{-1}$ 不存在，而 $A^{-1}\ =\begin{pmatrix}1&0\\0&1\end{pmatrix}$ ， $B^{-1}\ =\begin{pmatrix}-1&0\\0&-1\end{pmatrix}$ ， $A^{-1}+B^{-1}\ =\begin{pmatrix}0&0\\0&0\end{pmatrix}$ ，两者不相等。对于伴随矩阵也可类似举例说明。

5. 逆矩阵的定义

由 $AA^{-1}\ =E$ 可得：

$|A^{-1}|\ =\frac{1}{|A|}$ ：
- 因为 $AA^{-1}\ =E$ ，两边取行列式，根据 $\ = |A||B|$ ，可得 $AA^{-1}| \ = |A||A^{-1}| \ = |E|$ 。
- 而 $\ = 1$ ，所以 $|A^{-1}|\ =\frac{1}{|A|}$ 。
$(kA)^{-1}\ =\frac{1}{k}A^{-1}$ （ $k\neq0$ ）：
- 因为 $(kA)(\frac{1}{k}A^{-1}) \ = k\cdot\frac{1}{k}AA^{-1}\ =AA^{-1}\ =E$ 。
- 根据逆矩阵定义，若 $\ = E$ ，则 $B$ 是 $A$ 的逆矩阵，所以 $(kA)^{-1}\ =\frac{1}{k}A^{-1}$ 。

6. 伴随矩阵的推导

已知 $C^{*}\ =|C|C^{-1}$ ，对于矩阵 $A$ 有 $A^{*}\ =|A|A^{-1}$ ，由此可得：

$kA)^{*}\ =k^{n - 1}A^{*}$ ：
- 首先 $kA)^{*}\ =|kA|(kA)^{-1}$ 。
- 因为 $kA| \ = k^{n}|A|$ （ $n$ 为矩阵 $A$ 的阶数）， $(kA)^{-1}\ =\frac{1}{k}A^{-1}$ 。
- 所以 $(kA)^{*}\ =k^{n}|A|\cdot\frac{1}{k}A^{-1}\ =k^{n - 1}|A|A^{-1}$ 。
- 又因为 $A^{*}\ =|A|A^{-1}$ ，所以 $kA)^{*}\ =k^{n - 1}A^{*}$ 。
$A^{*}|\ =|A|^{n - 1}$ ：
- 已知 $A^{*}\ =|A|A^{-1}$ ，则 $A^{*}|\ =||A|A^{-1}|$ 。
- 根据 $kA| \ = k^{n}|A|$ ，这里 $\ = |A|$ ，所以 $A|A^{-1}| \ = |A|^{n}|A^{-1}|$ 。
- 又因为 $|A^{-1}|\ =\frac{1}{|A|}$ ，所以 $|A|^{n}|A^{-1}| \ = |A|^{n}\frac{1}{|A|}\ =|A|^{n - 1}$ 。
- 即 $A^{*}|\ =|A|^{n - 1}$ 。
$A^{*})^{*}\ =|A|^{n - 2}A$ ：
- 由 $A^{*}\ =|A|A^{-1}$ ，可得 $A^{*})^{*}\ =|A^{*}|(A^{*})^{-1}$ 。
- 已知 $A^{*}|\ =|A|^{n - 1}$ ， $(A^{*})^{-1}\ =(|A|A^{-1})^{-1}\ =\frac{1}{|A|}(A^{-1})^{-1}$ 。
- 因为 $A^{-1})^{-1}\ =A$ ，所以 $(A^{*})^{-1}\ =\frac{1}{|A|}A$ 。
- 则 $(A^{*})^{*}\ =|A|^{n - 1}\cdot\frac{1}{|A|}A \ = |A|^{n - 2}A$ 。