机器学习 - 初学者需要弄懂的一些线性代数的概念

一、单位矩阵

在数学中，单位矩阵是一个方阵，其主对角线上的元素全为1，其余元素全为0。单位矩阵在矩阵乘法中起到类似于数字1在数值乘法中的作用，即任何矩阵与单位矩阵相乘，结果仍为原矩阵本身。

单位矩阵的定义：

对于一个n阶单位矩阵，其形式如下：

其中，主对角线上的元素为1，其余元素为0。

单位矩阵的性质：

示例：

考虑一个2阶单位矩阵：

这表明，单位矩阵在矩阵乘法中起到恒等作用。

单位矩阵在数学和工程学中具有广泛的应用，尤其在解线性方程组、计算矩阵的逆以及进行线性变换时，单位矩阵都扮演着重要角色。

线性相关：

如果一组向量中，至少有一个向量可以表示为其他向量的线性组合，即存在一组不全为零的标量，使得这些向量的线性组合等于零向量，则称这组向量是线性相关的。

线性无关：

如果一组向量中，只有当所有标量都为零时，其线性组合才能等于零向量，则称这组向量是线性无关的。

通俗理解：

线性相关： 想象你有三根绳子，其中两根是平行的，第三根可以通过调整长度和方向，恰好与前两根平行或重合。此时，第三根绳子可以由前两根绳子的线性组合表示，因此这三根绳子是线性相关的。
线性无关： 如果三根绳子两两不平行，且不共线，那么无法通过调整长度和方向，将其中一根绳子表示为其他两根的线性组合。此时，这三根绳子是线性无关的。

数学定义：

矩阵的秩是线性代数中的一个重要概念，表示矩阵中线性无关的行或列的最大数量。

定义：

矩阵的秩可以通过以下几种方式定义：

计算方法：

计算矩阵的秩可以通过以下几种方法：

行（列）简化法：
- 通过初等行（列）变换，将矩阵化为行最简形式或列最简形式。
- 矩阵的秩等于其行最简形式或列最简形式中非零行（列）的数量。
子式法：
- 计算矩阵的所有子式，找到最大阶数的非零子式。
- 该子式的阶数即为矩阵的秩。
行列式法：
- 计算矩阵的行列式。
- 如果行列式不为零，则矩阵的秩等于其阶数；如果行列式为零，则需要进一步检查其子矩阵的行列式，直到找到非零行列式的子矩阵。

需要注意的是，矩阵的秩是其行空间和列空间的维度，具有深刻的几何意义。在实际应用中，矩阵的秩用于判断线性方程组的解的情况、分析线性变换的性质等。

矩阵的可逆性是线性代数中的一个重要概念，指的是一个方阵是否存在一个与之相乘得到单位矩阵的矩阵。

定义：

设 A 为 n×n 的方阵，如果存在一个 n×n 的矩阵 B，使得：

A×B=B×A=In

其中，In 是 n×n 的单位矩阵，则称矩阵 A 为可逆矩阵，B 为 A 的逆矩阵，记作 A^{-1}。

判断矩阵是否可逆的方法：

行列式法：
- 计算矩阵 A 的行列式 det⁡(A)。
- 如果 det⁡(A)≠0，则矩阵 A 可逆；如果 det⁡(A)=0，则矩阵 A 不可逆。
秩法：
- 计算矩阵 A 的秩 rank(A)。
- 如果 rank(A)=n，则矩阵 A 可逆；如果 rank(A)<n，则矩阵 A 不可逆。
特征值法：
- 计算矩阵 A 的特征值。
- 如果所有特征值均不为零，则矩阵 A 可逆；如果存在零特征值，则矩阵 A 不可逆。