线性代数 --- 特征值与特征向量

特征值与特征向量

已知任意向量x，现有矩阵A对x进行操作后，得到新的向量Ax。这就好比是自变量x与函数f(x)的关系一样，向量x通过类似“函数”的处理得到了一个新的向量Ax。这个新的向量可能和原向量x方向相同，也可能不同(事实上大多都不同)。此外，新的向量与原向量的长度可能向量，也可能不同。而特征向量(Eigen vector)指的就是那些和原始向量x平行的那些Ax，这是线性代数所研究的两大问题的的另一个部分(在我看来，线性代数的两个主要方向一个是研究垂直，另一个就是这里的平行)。

特征向量与特征值的意义：

对于矩阵A而言，存在一些特殊的向量x，使得矩阵A作用于向量x之后所得到的Ax任然与原向量x平行(这里的平行可理解为与x的方向相同或正好相反)，得到:

$Ax=\lambda x$

满足上述描述的向量x，就被称为特征向量。其中，系数 $\lambda$ 是一个数，又叫特征值(Eigen value)，可以看成是向量x长度的一个倍数。可以是1，表示Ax=x即，矩阵A没有改变向量x的长度。可以是-5，即改变了x的方向和大小，可以是0.26，也可以是复数。

Tips：当特征值 $\lambda$ =0，且x不是零向量时，矩阵A应该满足什么条件呢？

答：若 $\lambda$ =0，则 $\lambda$ x为零向量，得到Ax=0。向量x属于A的零空间(左零空间)又不是平凡解零向量，则矩阵A必须是奇异矩阵(singular matrix)才能让非零向量x通过线性组合得到零向量。这样一来，我们就得出了一条重要推导，若矩阵A为奇异矩阵，即不可逆矩阵，则矩阵A的特征值包含0。(这里我们再补充一点，对于矩阵A而言，可以有多个特征向量，对应多个特征值)。

特征向量与特征值的性质：

1，n维度矩阵A有n个特征值。

2，这n个特征值的乘积等于矩阵A的行列式。

3，n个特征值的和等于矩阵A主对角线元素的和，这个和被称为Trace(迹)。

一些常见矩阵的特征向量与特征值：

1，投影矩阵P(projection matrix)

已知投影矩阵P可把任意向量投影到n维子空间S上，例如下图中，投影矩阵P作用于向量b上，得到了b在S上的投影Pb。

现在我们要问的是，对于投影矩阵P而言，他作用在什么向量x上，得到的结果依然与x平行？如果平行，这个新向量的长度是x的几倍呢(即,求 $\lambda$ )？根据特征向量的定义，投影矩阵P作用于x上后得到的Px应当平行于Px。那么对投影矩阵P而言，特征向量x必须是n维子空间S内的向量。因为，对子空间S内的任意向量x施加P矩阵，得到投影就是x自己。方向与x相同，且长度不变，即特征值为1。用数学表达式来表示就是：

$Px=x,\lambda =1$

此外，我们还知道当向量b垂直于子空间S时，b在S上的投影为零向量。因此，我们又发现了S空间之外的特征向量，即所有垂直于S空间的向量x，投影Px与x的方向相同，但长度为0。表达为数学公式就是：

$Px=0x\; or\; Px=0 ,\lambda =0$

小结：这里我们总结一下投影矩阵的特征向量与特征值，对于投影矩阵P而言，他的特征向量为投影矩阵P所投影的子空间内的所有向量和垂直于该子空间的所有向量。

2，置换矩阵(permutation matrix)

先看一个例子，已知置换矩阵A为(交换两个元素的位置)：

$A=\begin{bmatrix} 0 &1 \\ 1& 0 \end{bmatrix}$

同样，还是按照特征向量的定义出发，现有的置换矩阵A作用在哪个向量x上，才能使得新向量Ax平行于x？换句话说，就是要找到一个向量x，交换元素位置后仍然是x或 $\lambda$ 倍的x? 明显，如果向量x中的两个元素相同，则不论怎么交换两个元素的位置，得到的结果仍是x。

例如：

$x=\begin{bmatrix} 1\\ 1 \end{bmatrix}\Rightarrow Ax=\begin{bmatrix} 0 &1 \\ 1& 0 \end{bmatrix}\begin{bmatrix} 1\\ 1 \end{bmatrix}=\begin{bmatrix} 1\\ 1 \end{bmatrix}=x\Rightarrow \lambda =1$

因此，对于矩阵A而言，所有两个元素相同的向量x都是A的特征向量，且特征值为1。又因为，矩阵A为二维矩阵，因此，可能还存在一对特征向量与特征值。比如说，如果我们先令特征值为-1，那么就允许特征向量x中的元素大小相同但符号相反，这样一来，交换顺序再乘以-1后，得到的仍然还是x。

例如：

$x=\begin{bmatrix} 1\\ -1 \end{bmatrix}\Rightarrow Ax=\begin{bmatrix} 0 &1 \\ 1& 0 \end{bmatrix}\begin{bmatrix} 1\\ -1 \end{bmatrix}=\begin{bmatrix} -1\\ 1 \end{bmatrix}=-x\Rightarrow \lambda =-1$

小结：对于置换矩阵而言，那些交换元素位置后依然还是原始向量的向量就是A的特征向量，对应的特征值为1。而那些交换元素相应位置后，只改变了符号但不改变数值的向量，也是A的特征向量，他们所对应的特征值为-1。

对于一般矩阵A，如何找到他的特征值与特征向量？

Step I: Find λ first!

首先，我们有方程：

$Ax=\lambda x$

但这里有两个未知数，因此我们把上面的方程改写一下：

$Ax=\lambda x\Rightarrow Ax=\lambda Ix\Rightarrow (A-\lambda I)x=0$

这个齐次方程的解就是矩阵(A- $\lambda$ I)的零空间，抛开平凡解全0向量不说。要想让矩阵的零空间存在非零向量，则矩阵的A必为奇异矩阵，即不可逆矩阵。同时，结合之前学到的行列式的概念，若一个矩阵是奇异矩阵，则矩阵的行列式为0。这样一来，我们就不用考虑未知数x，也就是特征向量，先求未知数 $\lambda$ ，也就是特征值。如下：

$det(A-\lambda I)=0$