17.正交矩阵，$Schmidt$正交化

1. “标准”经常表示单位长度

2. 标准正交基：由两两正交的单位向量组成的基

   将标准正交基中的元素记作${\vec{q}}_1,{\vec{q}}_2,\cdots ,{\vec{q}}_n$

   有${\vec{q}}_i^T{\vec{q}}_j=\{\begin{array}{c}0,i\ne j\\ 1,i=j\end{array}$

   设$Q=\left[\begin{array}{ccc}|& \cdots & |\\ {\vec{q}}_1& \cdots & {\vec{q}}_n\\ |& \cdots & |\end{array}\right]$（此时$Q$不一定要是方阵），则$Q^{T}Q=\left[\begin{array}{ccc}-& {\vec{q}}_1^T& -\\ \cdots & \cdots & \cdots \\ -& {\vec{q}}_n^T& -\end{array}\right]\left[\begin{array}{ccc}|& \cdots & |\\ {\vec{q}}_1& \cdots & {\vec{q}}_n\\ |& \cdots & |\end{array}\right]=I$

3. 正交矩阵：乘上转置得到$I$的方阵，记作$Q$

   证明正交矩阵各列构成一个标准正交基：

   ​    当$i\ne j$时，$Q^{T}Q$的第$i$行第$j$列等于$0$，即${\vec{q}}_i^T{\vec{q}}_j=0$，说明$Q$各列两两正交，又$Q^{T}Q$的第$i$行第$i$列为$1$，即${\vec{q}}_i^T{\vec{q}}_i={\vec{q}}_i^2=1$，可得$|{\vec{q}}_i|=1$，说明$Q$各列均为单位向量，因而$Q$各列为两两正交的单位向量

   由定义可知$Q^T=Q^{-1}$，所以$Q{Q}^T=Q{Q}^{-1}=I$，因而$Q^T,Q^{-1}$也为正交矩阵

   $Q$的列空间的投影矩阵$P=Q(Q^{T}Q{)}^{-1}{Q}^T=Q{Q}^T=I$

   因而求解$Q\vec{x}=\vec{b}$时，由$Q^T\vec{b}=Q^{T}Q\vec{x}$可得$\vec{x}=Q^T\vec{b}$

   所以$\vec{b}$在第$i$个基方向上的投影$x_i=rowiofQ\cdot \vec{b}={\vec{q}}_i^T\vec{b}$

   • 哈达玛矩阵：由$1,-1$构成的满足右乘其转置得到$nI$的方阵，记作$H$

     易证$nI$中的$n$为$H$的阶数

     与正交矩阵同理可知$H$各列两两正交，进而由定义可知$\frac{1}{\sqrt{n}}H$为正交矩阵

     哈达玛矩阵的阶数只能为$1,2$或$4$的倍数（但并不是所有$4$的倍数都可以）$（暂时不会证明）$

4. 格拉姆-施密特正交化

   • 考虑两个线性无关向量$\vec{a},\vec{b}$，先将二者正交化得到两个新向量$\vec{A},\vec{B}$

     正交化具体方法为：令其中一个保持不变，如$\vec{A}=\vec{a}$，将另一个向量投影到前者后用后者减去投影，得到的就是后者的正交化，如$\vec{B}=\vec{b}-\vec{A}\frac{{\vec{A}}^T\vec{b}}{{\vec{A}}^T\vec{A}}$

     再将正交化得到的向量标准化，即每个向量除以自己的模，得到一个标准正交基 { q ⃗ 1 , q ⃗ 2 } \{ \vec{q}_1 , \vec{q}_2 \} {q ​1​,q ​2​}，如${\vec{q}}_1=\frac{\vec{A}}{|\vec{A}|},{\vec{q}}_2=\frac{\vec{B}}{|\vec{B}|}$

   • 考虑将线性无关向量拓展至三个——$\vec{a},\vec{b},\vec{c}$

     正交化得到的向量增加一个$\vec{C}$

     设${\vec{C}}^{{}^{\prime }}=\vec{c}-\vec{A}\frac{{\vec{A}}^T\vec{c}}{{\vec{A}}^T\vec{A}}$，有$({\vec{C}}^{{}^{\prime }}{)}^T\vec{A}=0$

     设${\vec{C}}^{{}^{\prime \prime }}={\vec{C}}^{{}^{\prime }}-\vec{B}\frac{{\vec{B}}^T{\vec{C}}^{{}^{\prime }}}{{\vec{B}}^T\vec{B}}$，有${\overrightarrow{C^{{}^{\prime \prime }}}}^T\vec{B}=0$

     其中$\vec{B}\frac{{\vec{B}}^T{\vec{C}}^{{}^{\prime }}}{{\vec{B}}^T\vec{B}}$与$\vec{B}$共线，而$\vec{B}$与$\vec{A}$正交，因而$\vec{B}\frac{{\vec{B}}^T{\vec{C}}^{{}^{\prime }}}{{\vec{B}}^T\vec{B}}$与$\vec{A}$正交，又$({\vec{C}}^{{}^{\prime }}{)}^T\vec{A}=0$，所以$({\vec{C}}^{{}^{\prime \prime }}{)}^T\vec{A}=({\vec{C}}^{{}^{\prime }}-\vec{B}\frac{{\vec{B}}^T{\vec{C}}^{{}^{\prime }}}{{\vec{B}}^T\vec{B}})\vec{A}=0$，即${\vec{C}}^{{}^{\prime \prime }}$与$\vec{A}$正交，所以${\vec{C}}^{{}^{\prime \prime }}$与$\vec{B},\vec{A}$均正交，$\vec{C}={\vec{C}}^{{}^{\prime \prime }}$

     下证$\vec{B}\frac{{\vec{B}}^T{\vec{C}}^{{}^{\prime }}}{{\vec{B}}^T\vec{B}}=\vec{B}\frac{{\vec{B}}^T\vec{c}}{{\vec{B}}^T\vec{B}}$

     等式左右分别表示${\vec{C}}^{{}^{\prime }},\vec{c}$在$\vec{B}$的投影，$\vec{c}$的投影由${\vec{C}}^{{}^{\prime }},\vec{A}\frac{{\vec{A}}^T\vec{c}}{{\vec{A}}^T\vec{A}}$的投影两部分组成，而后者与$\vec{A}$共线，即与$\vec{B}$正交，投影为$\vec{0}$，所以$\vec{c}$的投影与${\vec{C}}^{{}^{\prime }}$的投影一致，即$\vec{B}\frac{{\vec{B}}^T{\vec{C}}^{{}^{\prime }}}{{\vec{B}}^T\vec{B}}=\vec{B}\frac{{\vec{B}}^T\vec{c}}{{\vec{B}}^T\vec{B}}$

     $\therefore \vec{C}=\vec{c}-\vec{A}\frac{{\vec{A}}^T\vec{c}}{{\vec{A}}^T\vec{A}}-\vec{B}\frac{{\vec{B}}^T\vec{c}}{{\vec{B}}^T\vec{B}}$（如果$\vec{A},\vec{B}$不正交，是无法这样得到与两者都正交的分向量的）

     当然最后还是要除以模

   • 将最初和最终的向量分别按列摆放组合为两个矩阵$A=\left[\begin{array}{ccc}|& |& \cdots \\ {\vec{a}}_1& {\vec{a}}_2& \cdots \\ |& |& \cdots \end{array}\right],Q=\left[\begin{array}{ccc}|& |& \cdots \\ {\vec{q}}_1& {\vec{q}}_2& \cdots \\ |& |& \cdots \end{array}\right]$

     设$A=QR$，有$Q^{T}A=Q^{T}QR$，可得$R=Q^{T}A$

     思考得到每个$\vec{q}$的过程不难发现${\vec{a}}_1,{\vec{a}}_2,\cdots ,{\vec{a}}_i$与${\vec{q}}_1,{\vec{q}}_2,\cdots ,{\vec{q}}_i$线性组合所能得到的空间是一致的，而$q_i$之后的向量会正交于${\vec{q}}_1,{\vec{q}}_2,\cdots ,{\vec{q}}_i$中的每一个，即正交于这个空间中的每一个向量，因此想要对$\vec{q}$线性组合得到${\vec{a}}_i$，无法使用到${\vec{q}}_i$之后的$\vec{q}$，即它们在$R$中的对应参数为$0$，所以$R$为一个上三角阵，且其对角线上的元素为对应的未标准化的新向量的模

打赏

制作不易，若有帮助，欢迎打赏！