【矩阵论】Chapter 2—内积空间知识点总结复习

文章目录

  • 内积空间
    • 1 内积空间
    • 2 标准正交向量集
    • 3 Gram-Schmidt正交化方法
    • 4 正交子空间
    • 5 最小二乘问题
    • 6 正交矩阵和酉矩阵

内积空间

1 内积空间

  • 内积空间定义

    V V V是在数域 F F F上的向量空间,则 V V V F F F的一个代数运算记为 ( α , β ) (\alpha,\beta) (α,β)。如果 ( α , β ) (\alpha,\beta) (α,β)满足以下条件:

    1. ( α , β ) = ( β , α ) ‾ (\alpha,\beta)=\overline{(\beta,\alpha)} (α,β)=(β,α) ‾ \overline{} 表示共轭符,针对复数域,为了保证复数运算的正确性
    2. ( α + β , γ ) = ( α , γ ) + ( β , γ ) (\alpha+\beta,\gamma)=(\alpha,\gamma)+(\beta,\gamma) (α+β,γ)=(α,γ)+(β,γ)
    3. ( k α , β ) = k ( α , β ) (k\alpha,\beta)=k(\alpha,\beta) (kα,β)=k(α,β)
    4. ( α , α ) ≥ 0 (\alpha,\alpha)\geq 0 (α,α)0,当且仅当 α = 0 \alpha=0 α=0时, ( α , α ) = 0 (\alpha,\alpha)=0 (α,α)=0

    其中 k ∈ F , α , β , γ ∈ V k\in F,\alpha,\beta,\gamma\in V kF,α,β,γV。则称 ( α , β ) (\alpha,\beta) (α,β) α \alpha α β \beta β的内积。定义了内积的向量空间 V V V称为内积空间。特别地,称实数域 R R R上的内积空间 V V V为Euclid空间(欧式空间);称复数域 C C C上的内积空间 V V V为酉空间。

  • 标准内积

    1. 在实数域 R R R上的 n n n维向量空间 R n R^n Rn中,对向量 x = ( x 1 , ⋯   , x n ) T , y = ( y 1 , ⋯   , y n ) T x=(x_1,\cdots,x_n)^T,y=(y_1,\cdots,y_n)^T x=(x1,,xn)T,y=(y1,,yn)T,定义内积
      ( x , y ) = y T x = ( y 1 ⋯ y n ) ( x 1 ⋮ x n ) = ∑ i = 1 n x i y i (x,y)=y^Tx=\begin{pmatrix}y_1&\cdots &y_n\end{pmatrix}\begin{pmatrix}x_1\\ \vdots \\ x_n\end{pmatrix}=\sum_{\\i=1}^nx_iy_i (x,y)=yTx=(y1yn) x1xn =i=1nxiyi

    2. 在复数域 C C C上的 n n n维向量空间 C n C^n Cn,对向量 x = ( x 1 , ⋯   , x n ) T , y = ( y 1 , ⋯   , y n ) T x=(x_1,\cdots,x_n)^T,y=(y_1,\cdots,y_n)^T x=(x1,,xn)T,y=(y1,,yn)T,定义内积
      ( x , y ) = y H x = ( y 1 ˉ ⋯ y n ˉ ) ( x 1 ⋮ x n ) = ∑ i = 1 n x i y i ˉ (x,y)=y^Hx=\begin{pmatrix}\bar{y_1}&\cdots &\bar{y_n}\end{pmatrix}\begin{pmatrix}x_1\\ \vdots \\ x_n\end{pmatrix}=\sum_{\\i=1}^nx_i\bar{y_i} (x,y)=yHx=(y1ˉynˉ) x1xn =i=1nxiyiˉ
      其中 y H y^H yH表示 y y y的共轭转置。

    以上两个内积我们称为 R n R^n Rn C n C^n Cn的标准内积,一般我们探讨的也就是标准内积。

  • 重要定义

    u , v u,v u,v是内积空间 V V V的向量

    1. v v v的长度或范数为: ∣ ∣ v ∣ ∣ = ( v , v ) ||v||=\sqrt{(v,v)} ∣∣v∣∣=(v,v) ,长度为 1 1 1的称为单位向量。如果 v ≠ 0 v\neq 0 v=0,则 v ∣ ∣ v ∣ ∣ \frac{v}{||v||} ∣∣v∣∣v是一个单位向量
    2. 如果 v ≠ 0 v\neq 0 v=0,则 u u u v v v上的数量投影被定义为: α = ( u , v ) ∣ ∣ v ∣ ∣ \alpha=\frac{(u,v)}{||v||} α=∣∣v∣∣(u,v) u u u v v v上的向量投影被定义为: p = α v ∣ ∣ v ∣ ∣ = ( u , v ) ( v , v ) v p=\alpha\frac{v}{||v||}=\frac{(u,v)}{(v,v)}v p=α∣∣v∣∣v=(v,v)(u,v)v
    3. 如果 ( u , v ) = 0 (u,v)=0 (u,v)=0,则称 u u u v v v正交
  • 内积的基本性质

    u , v ∈ V u,v\in V u,vV,其中 V V V是内积空间,则

    1. 勾股定理:如果 u ⊥ v u\perp v uv,则 ∣ ∣ u − v ∣ ∣ 2 = ∣ ∣ u ∣ ∣ 2 + ∣ ∣ v ∣ ∣ 2 ||u-v||^2=||u||^2+||v||^2 ∣∣uv2=∣∣u2+∣∣v2

      证明:
      ∣ ∣ u − v ∣ ∣ 2 = ( u − v , u − v ) = ( u , u − v ) + ( − v , u − v ) = ( u , u ) − ( u , v ) − ( v , u ) + ( v , v ) = ( u , u ) − ( u , v ) − ( u , v ) ‾ + ( v , v ) ||u-v||^2=(u-v,u-v)=(u,u-v)+(-v,u-v)\\=(u,u)-(u,v)-(v,u)+(v,v)=(u,u)-(u,v)-\overline{(u,v)}+(v,v) ∣∣uv2=(uv,uv)=(u,uv)+(v,uv)=(u,u)(u,v)(v,u)+(v,v)=(u,u)(u,v)(u,v)+(v,v)

      image-20231201125638852

    2. 柯西不等式: ∣ ( u , v ) ∣ ≤ ∣ ∣ u ∣ ∣   ∣ ∣ v ∣ ∣ |(u,v)|\leq ||u||\space ||v|| (u,v)∣∣u∣∣ ∣∣v∣∣。等式成立当且仅当 u u u v v v线性相关。

      证明:

      如果 u , v u,v u,v线性相关,则设 u = k v , k ∈ F u=kv,k\in F u=kv,kF,则 ( u , v ) = ( k v , v ) = k ∣ ∣ v ∣ ∣ 2 (u,v)=(kv,v)=k||v||^2 (u,v)=(kv,v)=k∣∣v2

      如果 u , v u,v u,v线性无关,设 z = u − ( u , v ) ( v , v ) v z=u-\frac{(u,v)}{(v,v)}v z=u(v,v)(u,v)v,则 ( z , v ) = ( u − ( u , v ) ( v , v ) v , v ) = ( u , v ) − ( u , v ) ( v , v ) ( v , v ) = 0 (z,v)=(u-\frac{(u,v)}{(v,v)}v,v)=(u,v)-\frac{(u,v)}{(v,v)}(v,v)=0 (z,v)=(u(v,v)(u,v)v,v)=(u,v)(v,v)(u,v)(v,v)=0,则 z z z v v v正交。转换得到 u = z + ( u , v ) ( v , v ) v u=z+\frac{(u,v)}{(v,v)}v u=z+(v,v)(u,v)v,根据正交性,结合勾股定理则 ∣ ∣ u ∣ ∣ 2 = ∣ ∣ z ∣ ∣ 2 + ∣ ( u , v ) ( v , v ) ∣ 2 ∣ ∣ v ∣ ∣ 2 = ∣ ∣ z ∣ ∣ 2 + ∣ ( u , v ) ∣ 2 ( ∣ ∣ v ∣ ∣ 2 ) 2 ∣ ∣ v ∣ ∣ 2 = ∣ ∣ z ∣ ∣ 2 + ∣ ( u , v ) ∣ 2 ∣ ∣ v ∣ ∣ 2 ||u||^2=||z||^2+|\frac{(u,v)}{(v,v)}|^2||v||^2=||z||^2+\frac{|(u,v)|^2}{(||v||^2)^2}||v||^2=||z||^2+\frac{|(u,v)|^2}{||v||^2} ∣∣u2=∣∣z2+(v,v)(u,v)2∣∣v2=∣∣z2+(∣∣v2)2(u,v)2∣∣v2=∣∣z2+∣∣v2(u,v)2

      又因为 ∣ ∣ z ∣ ∣ 2 > 0 ||z||^2> 0 ∣∣z2>0(线性无关, ∣ ∣ z ∣ ∣ 2 ||z||^2 ∣∣z2必大于 0 0 0),则 ∣ ( u , v ∣ < ∣ ∣ u ∣ ∣   ∣ ∣ v ∣ ∣ |(u,v|<||u||\space ||v|| (u,v<∣∣u∣∣ ∣∣v∣∣

    3. 三角不等式: ∣ ∣ u + v ∣ ∣ 2 ≤ ∣ ∣ u ∣ ∣ 2 + ∣ ∣ v ∣ ∣ 2 ||u+v||^2\leq ||u||^2+||v||^2 ∣∣u+v2∣∣u2+∣∣v2

      证明:
      ∣ ∣ u + v ∣ ∣ 2 = ( u + v , u + v ) = ( u , u + v ) + ( v , u + v ) = ( u , u ) + ( u , v ) + ( v , u ) + ( v , v ) = ( u , u ) + ( u , v ) + ( u , v ) ‾ + ( v , v ) ≤ ∣ ∣ u ∣ ∣ 2 + 2 ∣ ( u , v ) ∣ + ∣ ∣ v ∣ ∣ 2 ≤ ∣ ∣ u ∣ ∣ 2 + 2 ∣ ∣ u ∣ ∣   ∣ ∣ v ∣ ∣ + ∣ ∣ v ∣ ∣ 2 = ( ∣ ∣ u ∣ ∣ + ∣ ∣ v ∣ ∣ ) 2 ||u+v||^2=(u+v,u+v)=(u,u+v)+(v,u+v)\\=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+\overline{(u,v)}+(v,v)\\ \leq ||u||^2+2|(u,v)|+||v||^2 \leq ||u||^2+2||u||\space ||v||+||v||^2=(||u||+||v||)^2 ∣∣u+v2=(u+v,u+v)=(u,u+v)+(v,u+v)=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+(u,v)+(v,v)∣∣u2+2∣(u,v)+∣∣v2∣∣u2+2∣∣u∣∣ ∣∣v∣∣+∣∣v2=(∣∣u∣∣+∣∣v∣∣)2

    4. 平行四边形准则: ∣ ∣ u + v ∣ ∣ 2 + ∣ ∣ u − v ∣ ∣ 2 = 2 ( ∣ ∣ u ∣ ∣ 2 + ∣ ∣ v ∣ ∣ 2 ) ||u+v||^2+||u-v||^2=2(||u||^2+||v||^2) ∣∣u+v2+∣∣uv2=2(∣∣u2+∣∣v2)

      证明:
      ∣ ∣ u − v ∣ ∣ 2 = ( u − v , u − v ) = ( u , u − v ) + ( − v , u − v ) = ( u , u ) − ( u , v ) − ( v , u ) + ( v , v ) = ( u , u ) − ( u , v ) − ( u , v ) ‾ + ( v , v ) ∣ ∣ u + v ∣ ∣ 2 = ( u + v , u + v ) = ( u , u + v ) + ( v , u + v ) = ( u , u ) + ( u , v ) + ( v , u ) + ( v , v ) = ( u , u ) + ( u , v ) + ( u , v ) ‾ + ( v , v ) ∣ ∣ u + v ∣ ∣ 2 + ∣ ∣ u − v ∣ ∣ 2 = 2 ( u , u ) + 2 ( v , v ) = 2 ( ∣ ∣ u ∣ ∣ 2 + ∣ ∣ v ∣ ∣ 2 ) ||u-v||^2=(u-v,u-v)=(u,u-v)+(-v,u-v)\\=(u,u)-(u,v)-(v,u)+(v,v)=(u,u)-(u,v)-\overline{(u,v)}+(v,v)\\ ||u+v||^2=(u+v,u+v)=(u,u+v)+(v,u+v)\\=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+\overline{(u,v)}+(v,v)\\ ||u+v||^2+||u-v||^2=2(u,u)+2(v,v)=2(||u||^2+||v||^2) ∣∣uv2=(uv,uv)=(u,uv)+(v,uv)=(u,u)(u,v)(v,u)+(v,v)=(u,u)(u,v)(u,v)+(v,v)∣∣u+v2=(u+v,u+v)=(u,u+v)+(v,u+v)=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+(u,v)+(v,v)∣∣u+v2+∣∣uv2=2(u,u)+2(v,v)=2(∣∣u2+∣∣v2)

2 标准正交向量集

  • 正交向量集定义

    v 1 , ⋯   , v n v_1,\cdots,v_n v1,,vn是内积空间 V V V中的非零向量,如果 V V V中的任意两个向量 ( v i , v j ) = 0 ( i ≠ j ) (v_i,v_j)=0(i\neq j) (vi,vj)=0(i=j),则 V V V是一个正交向量集。

  • 标准正交向量集定义

    如果 V V V是一个正交向量集,且 V V V中的所有向量都是单位向量,即 ( v i , v i ) = 1 (v_i,v_i)=1 (vi,vi)=1,则 V V V是一个标准正交向量集。

  • 正交向量集性质

    如果 v 1 , ⋯   , v n v_1,\cdots,v_n v1,,vn是内积空间 V V V的一个正交向量集,则 v 1 , ⋯   , v n v_1,\cdots,v_n v1,,vn都是线性无关的。

  • 正交基和标准正交基

    n n n维内积空间中,由 n n n个正交向量组成的基称为正交基,由 n n n个标准正交向量组成的基称为标准正交基。

  • 标准正交基表示向量坐标

    u 1 , ⋯   , u n u_1,\cdots,u_n u1,,un是内积空间 V V V的一个标准正交基,如果 v = ∑ i = 1 n c i u i v=\sum_{\\i=1}^nc_iu_i v=i=1nciui,则 c i = ( v , u i ) c_i=(v,u_i) ci=(v,ui)其中 c i c_i ci为向量 v v v在向量 u i u_i ui的标量投影。

  • Parseval公式

    u 1 , ⋯   , u n u_1,\cdots,u_n u1,,un是内积空间 V V V的一个标准正交基,如果 u = ∑ i = 1 n a i u i , v = ∑ i = 1 n b i u i u=\sum_{\\i=1}^na_iu_i,v=\sum_{\\i=1}^nb_iu_i u=i=1naiui,v=i=1nbiui,则 ( u , v ) = ∑ i = 1 n a i b i ˉ (u,v)=\sum_{\\i=1}^na_i\bar{b_i} (u,v)=i=1naibiˉ。并且, ∣ ∣ v ∣ ∣ 2 = ∑ i = 1 n b i b i ˉ = ∑ i = 1 n ∣ b i ∣ 2 ||v||^2=\sum_{\\i=1}^n b_i\bar{b_i}=\sum_{i=1}^n|b_i|^2 ∣∣v2=i=1nbibiˉ=i=1nbi2

  • 正交投影向量定义

    如果 S S S是内积空间 V V V的子空间,令 b ∈ V b\in V bV,如果存在向量 p ∈ S , q p\in S,q pS,q,使得 q ⊥ S , b = p + q q\perp S,b=p+q qS,b=p+q,则称 p p p b b b在子空间 S S S上的正交投影向量。

    image-20231201142420065

    u 1 , ⋯   , u n u_1,\cdots ,u_n u1,,un S S S的标准正交基,如果 p = ∑ i = 1 n ( b , u i ) u i p=\sum_{\\i=1}^n(b,u_i)u_i p=i=1n(b,ui)ui,则

    1. b − p b-p bp s s s的任意一个向量正交

    2. p p p S S S中唯一一个最接近 b b b的向量。也就是说 ∀ y ∈ S , y ≠ p \forall y\in S,y \neq p yS,y=p,有 ∣ ∣ y − b ∣ ∣ > ∣ ∣ p − b ∣ ∣ ||y-b||>||p-b|| ∣∣yb∣∣>∣∣pb∣∣。向量 p p p b b b在子空间 S S S上的正交投影向量。

      image-20231201143528483
  • 投影矩阵

    S S S是内积空间 F n F^n Fn的非零子空间, b ∈ F n b\in F^n bFn u 1 , ⋯   , u n u_1,\cdots,u_n u1,,un S S S的标准正交基, U = { u 1 , ⋯   , u n } U=\{u_1,\cdots,u_n\} U={u1,,un},则 b b b在子空间 S S S的正交投影 p = U U H b p=UU^Hb p=UUHb,其中 U U U则是投影矩阵。

3 Gram-Schmidt正交化方法

α 1 , ⋯   , α n \alpha_1,\cdots,\alpha_n α1,,αn是向量空间 V V V的线性无关向量组。我们按照以下步骤标准正交化得到标准正交向量组 β 1 , ⋯   , β n \beta_1,\cdots,\beta_n β1,,βn

  1. 单位化向量 α 1 \alpha_1 α1,得到 β 1 = α 1 ∣ ∣ α 1 ∣ ∣ \beta_1=\frac{\alpha_1}{||\alpha_1||} β1=∣∣α1∣∣α1。易知 s p a n ( α 1 ) = s p a n ( β 1 ) span(\alpha_1)=span(\beta_1) span(α1)=span(β1)
  2. 找到 α 2 \alpha_2 α2 s p a n ( β 1 ) span(\beta_1) span(β1)上的向量投影 p 1 = ( α 2 , β 1 ) β 1 p_1=(\alpha_2,\beta_1)\beta_1 p1=(α2,β1)β1,根据推导可知 α 2 − p 1 \alpha_2-p_1 α2p1 s p a n ( β 1 ) span(\beta_1) span(β1)正交。我们对其单位化得到 β 2 = α 2 − p 1 ∣ ∣ α 2 − p 1 ∣ ∣ \beta_2=\frac{\alpha_2-p_1}{||\alpha_2-p_1||} β2=∣∣α2p1∣∣α2p1。易得 s p a n ( α 1 , α 2 ) = s p a n ( β 1 , β 2 ) span(\alpha_1,\alpha_2)=span(\beta_1,\beta_2) span(α1,α2)=span(β1,β2)
  3. 找到 α 3 \alpha_3 α3 s p a n ( β 1 , β 2 ) span(\beta_1,\beta_2) span(β1,β2)上的向量投影 p 2 = ( α 3 , β 1 ) β 1 + ( α 3 , β 2 ) β 2 p_2=(\alpha_3,\beta_1)\beta_1+(\alpha_3,\beta_2)\beta_2 p2=(α3,β1)β1+(α3,β2)β2,根据推导可知 α 3 − p 2 \alpha_3-p_2 α3p2 s p a n ( β 1 , β 2 ) span(\beta_1,\beta_2) span(β1,β2)正交。我们对其单位化得到 β 3 = α 3 − p 2 ∣ ∣ α 3 − p 2 ∣ ∣ \beta_3=\frac{\alpha_3-p_2}{||\alpha_3-p_2||} β3=∣∣α3p2∣∣α3p2。易得 s p a n ( α 1 , α 2 , α 3 ) = s p a n ( β 1 , β 2 , β 3 ) span(\alpha_1,\alpha_2,\alpha_3)=span(\beta_1,\beta_2,\beta_3) span(α1,α2,α3)=span(β1,β2,β3)
  4. 如上进行操作, α i \alpha_i αi S i − 1 = s p a n ( α 1 , ⋯   , α i ) = s p a n ( β 1 , ⋯   , β i ) S_{i-1}=span(\alpha_1,\cdots,\alpha_i)=span(\beta_1,\cdots,\beta_i) Si1=span(α1,,αi)=span(β1,,βi)的向量投影 p i − 1 = ( α i , β 1 ) β 1 + ⋯ + ( α i , β i − 1 ) β i − 1 p_{i-1}=(\alpha_i,\beta_1)\beta_1+\cdots+(\alpha_i,\beta_{i-1})\beta_{i-1} pi1=(αi,β1)β1++(αi,βi1)βi1,则 α i − p i − 1 \alpha_i-p_{i-1} αipi1 S i − 1 S_{i-1} Si1正交。所以对其单位化得到 β i = α i − p i − 1 ∣ ∣ α i − p i − 1 ∣ ∣ \beta_i=\frac{\alpha_i-p_{i-1}}{||\alpha_i-p_{i-1}||} βi=∣∣αipi1∣∣αipi1。易得 s p a n ( α 1 , ⋯   , α i ) = s p a n ( β 1 , ⋯   , β i ) span(\alpha_1,\cdots,\alpha_{i})=span(\beta_1,\cdots,\beta_{i}) span(α1,,αi)=span(β1,,βi)
  5. 直到求得 β n \beta_n βn,得到标准正交向量组 β 1 , ⋯   , β n \beta_1,\cdots,\beta_n β1,,βn

4 正交子空间

  • 正交子空间定义

    X , Y X,Y X,Y是内积空间 V V V的子空间,如果 ∀ x ∈ X , y ∈ Y \forall x\in X,y\in Y xX,yY ( x , y ) = 0 (x,y)=0 (x,y)=0,则 X X X Y Y Y正交,我们记作 X ⊥ Y X\perp Y XY

  • 正交补定义

    Y Y Y是内积空间 V V V的子空间,则 V V V中与 Y Y Y的每个向量正交的所有向量称为 Y ⊥ Y^{\perp} Y Y ⊥ = { x ∈ V ∣ ∀ y ∈ Y , ( x , y ) = 0 } Y^\perp =\{x\in V|\forall y\in Y,(x,y)=0 \} Y={xV∣∀yY,(x,y)=0}

  • 正交子空间定理

    如果 V 1 V_1 V1 V 2 V_2 V2正交,则 V 1 + V 2 V_1+V_2 V1+V2的和为直和。

  • 正交补性质

    S S S为有限维内积空间 V V V的子空间,则:

    1. V = S ⊕ S ⊥ V=S\oplus S^\perp V=SS。并且如果 V = S ⊕ W , W ⊥ S V=S\oplus W,W\perp S V=SW,WS,则 W = S ⊥ W=S^\perp W=S
    2. ( S ⊥ ) ⊥ = S (S^{\perp})^{\perp}=S (S)=S
  • 向量到子空间的最小距离

    S S S为有限维内积空间 V V V的子空间, ∀ b ∈ V \forall b\in V bV,则 S S S 中的给定向量 p p p 与给定向量 b b b 最接近,当且仅当 b − p ⊥ S ⊥ b-p\perp S^{\perp} bpS。即 p p p b b b S S S上的向量投影。

  • 矩阵的基本子空间

    A A A m × n m\times n m×n矩阵,则

    N ( A ) = { x ∈ F n ∣ A x = 0 } N(A)=\{x\in F^n|Ax=0\} N(A)={xFnAx=0} A A A的零空间, F n F^n Fn的子空间。

    R ( A ) = A x ∣ x ∈ F n R(A)={Ax|x\in F^n} R(A)=AxxFn A A A的列空间, F m F^m Fm的子空间。

    N ( A H ) N(A^H) N(AH) A H A^H AH的零空间, F m F^m Fm的子空间。

    R ( A H ) R(A^H) R(AH) A H A^H AH的列空间, F n F^n Fn的子空间。

    N ( A ) = R ( A H ) ⊥ , N ( A h ) = R ( A ) ⊥ N(A)=R(A^H)^\perp,N(A^h)=R(A)^\perp N(A)=R(AH),N(Ah)=R(A)

    F n = N ( A ) ⊕ N ( A ) ⊥ = N ( A ) ⊕ R ( A H ) F^n=N(A)\oplus N(A)^\perp=N(A)\oplus R(A^H) Fn=N(A)N(A)=N(A)R(AH)

    dim ⁡ ( F n ) = dim ⁡ ( N ( A ) ) + dim ⁡ ( R ( A H ) ) \dim(F^n)=\dim(N(A))+\dim(R(A^H)) dim(Fn)=dim(N(A))+dim(R(AH))

5 最小二乘问题

  • 问题定义

    设线性系统 A x = b Ax=b Ax=b,其中 A ∈ F m × n A\in F^{m\times n} AFm×n,可能不相容(无解)。我们能否找到一个最佳解,即向量 x ^ \hat{x} x^使得 A x ^ − b = min ⁡ x ∈ F n ∣ ∣ A x − b ∣ ∣ A\hat{x}-b=\min_{\\x\in F^n}||Ax-b|| Ax^b=minxFn∣∣Axb∣∣

  • 问题核心

    找到向量 x ^ \hat{x} x^即是使得 A x ^ A\hat{x} Ax^等于 b b b R ( A ) R(A) R(A)上的向量投影。

    image-20231201154345326
  • 最小二乘解等价条件

    1. x ^ \hat{x} x^ A x = b Ax=b Ax=b的最小二乘解
    2. A x ^ − b = min ⁡ x ∈ F n ∣ ∣ A x − b ∣ ∣ A\hat{x}-b=\min_{\\x\in F^n}||Ax-b|| Ax^b=minxFn∣∣Axb∣∣
    3. A x ^ A\hat{x} Ax^等于 b b b R ( A ) R(A) R(A)上的正交向量投影
    4. A x ^ − b ∈ R ( A ) ⊥ = N ( A H ) A\hat{x}-b\in R(A)^\perp =N(A^H) Ax^bR(A)=N(AH)
    5. A H ( A x ^ − b ) = 0 A^H(A\hat{x}-b)=0 AH(Ax^b)=0
    6. A H A x ^ = A H b A^HA\hat{x}=A^Hb AHAx^=AHb(正规方程)
  • 正规方程的相容性

    A ∈ F m × n A\in F^{m\times n} AFm×n,则正规方程 A H A x = A H b A^HAx=A^Hb AHAx=AHb有解,其为 A x = b Ax=b Ax=b的最小二乘解。

    最小二乘解不唯一,但是对于任意解 x , y x,y x,y A x = A y Ax=Ay Ax=Ay,且 A x Ax Ax A y Ay Ay都是 b b b R ( A ) R(A) R(A)上的向量投影。

  • 最小二乘解唯一解

    A ∈ F m × n A\in F^{m\times n} AFm×n,且 r a n k ( A ) = n rank(A)=n rank(A)=n(列满秩), b ∈ F n b\in F^n bFn,则正规方程 A H A x = A H b A^HAx=A^Hb AHAx=AHb有唯一解 x ^ = ( A H A ) − 1 A H b \hat{x}=(A^HA)^{-1}A^Hb x^=(AHA)1AHb x ^ \hat{x} x^ A x − b Ax-b Axb的唯一最小二乘解。

6 正交矩阵和酉矩阵

  • 正交矩阵定义

    A ∈ R n × n A\in R^{n\times n} ARn×n A A A的所有列向量构成 R n R^n Rn的标准正交集,具有 R n R^n Rn上的标准内积。

  • 酉矩阵定义

    A ∈ C n × n A\in C^{n\times n} ACn×n A A A的所有列向量构成 C n C^n Cn的标准正交集,具有 C n C^n Cn上的标准内积。

    易知,正交矩阵也是酉矩阵。

  • 正交矩阵和酉矩阵的充要条件

    A A A是正交矩阵当且仅当 A T A = I A^TA=I ATA=I

    A A A是酉矩阵当且仅当 A H A = I A^HA=I AHA=I

  • A ∈ C n × n A\in C^{n\times n} ACn×n,则以下条件等价

    1. A A A是酉矩阵
    2. A A A的列向量构成 C n C^n Cn的标准正交集
    3. A H A = I A^HA=I AHA=I
    4. A − 1 = A H A^{-1}=A^H A1=AH
    5. ∀ x , y ∈ C n , ( A x , A y ) = ( x , y ) \forall x,y \in C^n,(Ax,Ay)=(x,y) x,yCn,(Ax,Ay)=(x,y)
    6. ∀ x ∈ C n , ( A x , A x ) = ( x , x ) \forall x\in C^n,(Ax,Ax)=(x,x) xCn,(Ax,Ax)=(x,x)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/207762.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【GraphQL】PostGraphile简介

Introduction to PostGraphile 什么是PostGraphile&#xff1f; 如果您熟悉Spring Data JPA&#xff0c;那么理解PostGraphile将非常容易。但没关系。让我们来看看。PostgreSQL数据库是一个非常流行的高性能应用数据库。ProstGraphile与PostgreSQL数据库和GraphQL配合使用。 …

YOLOv5全网独家首发改进:SENetv2,Squeeze-Excitation模块融合Dense Layer,效果秒杀SENet

💡💡💡本文自研创新改进:SENet v2,针对SENet主要优化点,提出新颖的多分支Dense Layer,并与Squeeze-Excitation网络模块高效融合,融合增强了网络捕获通道模式和全局知识的能力 推荐指数:五星 收录 YOLOv5原创自研 https://blog.csdn.net/m0_63774211/catego…

安防监控系统的工作原理是什么?具体包含哪些组成部分?

关于安防监控系统&#xff0c;大家熟知的就是监控系统平台&#xff0c;其实不然&#xff0c;智能视频安防监控系统涵盖的内容非常多&#xff0c;今天小编就和大家一起来探讨一下。 安防监控视频系统主要分为以下7大类&#xff1a; 1、 摄像头采集图像 安防监控系统通常使用摄…

单片机实验(三)

前言 实验一&#xff1a;利用定时器T1的中断控制P1.7引脚输出音频信号&#xff0c;启动蜂鸣器发出一段熟悉的与众不同的具有10个音节的音乐音频。 实验二&#xff1a;使用定时器/计数器来实现一个LCD显示年、月、日、星期 、时、分、秒的电子表&#xff0c;要求时和分可以方便…

全系降3万,一把干到底,极越「智取」特斯拉

作者|德新 编辑|王博 11月30日&#xff0c;极越01官宣全系降价3万。 这意味着21.99万起步的极越01 Max&#xff0c;成为这个市场上入门门槛最低的带有城市智能驾驶辅助功能的车型。 要知道这是一台比Model Y大了一圈&#xff0c;全系配置了高阶智驾硬件&#xff0c;全系配高…

【Openstack Train安装】十二、Cinder安装

Cinder在块存储资源和计算服务&#xff08;Nova&#xff09;之间提供了一个抽象层。通过Cinder API&#xff0c;块存储可以被管理&#xff08;创建、销毁和分配等&#xff09;&#xff0c;而不需要知道提供存储的底层资源。 本文介绍Cinder安装步骤&#xff0c;Cinder需在控制节…

LeetCode(45)最长连续序列【哈希表】【中等】

目录 1.题目2.答案3.提交结果截图 链接&#xff1a; 最长连续序列 1.题目 给定一个未排序的整数数组 nums &#xff0c;找出数字连续的最长序列&#xff08;不要求序列元素在原数组中连续&#xff09;的长度。 请你设计并实现时间复杂度为 O(n) 的算法解决此问题。 示例 1&a…

Arduino、ESP8266、HTML相关知识点记录

C代码 const char *ssid "********"; // 这里定义将要建立的WiFi名称。 const char *password "********"; // 这里定义将要建立的WiFi密码。 多WiFi连接&#xff1a; wifiMulti.addAP("**…

USB Type-C的基本原理

1 USB Type-C的基本原理 1.1 基本特性 Figure 1-1 USB Type-C接头外形 USB Type-C&#xff08;简称USB-C&#xff09;的基本特性&#xff1a; 1. 接口插座的尺寸与原来的Micro-USB规格一样小&#xff0c;约为8.3mm X 2.5mm 2. 可承受1万次反复插拔 3. 支持正反均可插入的“正反…

Python 基本语法

目录 变量 变量的使用 变量命名规范 基本语法 注释 语句分隔符 缩进 Python编码规范&#xff08;PEP 8&#xff09; 输入输出函数 基本数据类型 整型和浮点型 布尔类型 字符串 字符串转义符 长字符串 格式化字符串 序列类型操作 内置方法 类型转换 运算符 …

Elasticsearch 的使用

一、简介 1.Shard&#xff08;分片&#xff09; 数据分散集群的架构模式&#xff0c;Elasticsearch 将一个 Index&#xff08;索引&#xff09;中的数据切为多个 Shard&#xff08;分片&#xff09;&#xff0c;分布在不同服务器节点上。 默认每个索引会分配5个主分片和1个副本…

2023接口测试面试题

http接口工具有很多如&#xff1a;postman、jmeter、soupUI、Javahttpclient、robotframeworkhttplibrary等 1、什么是接口 接口就是内部模块对模块&#xff0c;外部系统对其他服务提供的一种可调用或者连接的能力的标准 接口的种类和分类:webservice和http api接口 1&#…

Leetcod面试经典150题刷题记录——数组 / 字符串篇

数组 / 字符串篇 1. 合并两个有序数组Python3排序法双指针法 2. 删除有序数组中的重复元素3. H 指数Python3排序法计数排序法二分查找 有个技巧&#xff0c;若想熟悉语言的写法&#xff0c;可以照着其它语言的题解&#xff0c;写目标语言的代码&#xff0c;比如有C/C的题解&…

Qt开发 之 安装程序错误--安装进程(qt.tool.perl)的解决办法

文章目录 1、问题描述2、问题原因3、解决方案3.1、不关闭错误弹出窗口3.2、手动安装Perl3.3、安装Perl完成后&#xff0c;点击“ignore”继续安装 1、问题描述 Win11下&#xff0c;安装qt5.12.12时遇到“安装进程(qt.tools.perl)运行期间出现错误” 问题描述&#xff1a; Err…

表的创建和管理

表的创建和管理 一条数据的存储过程标识符的命名规则MySQL中的数据类型管理和创建数据库创建数据库使用数据库修改数据库 创建表创建方式1创建方式2查看数据表结构 修改表追加一个列修改一个列重命名一个列删除一个列 重命名表删除表清空表 一条数据的存储过程 存储数据是处理数…

语义分割—FCN网络 学习笔记 (附代码)

论文地址&#xff1a;https://arxiv.org/abs/1411.4038 代码地址&#xff1a;https://gitcode.com/mirrors/wzmiaomiao/deep-learning-for-image-processing/overview?utm_sourcecsdn_github_accelerator 1.是什么&#xff1f; 全卷积网络&#xff08;Fully Convolutional N…

解决 from . import _imaging as core ImportError: DLL load failed: 找不到指定的模块。

升级pillow版本就完事了 卸载掉之前的旧版本 conda uninstall pillow升级到新的版本就解决了 pip uninstall pillow 那个错误就解决了

项目实战-编写ssm整合配置文件

1、父工程pom.xml <properties><maven.compiler.source>17</maven.compiler.source><maven.compiler.target>17</maven.compiler.target><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><spring.version>…

【Android知识笔记】架构专题(三)

如何用工程手段,提高写代码的生产力?(元编程) 即如何写同样多的代码,花费更少的时间?如何自动生成代码,哪种代码可以被自动生成?哪些环节能够作为自动生成代码的切入点? 代码自动生成技术 代码自动生成,指的并不是让计算机凭自己的意愿生成代码。而是让预先实现好…

Unity 注释的方法

1、单行注释&#xff1a;使用双斜线&#xff08;//&#xff09;开始注释&#xff0c;后面跟注释内容。通常注释一个属性或者方法&#xff0c;如&#xff1a; //速度 public float Speed;//打印输出 private void DoSomething() {Debug.Log("运行了我"); } …