前沿：萬物皆矩陣！

Content

• 1 .Determination
• 2. Homogeneous equation and non-homogeneous equation of solution
• 3. Linear correlation and Linear independence
• 4. Solution Vector
• 5. Base solution group of linear equation group（線性方程組的基礎解系）
• 6. Engivalue and Engivector
• 7. Similar Matrics
• 8. Real Symmetric Matrix and Matrix of a quadratic form
• Vital understanding for Engivalue and Engivector Matrix（特徵值和特徵向量深層次理解）
• Refrence

  1.  Determinant

 Defination：不同行不同列n個數的乘積之和。

=======假設原先行列式的值:  |D|=A=======

==========================================

        性質1：任意兩行互換，|D|=-A

        性質2：把行列式中A的某行（或列）中元素同乘一數加到另一行，結果任為A。

        性質3：A = A^T，由行列式性質可知

        性質4：某行同乘K，結果為K*A

        性質5：任意兩行相同，行列式為0

應用：（1）求解非線性方程組，行列式|D|≠0，這非齊次方程有唯一解。

           （2）求解齊次方程，行列式|D|=0 ，則方程存在非零解。

           （3） |A|=0,可得：

                   1.A的行向量線性相關

                   2.A的列向量線性相關

                   3.方程組Ax =0 存在非零解

                   4.A的秩小於n

                   5.A不可逆

        5.2.1 齊次方程（Homogeneous equation），則   A * X = 0,     其中A是nxn矩陣，X是向量（x1，x2，x3，x4，...）

        For example：

                a11*x1+a12*x2+a13*x3+...a1n*xn = 0;

                a21*x1+a22*x2+a23*x3+...a2n*xn = 0;

                ...

                an1*x1+an2*x2+an3*x3+...ann*xn = 0;

        Coefficienct Matrix A = 

        Vector variable X = 

        Compose：                                         A*X =0;   (A和X都加粗表示矩陣和向量)

       特別的，其次方程一定有解，解為0，存在非零解的條件是 |A|= 0（線性相關）

     5.2.2 非齊次方程（Non-homogeneous equation）

          Expression： A * X =B

          Existence Situation of Solution：

              （1）無解   |A| = 0,化為上三角或下三角行列式，行列式中存在相同行，在B右邊值非0，則無解( rank(A) <rank(A,b))

              （2）有唯一解，rank(A(nxn)) = n = rank(A,B);

              （3）有無窮多個解 rank(A)=rank(A,b) < n         

             這裡涉及矩陣秩的概念，矩陣的秩的定義：是其行向量或列向量的極大無關組中包含向量的個數（行秩和列秩中的最小值）。

3.  Linear correlation and Linear independence

         根據齊次方程或非齊次方程解的型別，可以引出線性相關和線性無關的概念。

         線性相關：設 向量組A:{a1，a2，a3，...},若存在a1 = b1*a2+b2*a3+...bn*an,即an可以由其他向量表示，這杯認為線性相關。

        幾何意義：如向量B：（線性無關）

            代表基座標（1,0,0） ，（0,1,0），（0,0,1），這乘上向量X（x1，x2，x3），代表線性變換後的結果為在這個座標系下對

X進行變換的結果為（x1，x2，x3）。

4.   Solution Vector

       設R（A）=r；

       若B是Ax = 0 的解向量，則B是Ax = 0的基礎解析的子集，B能被AX=0的基礎解析線性表示。這R(B)<=R(A) = n -r     

5.  Base solution group of linear equation group  

        (5.1)設齊次線性方程組中AX =0  的 基礎解析為 {b1,b2,b3...bn}

        則該方程的基礎解析為x =a11*b1+a22*b2+...ann*bn

        (5.2)設非齊次線性方程組 AX =B的基礎解析為{c1,c2,c3...cn}

        則該方程的基礎解析為x = 齊次方程的基礎解系  +  非齊次方程的一個解

        求非齊次方程組的通解的一般方法：

       1.初等變換為行階梯形，判斷是否有解，即R(A)=R(A,b)

       2.若存在，則化為行最簡式。

       3.列方程組，通常格式為 = 齊次方程組的基礎解系 + 非齊次方程組的一個解

       4.檢驗：通過A的R(A),可判斷齊次方程組的基礎解系的個數為Rs= n - r.

       例子：求非齊次線性方程組的通解

                                 的通解

         則A的係數矩陣為

    對A,b做初等變換

  \\

     因為R(A)=R(A,b) =2<4,則方程存在無數多個解（意味著方程組的個數小於未知數的個數）

           則

則對應線性方程組為

          則                                     

  接下來，將x3和x4 看成常數提出，則非齊次方程組的基礎解系

6.  Engivalue and Engivector：

   6.1 Defination in Math：

         給定的矩陣A（方陣）,如果有一個向量v,使得矩陣A作用於v之後（即A和v相乘），得到的新向量和v

任然保持在同一條直線上，像下面這樣：

那麼就稱向量v是矩陣A的一個特徵向量，而lmd就是特徵向量v對應的特徵值（一個特徵向量一定對應

一個特徵值）矩陣就是線性變換（nxn維度--->nx1維度，就是可以從矩陣中取出向量和特徵值），向量v

在經過矩陣A這個線性變換之後，新向量和原來的向量v任然保持在同一條直線上，也就是說這個變換隻是

把向量v的長度進行了改變而保持方向的不變（在特徵值是負數的情況下，新向量的方向是原來方向的反向

，即180°反方向。）

  6.2 Relevant Conclusion：

                   1. 矩陣A對角線之和等於特徵值的和

                   2. 矩陣A對角線之積等於 矩陣A的行列式

 Certification：

       設A為可逆的方陣

      移位操作

       如果使得方程有解，則行列式 |A-λE| = 0，得到結果

則根據韋達定理，根之和（特徵值λ解之和）= a11+a22+a33+...+ann

              特別的，當λ =0 時，行列式|A| = a11*a22*a33*....ann  

END

  6.3 About Engivalue and Engivector Conclusion

      (1)Power： A^（k）*P = λ^（k）*p 

      (2)Inverse Matrix： A^（-1）*P =  λ^（-1）*p

      (3)Companion Matrix：（A*）*P =|A|* λ^（-1）*P

      (4)Transfom Matrix：A^（T）*P =   λ*P

      (5)Function ： f（A）*P = f(λ)*P

  6.4 追問精神

（1）為什麼N階矩陣一定有n個特徵值？

  根據代數定理，n次多項式有且只有n個根，由行列式的性質可知，最高可展成n項，最低0次冪。

   f(λ) = |A -λ*E|=   存在λ，且有n個這樣的λ。（可能都相同，可能都不同）

（2）AP =λP,若使P存在非零解，

               then      R(A -λP)<n

               or          |A-λE| =0

（3）特徵值和特徵向量的應用

     關於理解特徵向量，主要應用於影象處理中。如下圖所示。

       當蒙娜麗莎的影象左右翻轉時，中間垂直的紅色向量的方向保持不變。而水平方向上黃色的向量的方向

完全反轉，因此它們都是左右翻轉變換的特徵向量。紅色向量長度不變，其特徵值為1.黃色向量的長度也不變

但方向變了，其特徵值為-1.

     橙色向量在反轉後和原來的向量不在同一條直線上，因此不是特徵向量。

7. Similar Matrices（Square Matrix）

Defination:    

      If  P^(-1)*A*P = B ，then  A ~B .

Relevant Property：(IF A Similar as B)

      （1）Engi-polynomial not Change  :|A  - λE| = |B - λE |

        (2) Engivalue not Change

      （3）Determination not Change ：|A| = |B| = λ1+λ2+...λn

      （4）Trace of Matrix not Change：trA =trB=λ1+λ2+...λn = 矩陣對角線之和

      （5）Rank not Change :  rank(A) = rank(B),  初等變換性質決定

 Quesion：     

  How to find similar matrics for A    ？  

   （1）與零矩陣相似的只有零矩陣

   （2）與單位矩陣相似的只有單位矩陣 

   （3）與數量矩陣相似的只有它自己

Why propose this quesion？ introduce diagonalization for matrix.

    (1) n階矩陣A與對角矩陣相似的充分必要條件 是A有n個 線性無關的特徵向量。

Certification：

         A(P1,P2,P3,...Pn) = （P1,P2,P3,...Pn）*diag（λ1,λ2,λ3,...λn）

         ∵ p可逆，則

        （A*P1,A8P2,A*P3,...A*Pn） = （P1*λ1,P2*λ2,....,Pn*λn）

         由之前的特徵值和特徵向量知識可知，

                       （λ1,λ2,λ3,...λn）是A的特徵值

                       （P1,P2,P3,...Pn）是A的特徵向量

     (2) 方陣A 的n個特徵值有 相同的重數，則方陣A能對角化的充分必要條件是

                  *每一個K重特徵值能夠確定K個線性無關的特徵向量。

                  *（A-λE）*x = 0的解空間的維數也是K

                  *R(A-λE) = n -K

  APPLICATION:

(1)求解矩陣的高次冪

      存在A和P，使得P^(-1)*A*P =√

      則A = P*√*P^(-1)   ===由特徵值冪的性質

      A^n = P*√^(n)*P^(-1) ;

(2)利用特徵值求行列式

     |A| = λ1*λ2*λ3*...*λn ;

(3)判斷是否可逆，由（2）可知

(4)判斷矩陣是否相似，只有求出各自的對角，對角相似就相似。

8. Real symmetric matrix and Matrix of a quadratic form

(1)Real symmetric matrix：

      Defination ： 就是矩陣內元素都是實數，其次是對稱的(n階就是N BY N)

      Attribution1：實對稱矩陣的兩個不同的特徵值所對應的特徵向量是正交的。

      Attribution2 ：任何實對稱矩陣可以通過正交變換將其對角化。

未完待續。。。20220531

  Vital understanding for Engivalue and Engivector Matrix

（特徵值和特徵向量深層次理解）

        線性代數的最後，我們都學會矩陣的特徵值分解，我們知道一個方陣A經過特徵值分解後就得到特徵向量和特徵值。

那麼，這個所謂的特徵值和特徵向量如何理解呢？

        書本上一上來就給這個公式：

                                                            Ax = λx，其中x 是一個向量

      從公式角度理解，一個矩陣乘上這個向量 等於 一個數乘上這個向量。

       特徵這個詞語來自德語，engen vector，本義是在“本身固有的，本質的”。幾何意義就是一個矩陣

乘上向量等於 一個數乘上向量（在向量方向的拉伸壓縮或不變）。

       從實際應用角度，影象處理就應用到特徵值分解。我們都知道影象是由一個個畫素組成。假設有一個200x200

的影象，對這個影象矩陣的特徵值分解，其實是在提取這個影象中的特徵，這些提取出來的特徵是一個個向量，即對應

著特徵向量。在這個200x200矩陣分解之後，會得到一個200x200的特徵向量組成的矩陣Q以及一個200x200的只有對角線

元素不為0的矩陣E，這個矩陣E對角線上元素就是該矩陣的特徵值，而且還是按照大小排列，也就是該該特徵值200個就是

影象的200個特徵，這200個特徵的重要性用200個數字表示，這200個數字存放在對角矩陣E中.在實際中我們發現，200個

特徵，如果數值很小，對影象的影響就可忽略不計。

        根據上述描述，我們知道影象矩陣A特徵值分解後可以得到矩陣Q和矩陣E:（在相似矩陣這一章節描述過，見Matlab

learning notes1（1））

                                                                                A = QEQ^(-1)

        那麼反推，把右邊三個矩陣相乘肯定能得到矩陣A.既然已經知道矩陣E中只有數值較大的比較重要，那不妨將矩陣E中對角

線前20個保留，其餘都設定為0，即只取影象的前20個主要特徵來恢復影象，剩下的全部捨棄，看看此時會發生什麼，

如下圖所示。

        通過上圖我們知道，在只取20個特徵和特徵向量對影象進行恢復時候，基本上已經可以看到影象的大體輪廓了，而

取到前50的時候，幾乎已經和原圖無差異。通過上述例子可以形象的理解矩陣的特徵值和特徵向量的作用。

      注：特徵值分解必須是nxn的方陣，如果不是行列相等的矩陣，請使用奇異值分解（這個在碩士課程 矩陣論上有）

Refence ：

https://blog.csdn.net/woainishifu/article/details/76418176 (About engivalue and engivector

application and understanding)  （特徵值和特徵向量的理解）

Date：20220531   知行合一，方能走的長遠