機器學習筆記（3）：線性代數回顧
目錄
2）Addition and scalar multiplication
3）Matrix-vector multiplication
4）Matrix-matrix multiplication
5）Matrix multiplication properties
為了實現機器學習演算法，我們需要掌握一些很基礎的線性代數知識，真的是很基礎的，這方便我們之後編寫機器學習演算法和處理大資料。
1）Matrices and vectors
矩陣的維數即行數x列數
矩陣裡的元素指第i行，j列的元素，如下圖所示：
向量是一種特殊的矩陣，我們這裡指的向量為列向量，只有一列。下面展示了索引從1開始和索引從0開始的向量，我們一般使用索引從1開始的向量。
2）Addition and scalar multiplication
矩陣加法：兩個矩陣是同維（即行數列數一樣）才可以相加，如下圖：
矩陣乘以一個變數要求每個元素都要乘以這個標量：
3）Matrix-vector multiplication
首先來看矩陣乘向量的例子，這是3x2矩陣乘以向量得到3x1矩陣。
下面我們來看一下矩陣相乘的細節，最後輸出的第i個元素（y(i)）等於矩陣A的第i行元素乘以向量x然後相加求和。
再看一個例子，大家可以檢驗一下之前的細節：
我們回顧上一章介紹的預測房價的例子，我們現在有了預測模型，有了房子尺寸，就可以預測房價了，如圖所示：
4）Matrix-matrix multiplication
還是先來看個例子，可以把下面矩陣相乘的例子拆成矩陣乘以兩個向量，再合併為一個矩陣
我們來看一下細節，mxn矩陣乘以nxo矩陣得到mxo矩陣。其中矩陣C的第i列元素為矩陣A乘以矩陣B第i得到。
我們來看另一個例子，驗證我們的想法：
再來看看我們之前的房價例子，現在我們有三個預測模型，我們看看三個模型預測的結果：
5）Matrix multiplication properties
現在來介紹矩陣相乘的幾個重要性質：
矩陣相乘不滿足交換律，但滿足結合律，如下圖所示：
單位矩陣，它是一個方陣（矩陣行數和列數相等），主對角線上元素為1，其餘元素全為0，任何一個矩陣乘以單位矩陣還是它本身。
6）Inverse and transpose
矩陣的逆矩陣定義如下，存在一個矩陣和它本身相乘為單位陣，但並不是所有矩陣都有逆矩陣。
矩陣的轉置直觀上來看就是矩陣的行變為列，列變為行。
我們重點掌握的就是矩陣的基本性質及矩陣之間的乘法。