深度學習"聖經" | 第二章 線性代數
深度學習領域聖經,英文原版的三位作者 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville
本人僅對中文版深度學習書中,提煉筆記,添加個人理解,該筆記僅作為個人深度學習知識的學習、總結、複習使用。若有錯誤,還望批評指教。—-ZJ
中文版 2017-09-04 版 pdf (PDF 閱讀器開啟 55)
第二章內容:中文版 P27 -,英文版 P31 -
Chapter 2 Linear Algebra
2.1 標量、向量、矩陣和張量
學習線性代數,會涉及以下幾類數學概念:
- 標量(scalar):一個標量就是一個單獨的數。
- 向量(vector):一個向量是一列數。
- 矩陣(matrix):矩陣是一個二維陣列,其中的每一個元素被兩個索引(而非一個)所確定。
2.2 矩陣和向量相乘
逐元乘積 (element-wise product):
兩個矩陣的標準乘積不是指兩個矩陣中對應元素的乘積。不過,那樣的矩陣操作確實是存在的,被稱為元素對應乘積(element-wise product)或者Hadamard 乘積(Hadamard product),記為 A ⊙ B。
點積(dot product):
兩個相同維數的向量 x 和 y 的點積(dot product)可看作是矩陣乘積
矩陣乘積運算有許多有用的性質,從而使矩陣的數學分析更加方便。比如,矩陣乘積服從分配律:
兩個向量的點積(dot product)滿足交換律:
兩個向量點積的結果是標量,標量轉置是自身的事實
2.3 單位矩陣和逆矩陣
單位矩陣(identity matrix):任意向量和單位矩陣相乘,都不會改變。
我們將保持 維向量不變的單位矩陣記作 。 形式上,,
矩陣的矩陣逆記作,其定義的矩陣滿足如下條件
2.4 線性相關和生成子空間
線性組合(linear combination)
一組向量的生成子空間(span)是原始向量線性組合後所能抵達的點的集合。
確定是否有解相當於確定向量是否在列向量的生成子空間中。 這個特殊的生成子空間被稱為的列空間或者的值域。
P61 (pdf)有點暈,找個相關視訊看看
這種冗餘被稱為線性相關(linear dependence)。如果一組向量中的任意一個向量都不能表示成其他向量的線性組合,那麼這組向量稱為線性無關(linearly independent)。
這意味著該矩陣必須是一個方陣(square),即 m = n,並且所有列
向量都是線性無關的。一個列向量線性相關的方陣被稱為奇異的(singular)。
2.5 範數
範數:
有時我們需要衡量一個向量的大小。在機器學習中,我們經常使用被稱為 範數(norm)的函式衡量向量大小。形式上, 範數定義如下