數學知識

數學知識總括

• 微積分(高等數學)
• 線性代數
• 概率論與數理統計
• 凸優化

微積分

微積分學，數學中的基礎分支。內容主要包括函式、極限、微分學、積分學及其應用。函式是微積分研究的基本物件，極限是微積分的基本概念，微分和積分是特定過程特定形式的極限

微積分/高等數學。在機器學習中，微積分主要用到了微分部分，作用是求函式的極值，就是很多機器學習庫中的求解器（solver）所實現的功能。在機器學習裡會用到微積分中的以下知識點：

• 導數和偏導數的定義與計算方法
• 梯度向量的定義
• 極值定理，可導函式在極值點處導數或梯度必須為0
• 雅克比矩陣，這是向量到向量對映函式的偏導數構成的矩陣，在求導推導中會用到
• Hessian矩陣，這是2階導數對多元函式的推廣，與函式的極值有密切的聯絡
• 凸函式的定義與判斷方法
• 泰勒展開公式
• 拉格朗日乘數法，用於求解帶等式約束的極值問題

其中最核心的是記住多元函式的泰勒展開公式，根據它我們可以推匯出機器學習中常用的梯度下降法，牛頓法，擬牛頓法等一系列最優化方法：

線性代數

線性代數的理論是計算技術的基礎，同系統工程，優化理論及穩定性理論等有著密切聯絡，隨著計算技術的發展和計算機的普及，線性代數作為理工科的一門基礎課程日益受到重視。線性代數這門課程的特點是概念比較抽象，概念之間聯絡很密切。內容包括行列式，矩陣，向量空間，線性方程組，矩陣的相似對角化，二次型，線性空間與線性變換等, 機器學習中主要用到以下知識點

• 向量和它的各種運算，包括加法，減法，數乘，轉置，內積
• 向量和矩陣的範數，L1範數和L2範數
• 矩陣和它的各種運算，包括加法，減法，乘法，數乘
• 逆矩陣的定義與性質
• 行列式的定義與計算方法
• 二次型的定義
• 矩陣的正定性
• 矩陣的特徵值與特徵向量
• 矩陣的奇異值分解
• 線性方程組的數值解法，尤其是共軛梯度法

概率論與數理統計

主要內容包括：概率論的基本概念、隨機變數及其概率分佈、數字特徵、大數定律與中心極限定理、統計量及其概率分佈、引數估計和假設檢驗、迴歸分析、方差分析、馬爾科夫鏈等內容, 機器學習中主要用到以下知識點

• 隨機事件的概念，概率的定義與計算方法
• 隨機變數與概率分佈，尤其是連續型隨機變數的概率密度函式和分佈函式
• 條件概率與貝葉斯公式
• 常用的概率分佈，包括正態分佈，伯努利二項分佈，均勻分佈
• 隨機變數的均值與方差，協方差
• 隨機變數的獨立性
• 最大似然估計

凸優化

凸優化，或叫做凸最優化，凸最小化，是數學最優化的一個子領域，研究定義於凸集中的凸函式最小化的問題。凸優化在某種意義上說較一般情形的數學最優化問題要簡單，譬如在凸優化中區域性最優值必定是全域性最優值。凸函式的凸性使得凸分析中的有力工具在最優化問題中得以應用

凸優化是機器學習中經常會提及的一個概念，這是一類特殊的優化問題，它的優化變數的可行域是凸集，目標函式是凸函式。凸優化最好的性質是它的所有區域性最優解就是全域性最優解，因此求解時不會陷入區域性最優解。如果一個問題被證明為是凸優化問題，基本上已經宣告此問題得到了解決。在機器學習中，線性迴歸、嶺迴歸、支援向量機、logistic迴歸等很多演算法求解的都是凸優化問題。