機器學習方法總結
機器學習有很多演算法可以實現，但每個演算法的適用場景不同，並且對於不同的實際問題各有優劣。
本文總結了幾乎所有何以用來做機器學習的演算法和優化方法。
|
大類 |
名稱 |
關鍵詞 |
|
有監督分類 |
||
|
Gini指數，Χ2統計量，剪枝 |
||
|
非引數估計，貝葉斯估計 |
||
|
相似度度量：歐氏距離、街區距離、編輯距離、向量夾角、Pearson相關係數 |
||
|
引數估計（極大似然估計）、S型函式 |
||
|
非引數估計、正則化理論、S型函式 |
||
|
一個輸出層細胞跟幾個競爭層細胞相連 |
||
|
支援向量機（二值分類） |
二次規化，Lagrange乘數法，對偶問題， |
|
|
單層感知器 |
只具有線性可分的能力 |
|
|
雙隱藏層感知器 |
足以解決任何複雜的分類問題 |
|
|
圖劃分，相對互連度，相對緊密度 |
||
|
B樹，CF三元組 |
||
|
圖劃分，奇異值求解 。全域性收斂 |
||
|
一般線性迴歸 |
引數估計，最小二乘法，一般不用於分類而用於預測 |
|
|
邏輯斯諦迴歸（二值分類） |
引數估計（極大似然估計），S型函式 |
|
|
關聯規則挖掘 |
頻繁1項集，FP-Tree，條件模式基，字尾模式 |
|
|
降維 |
協方差矩陣，奇異值分解 |
|
|
推薦 |
稀疏向量的相似度度量 |
|
方法細分 |
應用場所 |
||||
|
引數估計 |
極大似然估計 |
線性迴歸。假設誤差滿足均值為0的正態分佈,從而轉化為最小二乘法 |
|||
|
Logistic迴歸。梯度下降迭代法求似然函式的極值 |
|||||
|
高斯混合模型。 |
|||||
|
非引數估計 |
徑向基函式網路 |
||||
|
無引數假設檢驗 |
χ2檢驗 |
特徵詞選取，分類迴歸樹的終止條件 |
|||
|
秩和檢驗 |
|||||
|
Pearson相關係數（假設x,y成對地從正態分佈中取得） |
基於向量空間模型的文字分類，使用者喜好推薦系統 |
||||
|
Spearman秩相關係數（無引數假設檢驗） |
|||||
|
最優化方法 |
梯度下降法 |
極大似然估計（迴歸分析、GMM） 支援向量機 線性判別分析 |
|||
|
牛頓迭代法及其變種 |
|||||
|
有約束時通過Lagrange乘數法轉換成無約束問題 |
|||||
|
求特徵值/特徵向量 |
線性判別分析 |
降維 |
|||
|
奇異值分解（僅針對對稱矩陣） |
主成分分析 |
||||
|
譜聚類 |
|||||
|
資訊增益 |
特徵詞選擇 |
||||
|
決策樹 |
|||||
|
互資訊 |
特徵詞選擇 |
||||
|
交叉熵 |
特徵詞選擇，稀有事件建模模擬，多峰最優化問題 |
||||
|
多項式核函式 |
SVM RBF網路 |
||||
|
高斯核函式（徑向基函式） |
|||||
|
雙極性核函式 |
|||||
|
單極性Sigmoid函式 |
Logistic迴歸 |
||||
|
BP神經網路 |
|||||
|
協方差 |
Pearson相關係數 |
||||
|
PCA |
|||||
|
高斯混合模型 |
|||||
|
向前向後演算法 |
|||||
|
基函式 |
高斯混合模型 |
||||
|
徑向基函式網路 |
|||||
|
平滑演算法 |
拉普拉斯平滑 |
貝葉斯分類 隱馬爾可夫模型 |
|||
|
Good-Turing平滑 |
|||||