統計學習方法總結、應用對比

阿新 • • 發佈：2019-02-14

下面主要從模型、策略、演算法、應用四方面來對10種統計學習方法，進行歸類總結。

方法	模型	策略	演算法	應用
感知機	超平面模型	極小化誤分點距離	隨機梯度下降法	二類分類
樸素貝葉斯法	對條件概率分佈作條件獨立性的假設	極大似然估計、極大後驗概率估計	EM演算法	多類分類
k近鄰法	k,distance公式	多數決策（找出輸入的k個最接近的點，看哪個類的點最多）	k近鄰演算法	多類分類，迴歸
決策樹	分類的樹形結構	正則化極大似然估計	特徵選擇，生成，剪枝	多類分類，迴歸
邏輯斯諦迴歸	用邏輯斯諦分佈表示條件概率分佈	極大似然估計引數	最優化演算法，如改進的迭代演算法、擬牛頓法	多類分類
支援向量機	核技巧的超平面	極小化合頁損失	序列最小最優化演算法（smo）	二類分類
提升方法	弱分類組合	極小化加法模型的指數損失	前向分步演算法	二類分類
EM演算法	極大似然估計隱含層模型引數	極大似然估計	迭代演算法	概率模型引數估計
隱馬爾可夫模型	觀測序列與狀態序列的聯合概率模型	極大似然估計，極大後驗估計	EM演算法	標註
條件隨機場	與給定結點不相連的都不影響該點的條件概率	極大似然估計	最優化演算法，如改進的迭代演算法、擬牛頓法	標註

1.感知機
感知機，和支援向量很相似，但感知機只能適用於線性劃分的場合，常用於二類分類問題。

統計學習方法總結、應用對比

下面主要從模型、策略、演算法、應用四方面來對10種統計學習方法，進行歸類總結。方法模型策略演算法應用感知機超平面模型極小化誤分點距離隨

五、決策樹--統計學習方法總結

五、決策樹決策樹（decision tree）是一種基本的分類與迴歸方法，這裡主要討論用於分類的決策樹。它可以認為是if-then規則的集合，也可以認為是定義在特徵空間與類空間上的條件概率分佈。其主要的有點是模型具有可讀性，分類速度快，學習時利用訓練資

統計學習方法——均值、方差、標準差及協方差、協方差矩陣

一、統計學基本概念：均值、方差、標準差統計學裡最基本的概念就是樣本的均值、方差、標準差。首先，我們給定一個含有n個樣本的集合，下面給出這些概念的公式描述：均值：標準差：方差：均值描述的是樣本集合的中間點，它告訴我們的資訊是有限的。標準差給我們描述的是樣

隱馬爾可夫模型（《統計學習方法》、python實現）

本文是《統計學習方法》第10章的筆記，用一段167行的Python程式碼實現了隱馬模型觀測序列的生成、前向後向演算法、Baum-Welch無監督訓練、維特比演算法。公式與程式碼相互對照，循序漸進。HMM算是個特別常見的模型，早在我沒有挖ML這個坑的時候，就已經在用HMM做基於

【統計學習方法-李航-筆記總結】十一、條件隨機場

本文是李航老師《統計學習方法》第十一章的筆記，歡迎大佬巨佬們交流。主要參考部落格: https://www.cnblogs.com/YongSun/p/4767734.html 主要內容： 1. 概率無向圖模型 2. 條件隨機場的定義與形式 3. 條件隨機

【統計學習方法-李航-筆記總結】十、隱馬爾可夫模型

本文是李航老師《統計學習方法》第十章的筆記，歡迎大佬巨佬們交流。主要參考部落格: https://www.cnblogs.com/YongSun/p/4767667.html https://www.cnblogs.com/naonaoling/p/5701634.html htt

【統計學習方法-李航-筆記總結】九、EM(Expectation Maximization期望極大演算法)演算法及其推廣

本文是李航老師《統計學習方法》第九章的筆記，歡迎大佬巨佬們交流。主要參考部落格: https://www.cnblogs.com/YongSun/p/4767517.html https://blog.csdn.net/u010626937/article/details/751160

【統計學習方法-李航-筆記總結】八、提升方法

本文是李航老師《統計學習方法》第八章的筆記，歡迎大佬巨佬們交流。主要參考部落格： https://www.cnblogs.com/YongSun/p/4767513.html 主要內容包括： 1. 提升方法AdaBoost演算法 2. AdaBoost演算法的訓練誤差分析

【統計學習方法-李航-筆記總結】七、支援向量機

本文是李航老師《統計學習方法》第七章的筆記，歡迎大佬巨佬們交流。主要參考部落格： https://www.cnblogs.com/YongSun/p/4767130.html https://blog.csdn.net/wjlucc/article/details/69376003

【統計學習方法-李航-筆記總結】六、邏輯斯諦迴歸和最大熵模型

本文是李航老師《統計學習方法》第六章的筆記，歡迎大佬巨佬們交流。主要參考部落格： http://www.cnblogs.com/YongSun/p/4767100.html https://blog.csdn.net/tina_ttl/article/details/53519391

【統計學習方法-李航-筆記總結】五、決策樹

本文是李航老師《統計學習方法》第五章的筆記，歡迎大佬巨佬們交流。主要參考部落格： https://blog.csdn.net/u014248127/article/details/78971875 https://www.cnblogs.com/YongSun/p/4767085.ht

【統計學習方法-李航-筆記總結】四、樸素貝葉斯法

本文是李航老師《統計學習方法》第四章的筆記，歡迎大佬巨佬們交流。主要參考部落格： https://blog.csdn.net/zcg1942/article/details/81205770 https://blog.csdn.net/wds2006sdo/article/detail

【統計學習方法-李航-筆記總結】三、k近鄰法

本文是李航老師《統計學習方法》第三章的筆記，歡迎大佬巨佬們交流。主要參考部落格：https://blog.csdn.net/u013358387/article/details/53327110 主要包括以下幾部分： 1. k近鄰演算法 2. k近鄰模型 3. kd樹 1.

pandas學習(常用數學統計方法總結、讀取或保存數據、缺省值和異常值處理)

導入 numpy shape 缺省數量導入數據個數就是 msu pandas學習(常用數學統計方法總結、讀取或保存數據、缺省值和異常值處理) 目錄常用數學統計方法總結讀取或保存數據缺省值和異常值處理　　常用數學統計方法總結 count

《統計學習方法》(李航)讀書筆記(完結)超級火爆的總結

閱讀目錄知識點感知機 k近鄰法樸素貝葉斯決策樹 logistic迴歸和最大熵模型支援向量機提升方法 EM演算法隱馬爾可夫模型(HMM) 統計學習方法總結神經網路 K-Means

幾種常見DRL(深度強化學習)方法總結與對比之前提基本概念

版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/FrankieHello/article/details/78821488 從今年的九月份到現在，接觸機器學

第一章統計學習方法概論 —— 第1~3節統計學習及監督學習的簡介、損失函式及風險函式的公式化表達

關於統計學習方法的知識，參考書《統計學習方法》，李航著，清華大學出版社。所有章節的符號表示、公式表示都是統一化的。第一章統計學習方法概論第一節統計學習一、概念所謂統計學習，指的是基於已知資料構建統計模型，從而對未知資料進行預測。二、分類監督學習（super

統計學習方法-學習總結

基礎知識四種學習型別監督學習非監督學習半監督學習強化學習這本書主要介紹第一類學習型別，監督學習。統計學習三要素未知的P(X,Y)聯合概率模型產生的獨立同分布的資料，統計學習基於三要素學習這些資料，並期許學習到的模型能對未知資

統計學習方法——模型的選擇與評估（過擬合、泛化能力）

參考書目及論文：《統計學習方法》——李航、A Tutorial on Support Vector Machine for Pattern Recognition 監督學習的目的是找到一個輸入輸出對映（模型），使得這個模型不僅對訓練資料有很好的擬合能力，對於未知資料，它也

《統計學習方法》第八章-提升方法學習總結

在《統計學習方法》中第八章提升方法，包括四節，第一節介紹AdaBoost、第二節介紹AdaBoost的誤差、第三節介紹從前向分佈演算法來實現AdaBoost、第四節介紹提升樹。第一節提升方法AdaBoost演算法第一節首先介紹了AdaBoost的思

統計學習方法總結、應用對比

相關推薦