1. 程式人生 > >《統計學習方法》——李航 學習大綱

《統計學習方法》——李航 學習大綱

最近在學習李航寫的統計學習方法概論, 每一章都用xmind理清了思路,括號裡是書裡的公式,第一次寫博文,敬請指教~~~~

第一章 統計學習方法論



第二章 感知機

每個方法其實只需要著重掌握三要素和輸入輸出就可以了,主要看模型、策略和演算法。

感知機主要是二類分類的線性分類模型。

看到後面會注意感知機和支援向量機的區別。



第三章 k近鄰法

k近鄰算是入門級別的機器學習的方法了。我們在上機器學習課的時候,老師也介紹這是基礎的方法,主要核心思想是“物以類聚”,看訓練集中離該輸入最近的例項多數屬於什麼類別。

KNN主要掌握三要素,k值的選擇、距離度量和分類決策規則。

注意在knn演算法實現的部分,有提到kd樹,平衡kd樹和kd數的搜尋的演算法都比較重要,有利於

KNN的實現。



第四章  樸素貝葉斯法

學習樸素貝葉斯法之前,最好看一下貝葉斯定理。

樸素貝葉斯法的精髓在於後驗概率最大化,弄清後驗概率的含義。


第五章     決策樹

決策樹主要抓住三個步驟:特徵選擇、決策樹的生成和決策樹的修剪。

一般決策樹主要用於分類。

CART決策樹也叫分類與迴歸決策樹,注意掌握生成時最優切分變數和切分點的演算法生成的思想。

相關推薦

統計學習方法 讀書筆記

************************************************************ 李航教授《統計學習方法》 統計學教材總結 主要介紹監督學習方法 ***************************************************

統計學習方法--筆記總結】十一、條件隨機場

本文是李航老師《統計學習方法》第十一章的筆記,歡迎大佬巨佬們交流。 主要參考部落格: https://www.cnblogs.com/YongSun/p/4767734.html   主要內容: 1. 概率無向圖模型 2. 條件隨機場的定義與形式 3. 條件隨機

統計學習方法--筆記總結】十、隱馬爾可夫模型

本文是李航老師《統計學習方法》第十章的筆記,歡迎大佬巨佬們交流。 主要參考部落格: https://www.cnblogs.com/YongSun/p/4767667.html https://www.cnblogs.com/naonaoling/p/5701634.html htt

統計學習方法--筆記總結】九、EM(Expectation Maximization期望極大演算法)演算法及其推廣

本文是李航老師《統計學習方法》第九章的筆記,歡迎大佬巨佬們交流。 主要參考部落格: https://www.cnblogs.com/YongSun/p/4767517.html https://blog.csdn.net/u010626937/article/details/751160

統計學習方法--筆記總結】八、提升方法

本文是李航老師《統計學習方法》第八章的筆記,歡迎大佬巨佬們交流。 主要參考部落格: https://www.cnblogs.com/YongSun/p/4767513.html 主要內容包括: 1. 提升方法AdaBoost演算法 2. AdaBoost演算法的訓練誤差分析

統計學習方法--筆記總結】七、支援向量機

本文是李航老師《統計學習方法》第七章的筆記,歡迎大佬巨佬們交流。 主要參考部落格: https://www.cnblogs.com/YongSun/p/4767130.html https://blog.csdn.net/wjlucc/article/details/69376003

統計學習方法--筆記總結】六、邏輯斯諦迴歸和最大熵模型

本文是李航老師《統計學習方法》第六章的筆記,歡迎大佬巨佬們交流。 主要參考部落格: http://www.cnblogs.com/YongSun/p/4767100.html https://blog.csdn.net/tina_ttl/article/details/53519391

統計學習方法--筆記總結】五、決策樹

本文是李航老師《統計學習方法》第五章的筆記,歡迎大佬巨佬們交流。 主要參考部落格: https://blog.csdn.net/u014248127/article/details/78971875 https://www.cnblogs.com/YongSun/p/4767085.ht

統計學習方法--筆記總結】四、樸素貝葉斯法

本文是李航老師《統計學習方法》第四章的筆記,歡迎大佬巨佬們交流。 主要參考部落格: https://blog.csdn.net/zcg1942/article/details/81205770 https://blog.csdn.net/wds2006sdo/article/detail

統計學習方法--筆記總結】三、k近鄰法

本文是李航老師《統計學習方法》第三章的筆記,歡迎大佬巨佬們交流。 主要參考部落格:https://blog.csdn.net/u013358387/article/details/53327110 主要包括以下幾部分: 1. k近鄰演算法 2. k近鄰模型 3. kd樹 1.

統計學習方法-(第8章 提升方法筆記)

這一章主要講boosting提升方法,代表方法是AdaBoost演算法,我會從演算法的本質去解釋演算法,儘量用簡單的語言其描述,具體推導過程參考原文。 提升方法就是從弱學習演算法出發,反覆學習,得到一系列弱分類器(又稱為基本分類器),然後組合這些弱分類器,構成一個強分類器。 一、 提

統計學習方法 ---第5章 決策樹

第5章 決策樹 決策樹(decision tree)是一種基本的分類與迴歸方法。本章主要討論用於分類的決策樹。決策樹模型呈樹形結構,在分類問題中,表示基於特徵對例項進行分類的過程。它可以認為是if-then規則的集合,也可以認為是定義在特徵空間與類空間上的條件概率分佈。其主要

統計學習方法 第一章習題

1.1說明伯努利模型的極大似然估計以及貝葉斯估計中的統計學習方法三要素。伯努利模型是定義在取值為0和1的隨機變數上的概率分佈。假設觀測到的伯努利模型n次獨立資料生成結果,其中k次的結果為1,這時可以用極大似然估計或貝葉斯估計來估計結果為1的概率。

每月學習數理統計--《統計學習方法》(1)

分類 bsp 小白 總結 統計學 乘法 入門 回歸 ova 現在這本書已經看完70%,在看完後我將會將每一章的內容按照自己的理解並結合其他書籍包括<<統計機器學習導論>>[1] ,<<機器學習>>[2],<&l

統計學習方法 第二章習題

2.1Minsky和Papert指出:感知機因為是線性模型,所以不能表示複雜的函式,如異或。驗證感知機為什麼不能表示異或 明顯可知異或不具有線性可分性,由感知機定義可知,感知機不能表示異或。

統計學習方法》—— 學習大綱

最近在學習李航寫的統計學習方法概論, 每一章都用xmind理清了思路,括號裡是書裡的公式,第一次寫博文,敬請指教~~~~ 第一章 統計學習方法論 第二章 感知機 每個方法其實只需要著重掌握三要素和輸入輸出就可以了,主要看模型、策略和演算法。 感知機主要是二類分類的線

Java學習——方法的初步學習

一、方法的概述和格式 在許多語言比如c語言中稱之為函式的,在java這裡稱為方法,方法就是完成特定功能的程式碼塊。 格式: 修飾符 返回值型別 方法名(引數型別 引數名1,引數型別 引數名2 …){ 方法體; return 返回值; } 方法的格式詳細說明: (1): 修飾符 比較多,後面會

斯坦福第五章:判別學習方法和生成學習方法的區別

之前的視訊中講到的方法都是直接對問題進行求解,比如二類分類問題,不管是感知器演算法還是邏輯斯蒂迴歸演算法,都是在解空間中尋找一條直線從而把兩種類別的樣例分開,對於新的樣例只要判斷在直線的哪一側即可;這

統計學習方法)》講義 第04章 樸素貝葉斯

ima .cn 效率 常用 1-1 估計 實現 技術 com 樸素貝葉斯(naive Bayes) 法是基於貝葉斯定理與特征條件獨立假設的分類方法。對於給定的訓練數據集,首先基於特征條件獨立假設學習輸入/輸出的聯合概率分布;然後基於此模型,對給定的輸入x,利用貝

統計學習方法)》講義 第05章 決策樹

lan 定義 if-then 利用 建立 then 統計 來源 根據 決策樹(decision tree) 是一種基本的分類與回歸方法。本章主要討論用於分類的決策樹。決策樹模型呈樹形結構,在分類問題中,表示基於特征對實例進行分類的過程。它可以認為是if-then