周志華《機器學習》筆記彙總
讀周志華老師的《機器學習》一書時的筆記彙總，純屬個人理解，歡迎交流討論。
簡要介紹機器學習。
本章介紹模型評估與選擇，包括：
1. 誤差產生：過擬合和欠擬合
2. 評估方法：給定資料集後如何產生訓練集和測試集
3. 效能度量：建立衡量模型泛化能力的評價標準
4. 比較檢驗：從統計角度比較機器學習效能
5. 偏差與方差：解釋學習演算法泛化效能的一種工具
從最簡單但也是最基礎的線性模型開始研究。線性模型雖然簡單，但卻是基礎。先研究線性、單屬性的線性迴歸問題，在此基礎上研究非線性、多屬性的迴歸和分類問題。
相關推薦
周志華 機器學習 筆記
第1章 1.4歸納偏好 學習演算法自身的歸納偏好與問題是否相配，往往會起到決定作用。 對於上面這句話：你的輸入資料被怎麼處理，最終得到什麼結果，我認為偏好指的就是這個處理的過程。線性非線性？那些feature忽略掉？怎麼利用這些資料？更具體一些，你用網路處理，還是傳統方法，資料的分佈和你
周志華機器學習筆記
http://blog.sina.cn/dpool/blog/s/blog_cfa68e330102ycy9.html?md=gd https://www.cnblogs.com/shiwanghualuo/p/7192678.html 首先的階段由卷積層和池化層組成，卷積的節點組織在特徵對映塊
[機器學習]ID3決策樹 詳細計算流程 周志華機器學習 筆記 原創Excel手算方法
1.用到的主要三條熵公式： 1.1 資訊熵 詳情見夏農資訊理論 概率越平衡 事件所含有的資訊量越大 1.2 條件熵 代表某一屬性下不同分類的資訊熵之和 1.3 資訊增益 等於資訊熵減去條件熵，從數值上，越大的資訊增益在資訊熵一定的情況下，代表條件熵越小，條件熵越
周志華-機器學習-筆記（五）- 強化學習
#### 任務與獎賞 #### “強化學習”(reinforcement learning)可以講述為在任務過程中不斷摸索，然後總結出較好的完成任務策略。 強化學習任務通常用馬爾可夫決策過程(Markov Decision Process，簡稱M
周志華機器學習筆記（一）
新人一枚，既是機器學習的初學者，也是首次發部落格。謹以此記錄我的學習體會，做一些總結。望與大家共同學習、共同進步。文中若有內容錯誤或有措詞不嚴謹之處，望大家不吝指出。謝謝！ 機器學習中的基本概念 基本術語 根據上圖我們可以用一個三維空間來了解以
《機器學習》-周志華版學習筆記目錄
原定於11月分完成周志華老師所著的《機器學習》的學習，並整理出學習筆記的計劃，截至今天總算是基本完成了。中間出了一趟差，周內的還需要做一些專案上的工作，其實時間還是非常的緊的，所以每天基本是上是早上看書，下午專案，晚上總結筆記這樣一個時間安排。有的時候真的是看不進去，也不理解，就想著
機器學習西瓜書（周志華）學習筆記（1）-緒論
基本術語 資料集（data set）：一組記錄的集合。例如：（色澤=青綠；根蒂=稍蜷；敲聲=沉悶）。 樣本（sample）：資料集中的每條記錄，它是關於一個事件或物件的描述。又稱示例（instance）。例如：色澤=青綠。 屬性（attribute）：反映事件或物件在某
周志華機器學習總結
Lecture3 線性模型 基本形式 一般向量形式: 優點: 線性迴歸 廣義線性模型 對數機率迴歸 由對數機率函式確定 $\boldsymbol{\omega}$ 和 $b$
周志華 機器學習 效能度量
2.5 效能度量 效能度量（performance measure）是衡量模型泛化能力的評價標準，在對比不同模型的能力時，使用不同的效能度量往往會導致不同的評判結果。本節除2.5.1外，其它主要介紹分類模型的效能度量。 2.5.1 最常見的效能度量 在迴歸任務中，即預測連續值的問題，最常
周志華 機器學習
盜用weka 緒論 1.2基本術語 學習任務大致分為兩類： 監督學習：分類、迴歸 無監督學習：聚類 泛化：訓練得到的模型適用於新樣本的能力 機器學習領域最重要的國際學術會議是國際機器學習會議 (ICML)、國
周志華機器學習讀後總結 第10、11章
降維與度量學習 什麼是降維學習 降維是一種分類演算法，它是一種解決維數災難的重要途徑。例如二維資料經過投影變為一維資料從而更好的表徵資料的特徵，然後再進行識別；這就利用了降維的方法。 K鄰近學習 k近鄰學習是一種監督學習演算法，它給定測試樣本，基於某種距離度量找出與訓練集
周志華機器學習讀後總結 第三章
線性模型 基本形式 線性模型試圖學得一個通過屬性的線性組合來進行預測的函式，即f(x)=w1x1+w2x2+…+wdxd+b,w和b學得之後，模型就得以確定，而w直觀表達了各屬性在預測中的重要性。線性迴歸 線性迴歸試圖學得一個線性模型以儘可能準確的預測實值輸出標記。線性迴歸
周志華機器學習讀後總結 第12、13章
計算學習理論 什麼是計算學習理論 計算學習理論是關於機器學習的理論基礎，其目的是分析學習任務的困難本質，為學習演算法提供理論保證，並根據分析結果指導演算法設計。泛化誤差和經驗誤差是計算學習理論的兩個重要概念，現實中我們常用經驗誤差作為泛化誤差的近擬。 PAC學習 PAC學
《機器學習》周志華 整合學習
8.1個體整合 個體學習器可以由 C4.5決策樹演算法 BP神經網路等 來訓練。 個體學習器(同質)---->叫基學習器(也叫弱學習器---指泛化效能略優於隨機猜測的學習器，如二分類問題上精度略高於50%的分類器) 相應的演算法叫做
吳恩達機器學習筆記——彙總
介紹：吳恩達（1976-，英文名：Andrew Ng），華裔美國人，是斯坦福大學計算機科學系和電子工程系副教授，人工智慧實驗室主任。吳恩達是人工智慧和機器學習領域國際上最權威的學者之一。吳恩達也是線上教育平臺Coursera的聯合創始人（withDaphne Koller）。 2014年5月16日，
機器學習筆記彙總1
1. 機器學習基本型別 有監督學習： 根據已知的輸入和輸出，建立聯絡它們的模型，根據該模型對未知輸出的輸入進行判斷。 1）迴歸：以無限連續域的形式表示輸出 2）分類：以有限離散域的形式表示輸出 監督學習又可以劃分為生成模型和判別模型。 生成模型： 由資料學
python 實現周志華 機器學習書中 k-means 演算法
hello，all 上節採用python實現了決策樹，本節使用python實現k-means演算法，後一節將會採用map-reduce實現k-means演算法 演算法程式如下： 演算法程式碼如下： # coding=utf-8 import pprint import
周志華西瓜書筆記——第一章
1.1引言 概念1：基於經驗做出的預判 機器學習定義：通過計算手段，利用經驗資料產生模型用於改善系統自身效能。 更形式化的定義：假設用P 來評估計算機在某任務類T上的效能，若一個程式通過利用經驗E在T中任務上獲得了效能上的改善，就說關於T,P，該程式對E進行了學習。 1
python 實現周志華 機器學習書中的決策樹 c3.0
hello,上篇文章實現的是svm 本文實現決策樹演算法。主要是依照周志華那本機器學習的書籍，進行實現。 其中紅色部分我未寫。因為我在選擇屬性劃分的時候，不可能導致資料集為空。所以這部分對我來說沒有必要了 這裡是用字典來儲存樹，開始還準備用list，發現字典要好些，但是我
周志華《機器學習》筆記彙總
讀周志華老師的《機器學習》一書時的筆記彙總，純屬個人理解，歡迎交流討論。 簡要介紹機器學習。 本章介紹模型評估與選擇，包括： 1. 誤差產生：過擬合和欠擬合 2. 評估方法：給定資料集後如何產生訓練集和測試集