機器學習與深度學習系列連載： 第一部分 機器學習（十八）模型評估
模型評估
模型評估中有三個關鍵問題：
如何獲得測試結果？ 評估方法
如何評估效能優劣？ 效能度量
如何判斷實質差別？ 比較檢驗
2. 效能度量(performance measure)是衡量模型泛化能力的
評價標準，反映了任務需求
（1）錯誤率 VS 精度
（2）查準率 vs. 查全率
（3）PR圖, BEP
（4）F1
（5）ROC, AUC
（6）非均等代價
3. 比較檢驗
在某種度量下取得評估結果後，是否可以直接比較以評判優劣？
機器學習的理論基礎
常用方法：
統計假設檢驗 (hypothesis test) 為學習器效能比較提供了 重要依據
Friedman 檢驗圖：
相關推薦
機器學習與深度學習系列連載： 第一部分 機器學習（五） 生成概率模型（Generative Model）
生成概率模型（Generative Model） 1.概率分佈 我們還是從分類問題說起： 當我們把問題問題看做是一個迴歸問題， 分類是class 1 的時候結果是1 分類為class 2的時候結果是-1； 測試的時候，結果接近1的是class1
機器學習與深度學習系列連載： 第一部分 機器學習（九）支援向量機2（Support Vector Machine）
另一種視角定義SVM：hinge Loss +kennel trick SVM 可以理解為就是hingle Loss和kernel 的組合 1. hinge Loss 還是讓我們回到二分類的問題，為了方便起見，我們y=1 看做是一類，y=-1 看做是另一類
機器學習與深度學習系列連載： 第一部分 機器學習（十一）決策樹2（Decision Tree）
決策樹2 決策樹很容易出現過擬合問題，針對過擬合問題，我們採用以下幾種方法 劃分選擇 vs 剪枝 剪枝 (pruning) 是決策樹對付“過擬合”的 主要手段！ 基本策略： 預剪枝 (pre-pruning): 提前終止某些分支的生長 後剪枝 (post-pr
機器學習與深度學習系列連載： 第一部分 機器學習（十三）半監督學習（semi-supervised learning）
在實際資料收集的過程中，帶標籤的資料遠遠少於未帶標籤的資料。 我們據需要用帶label 和不帶label的資料一起進行學習，我們稱作半監督學習。 Transductive learning：沒有標籤的資料是測試資料 Inductive learning：沒有標
機器學習與深度學習系列連載： 第一部分 機器學習（十四）非監督度學習-1 Unsupervised Learning-1
非監督度學習-1 Unsupervised Learning-1（K-means,HAC,PCA） 非監督學習方法主要分為兩大類 Dimension Reduction (化繁為簡) Generation （無中生有) 目前我們僅專注化繁為簡，降維的方法，
機器學習與深度學習系列連載： 第一部分 機器學習（十五）非監督度學習-2 Unsupervised Learning-2（Neighbor Embedding）
臨近編碼 Neighbor Embedding 在非監督學習降維演算法中，高緯度的資料，在他附近的資料我們可以看做是低緯度的，例如地球是三維度的，但是地圖可以是二維的。 那我們就開始上演算法 1. Locally Linear Embedding (LLE) 我
機器學習與深度學習系列連載： 第一部分 機器學習（十七）非監督度學習-2 Unsupervised Learning-4（Generative Models）
生成模型 Generative Models 用非監督學習生成結構化資料，是非監督模型的一個重要分支，本節重點介紹三個演算法： Pixel RNN ，VAE 和GAN（以後會重點講解原理） 1. Pixel RNN RNN目前還沒有介紹，，以後會重點講解，大家
機器學習與深度學習系列連載： 第一部分 機器學習（十二）整合學習（Ensemble）
整合學習（Ensemble） 1. Bagging 我們考慮當結果的 variance 很大，如果降低 variance。 我們可以考慮“平行宇宙”，不同的training set 中生成不同的模型，然後做平均或者voting。 2. Decision Tre
機器學習與深度學習系列連載： 第一部分 機器學習（一）導論
什麼是機器學習？ 1.機器學習==尋找一種函式 這個函式可以： 語音識別:輸入一段語音訊號，輸出文字 ff()="howareyou"="howareyou" 影象識別:輸入圖片，輸出圖片的屬性 ff( )=“cat”=“cat” 智
機器學習與深度學習系列連載： 第一部分 機器學習（四）誤差分析（Bias and Variance）和模型調優
1.誤差分析（Bias and Variance） 當我們以非常複雜的模型去進行測試的時候，可能得到的結果並不理想 影響結果的主要有兩個因素：Bias 偏差、Variance 方差 Bias 偏差 在這裡，我們定義偏差是指與目標結果的偏移量，這個偏
機器學習與深度學習系列連載： 第一部分 機器學習（十八）模型評估
模型評估 模型評估中有三個關鍵問題： 如何獲得測試結果？ 評估方法 如何評估效能優劣？ 效能度量 如何判斷實質差別？ 比較檢驗 2. 效能度量(performance measure)是衡量模型泛化能力的 評價標準，反映了任務需求 （1
機器學習與深度學習系列連載： 第二部分 深度學習(二）梯度下降
梯度下降 Gradient Decent 我們回憶深度學習“三板斧”， 選擇神經網路 定義神經網路的好壞 選擇最好的引數集合 其中步驟三，如何選擇神經網路的好壞呢？ 梯度下降是目前，最有效的方法之一。 方法：我們舉兩個引數的例子
機器學習與深度學習系列連載： 第二部分 深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM）
深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM） RNN處理時間序列資料的時候，不僅可以正序，也可以正序+逆序（雙向）。下面顯示的RNN模型，不僅僅是simple RNN，可以是LSTM，或者GRU 1 B
機器學習與深度學習系列連載： 第二部分 深度學習（十五）迴圈神經網路 3（Gated RNN - GRU）
迴圈神經網路 3（Gated RNN - GRU） LSTM 是1997年就提出來的模型，為了簡化LSTM的複雜度，在2014年 Cho et al. 提出了 Gated Recurrent Units (GRU)。接下來，我們在LSTM的基礎上，介紹一下GRU。 主要思路是： •
機器學習與深度學習系列連載： 第二部分 深度學習（十四）迴圈神經網路 2（Gated RNN - LSTM ）
迴圈神經網路 2（Gated RNN - LSTM ） simple RNN 具有梯度消失或者梯度爆炸的特點，所以，在實際應用中，帶有門限的RNN模型變種（Gated RNN）起著至關重要的作用，下面我們來進行介紹： LSTM (Long Short-term Memory )
機器學習與深度學習系列連載： 第二部分 深度學習（十三）迴圈神經網路 1（Recurre Neural Network 基本概念 ）
迴圈神經網路 1（Recurre Neural Network 基本概念 ） 迴圈神經網路的特點： • RNNs 在每個時間點連線引數值，引數只有一份 • 神經網路出了輸入以外，還會建立在以前的“記憶”的基礎上 • 記憶體的要求與輸入的規模有關 當然，他的深度不只有一層：
機器學習與深度學習系列連載： 第二部分 深度學習（十二）卷積神經網路 3 經典的模型（LeNet-5，AlexNet ，VGGNet，GoogLeNet，ResNet）
卷積神經網路 3 經典的模型 經典的卷積神經網路模型是我們學習CNN的利器，不光是學習原理、架構、而且經典模型的超引數、引數，都是我們做遷移學習最好的源材料之一。 1. LeNet-5 [LeCun et al., 1998] 我們還是從CNN之父，LeCun大神在98年提出的模
機器學習與深度學習系列連載： 第二部分 深度學習（十一）卷積神經網路 2 Why CNN for Image？
卷積神經網路 2 Why CNN 為什麼處理圖片要用CNN？ 原因是： 一個神經元無法看到整張圖片 能夠聯絡到小的區域，並且引數更少 圖片壓縮畫素不改變圖片內容 1. CNN 的特點 卷積： 一些卷積核遠遠小於圖片大小； 同樣的pat
機器學習與深度學習系列連載： 第二部分 深度學習（十）卷積神經網路 1 Convolutional Neural Networks
卷積神經網路 Convolutional Neural Networks 卷積神經網路其實早在80年代，就被神經網路泰斗Lecun 提出[LeNet-5, LeCun 1980]，但是由於當時的資料量、計算力等問題，沒有得到廣泛使用。 卷積神經網路的靈感來自50年代的諾貝爾生物學獎
機器學習與深度學習系列連載： 第二部分 深度學習（九）Keras- “hello world” of deep learning
Keras Kearas 是深度學習小白程式碼入門的最佳工具之一。 如果想提升、練習程式碼能力，還是建議演算法徒手python實現。 複雜的深度神經網路專案還是推薦TensorFlow或者Pytorch Keras是一個高層神經網路API，Keras由純Pyt