1. 程式人生 > >機器學習-積累與發現

機器學習-積累與發現

機器學習基礎(Mechine Learning)

模型相關

機器學習:準確率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲線、PR曲線
ROC曲線-閾值評價標準
理解 Bias 與 Variance 之間的權衡

var是不同訓練模型之間的差別,好比K-fold之中,如果不同模型之間差別很大(var大),也就是說他們都和自己的訓練集與其他訓練集不接近,所以,不同模型之間var很大->他們就都不是truth;而如果bias很大,不用細講,那他們更不是truth

Stanford機器學習—第六講. 怎樣選擇機器學習方法、系統


Bias-Variance Tradeoff(權衡偏差與方差)
生成模型與判別模型
判別模型(Discriminative model)和生成模型(Generative model)
最大熵模型原理小結
Instance Based Learning
淺談流形學習
什麼是Grid Search 網格搜尋?

樣本處理

訓練集、測試集和驗證集
離群點(孤立點、異常值)檢測方法
機器學習 —— 類不平衡問題與SMOTE過取樣演算法

特徵工程

特徵工程到底是什麼? - 城東的回答 - 知乎
機器學習中的特徵——特徵選擇的方法以及注意點
奇異值分解(SVD)原理
特徵降維-PCA(Principal Component Analysis)


PCA 降維演算法詳解 以及程式碼示例
區域性線性嵌入(LLE)原理總結

有監督學習(Supervised Learning)

最近鄰

機器學習之KNN演算法
最近鄰查詢演算法kd-tree
詳解KDTree
Scikit-learn:最近鄰搜尋sklearn.neighbors與ball tree
《機器學習實戰》學習筆記——第2章 KNN

用balltree找某個目標點target的所屬的時候,我猜應該是從上往下依次比較target點距離左球與右球的球心的距離,距離哪個球心更近,就走哪條路徑

Logistics

邏輯斯蒂迴歸(Logistic Regression)


Logistic迴歸原理及公式推導
嶺迴歸和lasso—迴歸的拓展
多重共線性的解決方法之——嶺迴歸與LASSO

Softmax

Softmax迴歸

SVM

支援向量機SVM(一)
支援向量機SVM(二)
SMO優化演算法(Sequential minimal optimization)
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT條件
支援向量機通俗導論(理解SVM的三層境界)
支援向量機(SVM)的特點與不足

多核學習

從 SVM 到多核學習 MKL
特徵提取-特徵後期融合-多核學習方法(MKL)

貝葉斯方法

演算法雜貨鋪——分類演算法之樸素貝葉斯分類(Naive Bayesian classification)
從貝葉斯方法談到貝葉斯網路
概率圖模型之:貝葉斯網路
樸素貝葉斯演算法原理小結
超細緻的貝葉斯決策論
從決策樹學習談到貝葉斯分類演算法、EM、HMM

決策樹

決策樹演算法原理(上)
決策樹演算法原理(下)
scikit-learn決策樹演算法類庫使用小結
決策樹與隨機森林
決策樹系列(五)——CART
CART 分類與迴歸樹

整合學習

整合學習原理小結
Bagging和Boosting 概念及區別
Bagging與隨機森林演算法原理小結
[Machine Learning & Algorithm] 隨機森林(Random Forest)
提升方法之AdaBoost、提升樹(GBDT)
整合學習之Adaboost演算法原理小結
梯度提升樹(GBDT)原理小結

在GBDT迴歸的時候,每一個新的弱分類器的葉子節點個數可能都不一樣,GBDT迴歸的靈魂在於每個葉子節點的值的選擇
多元GBDT分類的每個fk(x)代表的是針對“是第k類樣本”和“不是第k類樣本”的分類模型

一步一步理解GB、GBDT、xgboost
xgboost原理及應用–轉
Complete Guide to Parameter Tuning in XGBoost (with codes in Python)

綜合

感知機、線性迴歸、邏輯迴歸的簡單對比

無監督學習(Unsupervised Learning)

K-Means

Canopy Clustering
Canopy演算法聚類
演算法雜貨鋪——k均值聚類(K-means)
基本Kmeans演算法介紹及其實現(距離的度量)
K-means與K-means++

DBSCAN

聚類方法:DBSCAN演算法研究(1)–DBSCAN原理、流程、引數設定、優缺點以及演算法
5.無監督學習-DBSCAN聚類演算法及應用
DBSCAN密度聚類演算法

LOF

異常點/離群點檢測演算法——LOF

EM演算法

EM演算法(Expectation Maximization Algorithm)詳解
簡單易學的機器學習演算法——EM演算法

頻繁模式

頻繁模式挖掘 Apriori
資料探勘十大演算法之Apriori詳解
FP Tree演算法原理總結

推薦演算法

5類系統推薦演算法,非常好使,非常全

增強學習(Reinforcement Learning)

增強學習基礎

強化學習系列(上):關於強化學習,你需要知道的重要知識點
強化學習系列(下):貝爾曼方程
強化學習(Reinforcement Learning, RL)初步介紹
強化學習學習筆記——介紹強化學習(reinforcement learning)
Deep Reinforcement Learning 基礎知識
強化學習學習筆記列表
增強學習Reinforcement Learning經典演算法梳理1:policy and value iteration

多臂賭博機

從Multi-arm Bandits問題分析 - RL進階
多臂賭博機系列

深度學習(Deep Learning)

神經網路基礎

一文看懂25個神經網路模型
感知機(Perceptron)
前饋神經網路與反向傳播演算法(推導過程)
A Step by Step Backpropagation Example
多層感知機:Multi-Layer Perceptron

卷積神經網路(CNN)

深度學習簡介(一)——卷積神經網路
深度學習(四)卷積神經網路入門學習(1)
卷積神經網路

Hopfield神經網路

DL:Hopfield 神經網路
MATLAB神經網路程式設計(九)——Hopfield網路

AutoEncoder

深度學習教程之Autoencoder
深度學習之自編碼器AutoEncoder

玻爾茲曼機

受限玻爾茲曼機RBM最通俗易懂的教程
深度學習教程之受限玻耳茲曼機

深度信念網路

深度信念網路(Deep Belief Network)
深度信念神經網路DBN最通俗易懂的教程
機器學習——DBN深度信念網路詳解

線上學習(On-line learning)

基礎

從不同角度看機器學習的幾種學習方式
使用sklearn進行增量學習

綜合

教程

資料探勘十大演算法
Coursera-機器學習-Andrew NG
Build Intelligent Applications
臺大李巨集毅-線性代數、ML和DL
deeplearning4j

優秀Blog

AI 傳送門(很多深度學習資料、keras入門)
Albert-Lee (代表作:Python爬蟲小白入門)
四去六進一 (代表作:機器學習(周志華西瓜書) 參考答案 總目錄)
龍哥盟飛龍blog(老哥瘋狂翻譯了一堆書和文件)
jerrylead (機器學習經典演算法學習筆記)
摸煩Python(很多原理+Python實踐+B站視訊教程,超強,劃重點)
Pinard部落格(機器學習與資料探勘大神,部落格內容超級豐富,知識點簡單易懂)