引用的文檔

A Survey on Machine Learning: Concept, Algorithms and Applications

A survey of machine learning

Machine Learning, Tom Mitchell 1997 | PDF下載

**百度網盤下載地址：https://pan.baidu.com/s/1jJLVfpG**

**IPFS下載地址：https://ipfs.io/ipfs/QmV5oWgZwH652T15fhVuGrQaou4p6y1aRfxde6HVXMHkPj**

機器學習是交叉學科，跨計算機科學和統計學領域。與之類似的研究領域，人或動物的神經科學領域。

發展歷史

• 第一階段是在20世紀50年代中葉到60年代中葉，屬於熱烈時期。
• 第二階段是在20世紀60年代中葉至70年代中葉，被稱為機器學習的冷靜時期。
• 第三階段是從20世紀70年代中葉至80年代中葉，稱為復興時期。
• 機器學習的最新階段始於1986年。

研究領域和相關工作

• 非標註數據的有監督學習
• 學習經驗的可傳遞
• 鏈接不同的ML算法
• 學習者如何主動收集自己需要的數據
• 隱私保護數據挖掘
• Never-Ending Learners (永無止境的學習者)

研究領域的另外一種分類

• 有監督學習
• 無監督學習
• 增強學習

主要的研究方向

• 數據挖掘
  • 目的：從已有數據中發現模式，應用於趨勢預測、分類、聚類、頻繁模式等
  • 常見問題：過擬合、評估假設、隱私問題
• 人工神經網絡
• 增強學習

機器學習算法分類

• 根據學習方式分類
  1. 有監督學習
     1. 線性回歸
     2. 最近鄰
     3. ID3 (基於決策樹)
  2. 無監督學習
  3. 半監督學習
  4. 增強學習
• 根據相似度分類
  1. 回歸算法 (Regression Alg)
     1. Linear Regression, Logistic Regression, Stepwise Regression , Ordinary Least Squares Regression (OLSR), Multivariate Adaptive Regression Splines (MARS) , Locally Estimated Scatterplot Smoothing (LOESS)
  2. 基於實例的算法 (Instance-based Alg)
     1. K-Nearest Neighbour (KNN), Learning Vector Quantisation (LVQ), Self-Organising Map (SOM), Locally Weighted Learning (LWL)
  3. 規則化 (Regularisation Algorithm)
     1. 主要指範數規則化
  4. 決策樹算法 (Decision Tree Alg)
     1. Classification and Regression Tree (CART), Iterative Dichotomiser 3 (ID3), C4.5 and C5.0, Chi-squared AutomaticInteraction Detection (CHAID) , Decision Stump, M5, Conditional Decision Trees
  5. 貝葉斯算法 (Bayesian Alg)
     1. Naive Bayes, Gaussian Naive Bayes, Multinomial Naive Bayes, Averaged One-Dependence Estimators
        (AODE), Bayesian Belief Network (BBN), Bayesian Network (BN)
  6. 支持向量機 (Support Vector Machine - SVM)
  7. 聚類 (Clustering Alg)
     1. K-Means, K-Medians, Affinity Propagation, Spectral Clustering, Ward hierarchical clustering, Agglomerative clustering. DBSCAN, Gaussian Mixtures, Birch, Mean Shift, Expectation Maximisation (EM)
  8. 關聯規則學習算法
  9. 人工神經網絡算法 (Artificial Neural Network Alg)
     1. Perceptron, Back- Propagation, Hop-field Network, Radial Basis Function Network (RBFN)
  10. 深度學習算法 (Deep Learning Alg)
      1. Deep Boltzmann Machine (DBM), Deep Belief Networks (DBN), Convolutional Neural Network (CNN), Stacked Auto-Encoders
      2. 它是ANN的特定分支
  11. 降維算法
      1. Principal Component Analysis (PCA), Principal Component Regression (PCR), Partial Least Squares Regression (PLSR), Sammon Mapping, Multidimensional Scaling (MDS), Projection Pursuit, Linear Discriminant Analysis (LDA), Mixture Discriminant Analysis (MDA), Quadratic Discriminant Analysis (QDA), Flexible Discriminant Analysis (FDA)
  12. 算法集成 (Ensemble)

      1. Boosting, Bootstrapped Aggregation (Bagging), AdaBoost, Stacked Generalisation (blending), Gradient Boosting Machines (GBM), Gradient Boosted Regression Trees (GBRT), Random Forest, Extremely Randomised Trees

         主要應用

• 語音識別
• 機器視覺
• 監控
• 機器人或自動化控制
• 實證科學實驗
• 其他：spam filtering, fraud detection, topic identification and predictive analytics等

未來

• 解釋人類的學習能力
• 帶有ML原語的編程語言
• 認知

機器學習綜述