機器學習---吳恩達---Week1(機器學習概述與單變量線性回歸方程分析)
機器學習概述
Machine Learning: Grew out of work in AI & New capability for computers
Examples: Database Mining、Computer Vision、Natural Language Processing(NLP)、Self-customizing programs and so on
What is Machine Learning?
Arthur Samuel (1959)---Field of study that gives computers the ability to learn without being explicitly programmed.(事例:對象棋程序進行大量重復實戰訓練,提高程序戰勝自己的概率)
Tom Mitchell (1998)---A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.(典型定義,需要區分對應場景的經驗、任務和測量值的對應對象,例如垃圾郵件的分類訓練)
機器學習的分類:
Supervised learning(監督學習) & Unsupervised learning(非監督學習)
Others: Reinforcement learning(強化學習), recommender systems(推薦系統).
Supervised learning
在確定結果的數據輸入下,對連續值問題的回歸問題分析和隊離散值問題的分類問題分析。
Unsupervised learning
未經已知結果的數據訓練,直接分析大量數據內部存在的聚類或者類似雞尾酒會問題。
線性回歸問題分析
Model representation
問題描述:
數學表達過程:
模型建立:
Hypothesis(假設預測函數)
hθ(x) = θ0
+θ1x
其中x為特征數據輸入,θi(i=1,2)為參數,結果輸出為預測值。
Cost Function(損失函數)
Goal
兩種表現形式:
J-θ圖
等高線圖:
Gradient descent(梯度離散)
- 對參數的同時更新
- alpha取值過大可能會出現收斂失敗的情況,J-θ圖會出現上升,及損失函數發散,或出現大範圍波動,取值過小,導致收斂過慢
- As we approach a local minimum, gradient descent will automatically take smaller steps. So, no need to decrease α over time.
Batch Gradient descent(批量梯度離散)
梯度離散計算過程需要使用批量的訓練數據。
線性代數回顧
矩陣與向量
Matrix: Rectangular array of numbers.使用大寫字母表示(e.g. 矩陣A )
Dimension of matrix: 矩陣的行數×矩陣的列數
Matrix Elements: 矩陣的每一個數據
向量:一個n×1矩陣,使用小寫字母表示(e.g.y)
矩陣的運算
同一維度的矩陣之間可以直接相加相減,對應位置元素完成操作;
矩陣的標量乘是標量與矩陣的每一個元素進行乘或除操作,結果位置不變;
矩陣與矩陣(包括向量)的乘法如下,其一般不滿足標量乘法間的交換律,可以滿足標量乘的結合律。
特殊矩陣
Index Martix(單位矩陣): 左上-右下對角線位置元素全為1而其余位置元素全為0的矩陣。任意矩陣與單位矩陣相乘結果仍為其自身。
轉置矩陣:矩陣的行列元素互換形成的新矩陣。
逆矩陣:求與自身矩陣相乘結果為單位矩陣的過程,稱為求矩陣的逆矩陣。少數特殊矩陣不含有逆矩陣,稱為對角矩陣或簡並矩陣。
機器學習---吳恩達---Week1(機器學習概述與單變量線性回歸方程分析)