吳恩達機器學習（第二章）----線性迴歸
線性迴歸要做的主要包含代價函式和梯度下降。
一、基本解釋
線性迴歸的過程其實就是我們在選擇好某個型別的函式之後去不斷的擬合現有的資料，那麼什麼情況下我們這個函式是最符合，最貼近我們這些資料的呢？就是在代價函式的值最小的時候。
二、代價函式
假設要擬合的函式是h(x)=
x0固定是1因此第一項表示常數。
(m為資料的條數)
代價指的就是h(x)與真實的y相差得多少。即求與真實值之間的差別的和的平均值。所以求代價函式的最小值就是求上面式子的最小值。
三、梯度下降
梯度下降是求代價函式最小值的一種方法。
j=（1..n），α為梯度下降的速率，α越大，下降的幅度就越大（太大會導致無法得到最小值，太小又會收斂的太慢，所以要找合適的值）
J(Θ...Θn)表示的是代價函式。
對每一個θ做這樣的運算。
第一幅為正常收斂，第二幅就是α太大導致無法收斂
相關推薦
吳恩達機器學習（第二章）----線性迴歸
線性迴歸要做的主要包含代價函式和梯度下降。 一、基本解釋 線性迴歸的過程其實就是我們在選擇好某個型別的函式之後去不斷的擬合現有的資料，那麼什麼情況下我們這個函式是最符合，最貼近我們這些資料的呢？就是在代價函式的值最小的時候。 二、代價函式 假設要擬合的函式是h(x)=
吳恩達機器學習（第一章）
機器學習可以分為監督學習和無監督學習兩大類。 一、監督學習 監督學習就是在資料中有特定標註，會對資料進行分類，比如癌症例子。監督學習得到的結果可以預測某個新資料對應的結果（線性迴歸）或是該資料屬於哪一類（邏輯迴歸）。比如癌症的預測，房價的預測等。 圈和叉就分別標識兩類資料，即在學習
吳恩達機器學習（十六）機器學習流水線、上限分析
目錄 0. 前言 1. 流水線 2. 上限分析（Ceiling analysis） 學習完吳恩達老師機器學習課程的照片OCR，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。 如果這篇文章對你有一點小小的幫助，請給個關注
吳恩達機器學習（十一）K-means（無監督學習、聚類演算法）
目錄 0. 前言 學習完吳恩達老師機器學習課程的無監督學習，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。 如果這篇文章對你有一點小小的幫助，請給個關注喔~我會非常開心
吳恩達機器學習（十二）主成分分析（降維、PCA）
目錄 0. 前言 學習完吳恩達老師機器學習課程的降維，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。 如果這篇文章對你有一點小小的幫助，請給個關注喔~我會非常開心的~ 0. 前言 資料的特徵數量，又稱作向量的維度。降維（dimens
吳恩達機器學習（十四）推薦系統（基於梯度下降的協同過濾演算法）
目錄 0. 前言 學習完吳恩達老師機器學習課程的推薦系統，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。 如果這篇文章對你有一點小小的幫助，請給個關注喔~我會非常開心的~ 0. 前言 在推薦系統中，主要有兩種方法，基於內容的推薦
演算法工程師修仙之路：吳恩達機器學習（十五）
吳恩達機器學習筆記及作業程式碼實現中文版 第十章 支援向量機 大間隔分類器的數學原理 假設我有兩個二維向量 u
演算法工程師修仙之路：吳恩達機器學習（十四）
吳恩達機器學習筆記及作業程式碼實現中文版 第十章 支援向量機 直觀上對大間隔的理解 人們有時將支援向量機看作是大間距分類器。 支援向量機模型的代價函式，在左邊這裡我畫出了關於 z 的代價函式
演算法工程師修仙之路：吳恩達機器學習（十二）
吳恩達機器學習筆記及作業程式碼實現中文版 第九章 機器學習系統設計 確定執行的優先順序 以一個垃圾郵件分類器演算法為例進行討論。 為了解決這樣一個問題，我們首先要做的決定是如何選擇並表達特徵向量
演算法工程師修仙之路：吳恩達機器學習（十一）
吳恩達機器學習筆記及作業程式碼實現中文版 第八章 應用機器學習的建議 決定下一步做什麼 獲得更多的訓練例項——通常是有效的， 但代價較大， 下面的方法也可能有效， 可考慮先採用下面的幾種方法： 嘗試減少特徵的數量； 嘗試獲得更多的特徵
吳恩達機器學習筆記 —— 2 單變數線性迴歸
第一章講述了基本的機器學習的概念以及分類，這裡從單變數的線性迴歸入手，吳恩達講解了機器學習中的幾個重要因素，如模型、損失函式、優化方法等 首先以房價預測入手： 房子的面積 每平米的房價 2104 460 1416 232 1534 315 852 178 其中： m 為
吳恩達機器學習筆記 —— 5 多變數線性迴歸
本篇主要講的是多變數的線性迴歸，從表示式的構建到矩陣的表示方法，再到損失函式和梯度下降求解方法，再到特徵的縮放標準化，梯度下降的自動收斂和學習率調整，特徵的常用構造方法、多維融合、高次項、平方根，最後基於正規方程的求解。 在平時遇到的一些問題，更多的是多特徵的 多變數的表示方法 多元線性迴歸中的損失
吳恩達機器學習練習1——單變數線性迴歸
機器學習練習1——單變數線性迴歸代價函式：梯度下降練習1資料集代價函式梯度下降法視覺化J 單變數線性迴歸 代價函式： 梯度下降 練習1 資料集 X代表poplation，y代表profits 資料集的視覺化 function plotData(x,
吳恩達機器學習第一次作業：線性迴歸
0.綜述 給出房價與房屋面積的關係，利用梯度下降的方法進行資料擬合，並對給定的房屋面積做出對房價的預測。 1.warmUpExercise 輸出5*5的單位矩陣 function A = warmUpExercise() %WARMUPEXE
吳恩達機器學習（第十四章）---無監督學習kmeans演算法
一、kmeans演算法 Kmeans演算法的流程： 1.根據我們要分的類別數，就是你要將資料分成幾類（k類），隨機初始化k個點（暫且稱為類別點） 2.計算每個資料點到k個類別點的距離，將其歸類到距離最近的那個類別點 3.計算每一類中包含的資料點的位置的平均值，比如，包含a(x1，y1
吳恩達機器學習（第十三章）---支援向量機SVM
一、優化目標 邏輯迴歸中的代價函式： 畫出兩種情況下的函式影象可得： y=1: 我們找一條折線來近似表示這個函式影象 y=0： 我們用這兩條折線來近似表示原來的曲線函式可得新的代價函式（假設-log(h(x))為,-log(1
吳恩達機器學習（第十章）---神經網路的反向傳播演算法
一、簡介 我們在執行梯度下降的時候，需要求得J(θ)的導數，反向傳播演算法就是求該導數的方法。正向傳播，是從輸入層從左向右傳播至輸出層；反向傳播就是從輸出層，算出誤差從右向左逐層計算誤差，注意：第一層不計算，因為第一層是輸入層，沒有誤差。 二、如何計算 設為第l層，第j個的誤差。
吳恩達機器學習（第九章）---神經網路
神經網路是非線性的分類演算法。模擬人類的神經系統進行計算。 1、原因 當特徵數很大的時候（比如100個），那麼在假設函式的時候要考慮太多項，包含x1x2,x1x3,x2x3等等，不能僅僅單個考慮x1,x2等，這樣一來，在擬合過程中的計算量就會非常大。 2、基本概念 其中，藍色的
吳恩達機器學習（第八章）---正則化
在我們擬合的時候，根據我們選擇函式的不同可能會出現欠擬合，擬合程度較好，過擬合。 1.欠擬合和過擬合 欠擬合，上面第一張圖就是欠擬合情況，欠擬合表現為所選的函式沒有很好的擬合所給的資料，從影象上看就是很多資料都不在函式上，偏
吳恩達機器學習（第七章）---邏輯迴歸
一、邏輯迴歸 邏輯迴歸通俗的理解就是，對已知類別的資料進行學習之後，對新得到的資料判斷其是屬於哪一類的。 eg:對垃圾郵件和非垃圾郵件進行分類，腫瘤是惡性還是良性等等。 1.為什麼要用邏輯迴歸： 對於腫瘤的例子： 在外面不考慮最右邊的樣本的時候我們擬合的線性迴歸