吳恩達機器學習(第五章)--特徵縮放和學習率
一、特徵縮放
----(1)
對於我們假設的式子(1),可能存在這樣一種情況就是有些資料遠大於另一些資料(eg:x_1>>x_2)
比如房子價格的例子:
房子的面積要遠大於房子的層數和房間數。在這種情況下可以看下圖,所產生的等高線的圈會很窄,在做梯度下降的時候需要做很多次(紅箭頭)。
這種情況下我們就可以進行特徵縮放,將各類資料縮放在同一範圍內。從而得到下圖。
特徵縮放的方法:我們可以除以每一種型別的自身的平均值。也可以時其他特定的數,只要能使他們在一定的範圍內就行,而這個範圍也不是固定的,可以時[-1,1],也可以是[0,3]等等,只要不是太大,比如[-100,100]就不好
向上圖就會收斂的更快一些。
二、學習率
學習率其實就是在梯度下降時候的α,α太小則收斂太慢,耗費時間,α太大則有可能永遠無法收斂(如下圖)
相關推薦
吳恩達機器學習(第五章)--特徵縮放和學習率
一、特徵縮放 ----(1) 對於我們假設的式子(1),可能存在這樣一種情況就是有些資料遠大於另一些資料(eg:x_1>>x_2) 比如房子價格的例子: 房子的面積要遠大於房子的層數和房間數。在這種情況下可以看下圖,所產生的等高線的圈會很窄,在做梯度下降
吳恩達機器學習(第十三章)---支援向量機SVM
一、優化目標 邏輯迴歸中的代價函式: 畫出兩種情況下的函式影象可得: y=1: 我們找一條折線來近似表示這個函式影象 y=0: 我們用這兩條折線來近似表示原來的曲線函式可得新的代價函式(假設-log(h(x))為,-log(1
吳恩達機器學習(第十章)---神經網路的反向傳播演算法
一、簡介 我們在執行梯度下降的時候,需要求得J(θ)的導數,反向傳播演算法就是求該導數的方法。正向傳播,是從輸入層從左向右傳播至輸出層;反向傳播就是從輸出層,算出誤差從右向左逐層計算誤差,注意:第一層不計算,因為第一層是輸入層,沒有誤差。 二、如何計算 設為第l層,第j個的誤差。
吳恩達機器學習(第九章)---神經網路
神經網路是非線性的分類演算法。模擬人類的神經系統進行計算。 1、原因 當特徵數很大的時候(比如100個),那麼在假設函式的時候要考慮太多項,包含x1x2,x1x3,x2x3等等,不能僅僅單個考慮x1,x2等,這樣一來,在擬合過程中的計算量就會非常大。 2、基本概念 其中,藍色的
吳恩達機器學習(第八章)---正則化
在我們擬合的時候,根據我們選擇函式的不同可能會出現欠擬合,擬合程度較好,過擬合。 1.欠擬合和過擬合 欠擬合,上面第一張圖就是欠擬合情況,欠擬合表現為所選的函式沒有很好的擬合所給的資料,從影象上看就是很多資料都不在函式上,偏
吳恩達機器學習(第七章)---邏輯迴歸
一、邏輯迴歸 邏輯迴歸通俗的理解就是,對已知類別的資料進行學習之後,對新得到的資料判斷其是屬於哪一類的。 eg:對垃圾郵件和非垃圾郵件進行分類,腫瘤是惡性還是良性等等。 1.為什麼要用邏輯迴歸: 對於腫瘤的例子: 在外面不考慮最右邊的樣本的時候我們擬合的線性迴歸
Coursera吳恩達機器學習課程-第五章
五、Octave教程(Octave Tutorial) 5.1 基本操作 參考視訊: 5 - 1 - Basic Operations (14 min).mkv 在這段視訊中,我將教你一種程式語言:Octave語言。你能夠用它來非常迅速地實現這門課中我們已經學過的,或者
吳恩達機器學習(第十五章)---降維PCA
一、目標 1.資料壓縮 在機器學習中,會用到大量資料進行學習訓練,當資料量很大,維度高時,對電腦記憶體的壓力會很大,並且學習的速度也會很慢。 2.視覺化 我們將一些高維的資料降維到1維,2維,3維的話,就可以進行視覺化,將資料以圖表的方式展示出來。 二、主成分分析方法 主成分
吳恩達機器學習(第十四章)---無監督學習kmeans演算法
一、kmeans演算法 Kmeans演算法的流程: 1.根據我們要分的類別數,就是你要將資料分成幾類(k類),隨機初始化k個點(暫且稱為類別點) 2.計算每個資料點到k個類別點的距離,將其歸類到距離最近的那個類別點 3.計算每一類中包含的資料點的位置的平均值,比如,包含a(x1,y1
演算法工程師修仙之路:吳恩達機器學習(十五)
吳恩達機器學習筆記及作業程式碼實現中文版 第十章 支援向量機 大間隔分類器的數學原理 假設我有兩個二維向量 u
Coursera-吳恩達-機器學習-(第5周筆記)Neural Networks——Learning
Week 5 —— Neural Networks : Learning 目錄 一代價函式和反向傳播 1-1 代價函式 首先定義一些我們需要使用的變數: L =網路中的總層數 sl =第l層中的單位數量(不
Coursera-吳恩達-機器學習-(程式設計練習8)異常檢測和推薦系統(對應第9周課程)
exercise 8 —— 異常檢測和推薦系統 在本練習中,第一部分,您將實施異常檢測演算法並將其應用於檢測網路上發生故障的伺服器。 在第二部分中,您將使用協作過濾來構建電影的推薦系統。 1 異常檢測 在這個練習中,您將實現一個異常檢測演算
吳恩達機器學習(第2周--Octave/Matlab Tutorial)【下】
第2周--Plotting Data>> t = [0:0.01:0.98]; >> y1 = sin(2*pi*4*t); >> plot(t,y1) >> y1 = cos(2*pi*4*t); >> plo
Coursera-吳恩達-機器學習-(程式設計練習7)K均值和PCA(對應第8周課程)
exercise 7 —— K-means and PCA 在本練習中,您將實現K均值聚類演算法並將其應用於壓縮影象。 在第二部分中,您將使用主成分分析來查詢面部影象的低維表示。 1 K-means 先從二維的點開始,使用K-means進行分類
Coursera-吳恩達-機器學習-(第11周筆記)應用例項:photo OCR
Week 11 ——Application Example: Photo OCR 目錄 影象OCR(Optical Character Recognition) 1-1 問題描述 在這一段介紹一種 機器學習的應用例項 照片OCR技術
演算法工程師修仙之路:吳恩達機器學習(五)
吳恩達機器學習筆記及作業程式碼實現中文版 第四章 Logistic迴歸 簡化代價函式與梯度下降 邏輯迴歸的代價函式: C
吳恩達機器學習(五)正則化(解決過擬合問題)
目錄 0. 前言 學習完吳恩達老師機器學習課程的正則化,簡單的做個筆記。文中部分描述屬於個人消化後的理解,僅供參考。 0. 前言 在分類或者回歸時,通常存在兩個問題,“過擬合”(overfitting)和“欠擬合”(underfitting). 過擬
Coursera-AndrewNg(吳恩達)機器學習筆記——第三周
訓練 ros 方便 font 就是 梯度下降 全局最優 用法 郵件 一.邏輯回歸問題(分類問題) 生活中存在著許多分類問題,如判斷郵件是否為垃圾郵件;判斷腫瘤是惡性還是良性等。機器學習中邏輯回歸便是解決分類問題的一種方法。二分類:通常表示為y?{0,1},0:“Negat
吳恩達機器學習(十六)機器學習流水線、上限分析
目錄 0. 前言 1. 流水線 2. 上限分析(Ceiling analysis) 學習完吳恩達老師機器學習課程的照片OCR,簡單的做個筆記。文中部分描述屬於個人消化後的理解,僅供參考。 如果這篇文章對你有一點小小的幫助,請給個關注
吳恩達機器學習(第一章)
機器學習可以分為監督學習和無監督學習兩大類。 一、監督學習 監督學習就是在資料中有特定標註,會對資料進行分類,比如癌症例子。監督學習得到的結果可以預測某個新資料對應的結果(線性迴歸)或是該資料屬於哪一類(邏輯迴歸)。比如癌症的預測,房價的預測等。 圈和叉就分別標識兩類資料,即在學習