臺大李巨集毅--初入深度學習
1. 神經網路
機器學習的複雜所在,就是與 怎麼進行特種工程
而深度學習的複雜所在,就是 怎麼構造網路的結構(即層數,每層神經元的個數)
所以傳統機器學習到深度學習的轉化,就是特種工程到構造結構的轉化。
- 那麼結構可以自動生成嗎?
可以,但是還不完善。
2. 神經網路的損失函式
那麼怎麼減少損失函式loss function. ——————》梯度下降
3. 梯度下降
相關推薦
臺大李巨集毅--初入深度學習
1. 神經網路 機器學習的複雜所在,就是與 怎麼進行特種工程 而深度學習的複雜所在,就是 怎麼構造網路的結構(即層數,每層神經元的個數) 所以傳統機器學習到深度學習的轉化,就是特種工程到構造結構的轉化。 那麼結構可以自動生成嗎? 可以,但是還
臺大李巨集毅--深度學習tip(模型優化)
訓練結果不好,並不總是因為過擬合 訓練結果不好,並不總是因為過擬合。有可能是你的training data都沒有訓練好,那最終結果一定不好 深度學習的層數越多,網路越複雜,並不一定模型會越複雜。有時會使得模型變簡單,變成欠擬合。 在機器學習中,要想
臺大李巨集毅教授最新課程,深度強化學習國語版
李巨集毅的youtube主頁:https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ/videos此外,李老師在youtube還有《機器學習》和《深度學習》兩門課程的視訊講解,這兩門課程也獲得了不錯的口碑,課程連結如下
臺大李巨集毅
1:Regression-Case Study 為什麼在Loss function中,只考慮對w的正則化,而不考慮對b的正則化? 因為b是一條水平線,b對Loss function是否平滑幾乎不產生影響。 1-Regression Demo Ada-Gradient
臺大李巨集毅--CNN
CNN與普通深度學習(全網路連線 )的很大區別就是:CNN是關注圖片的一小部分,一小部分的。而普通深度學習是把影象的每一個畫素全部拉長,都作為輸入。 一:CNN整體流程 1. CNN – Convolution CNN 的Convolution與 普通
臺大李巨集毅--keras
Keras中文文件 Keras英文文件 1. 簡述 2. keras基本流程 以手寫數字識別為例 1. 定義網路結構 2. 設定損失函式的形式 3. 模型擬合 當batch_size=1時,就是 隨機梯度下降 Stocha
臺大李巨集毅-- 反向傳播演算法 Backpropagation
1. 鏈式法則 2. 反向傳播演算法 例項 計算前向傳播: 比如: 你會發現,輸入值就是前向傳播中,要求求解的導數的值。 計算後向傳播: 這裡假設,一個樣本造成的損失loss是: (每個樣本有兩個輸入x1,x2) 綜上所述:
臺大李巨集毅--梯度下降Gradient Descent
一:簡單梯度下降 1. 概述 預測模型為 y=b+w∗xcp y = b +
【臺大李巨集毅ML課程】Lecture 13 Unsupervised Learning——Linear Dimension Reduction筆記
本節課主要講了兩種線性降維的方法——cluster和PCA,並從兩個角度解釋了PCA。最後講了一些關於矩陣分解的知識。 1.cluster cluster就簡單的帶過了,主要是k-means和HAC k-means原理: (1)先初始化k箇中心點ci
4 李巨集毅生成對抗網路學習———WGAN
論文題目:《Wasserstein GAN》( 2017年收錄於ICML ) 1 背景 生成對抗網路GAN( General Adversarial Networks )誕生以來出現的 一些問題。問題核心在GAN的目標函式JS散度: 當判別器D訓練得越好,生成器G的梯度
【李巨集毅深度強化學習2018】P3 Q-learning(Basic Idea)
第三講 Q-learning(Basic Idea) 視訊地址:http
【李巨集毅深度強化學習2018】P2 Proximal Policy Optimization (PPO)
第二講 Proximal Policy Optimization(PPO) 視訊地址:https:/
李巨集毅老師《1天搞懂深度學習》
Deep Learning • 上學期的「機器學習」錄影 • DNN: https://www.youtube.com/watch?v=Dr-WRlEFefw • Tips for DNN: https://www.youtube.com/watch?v=xki61j7z-30 • CNN:
【深度學習基礎】《深度學習》李巨集毅
重要知識點: 激勵函式(activation function) softmax layer Lecture 1: Introduction of Deep Learning 1. 深度學習的步驟 機器學習的步驟: Step 1: 定義一個函式集合(define
深度學習導論 - 讀李巨集毅《1天搞懂深度學習》
先引用他人關於李巨集毅教授關於深度學習導論的PPT,應該非常容易入門。 ”《1天搞懂深度學習》,300多頁的ppt,臺灣李巨集毅教授寫的,非常棒。不誇張地說,是我看過最系統,也最通俗易懂的,關於深度學習的文章。“ 這是slideshare的連結:htt
李巨集毅機器學習PTT的理解(1)深度學習的介紹
深度學習的介紹 機器學習就像是尋找一個合適的函式,我們輸入資料就可以得到想要的結果,比如: 在語音識別中,我們輸入一段語音,函式的輸出值就是識別的結果;在影象識別中,輸入一張照片,函式可以告訴我們分類
李巨集毅機器學習2016 第八講 深度學習網路優化小訣竅
Tips for Deep Learning 本章節主要講解了深度學習中的一些優化策略,針對不同的情況適用於不同的優化方法。 主要內容是:新的啟用函式(new activation function),自適應的學習率(adaptive learning
純乾貨14 2017年-李巨集毅-最新深度學習/機器學習中文視訊教程分享_後篇
前一期給大家分享了李巨集毅老師17年深度學習課程的前半部分,今天繼續與大家分享李老師的在2017年初陸續發放出來的關於深度學習/機器學習的視訊課程後半部分。 整套視訊的目錄: 整套教程的視訊及配套PPT下載地址: 密碼: 微信公眾號回覆“ma2” 往期精
李巨集毅機器學習筆記-6 深度學習簡介(Brief Introduction of Deep Learning)
Brief Introduction of Deep Learning - 深度學習簡介 1. 前言 deep learning 在近些年非常熱門,從2012年開始,深度學習的應用數目幾乎是呈指數增長的。 深度學習的發展史如下圖:
國立臺灣大學-李巨集毅-2017年(秋)最新深度學習與機器學習應用及其深入和結構化研究課程分享
課程持續更新中,文末附分享目前已經release出來的視訊和ppt下載鏈接。 課程描述: 講解深度學習的基本理論,介紹深度學習各種實際應用。 期望和目標: 希望學習本門課程的學生學會: (1)、深度學習工作原理。 (2)、深度學習常用架構工作原理。