深度學習學習記錄
1,大體流程:
(1)大家發現有可能深層次的網路更優,但是深層網路難以訓練,故無法實現
(2)有人提出提前用無監督學習方式預訓練,再用有監督訓練。如RGB、auto-encoder等實現並驗證此想法。
(3)le-net提出用relu做activation可以直接就訓練,不需要再預訓練,獲得成功
(4)google-net和VGG提出了le-net的擴充套件板,主要是進一步加深了網路的深度,獲得成功
(5)residual-net進一步用residual結構來構造神經網路,並且他發現之前的VGG或google-net這種plain-net層數再往上加反而沒有之前效果好,而這個效果不是與之前說的網路越深越好矛盾嗎?因此由於某種原因導致更深的網路不好,他用residual結構解決了此問題。
2,存在疑問
(1)為什麼除了relu以外用其他核來訓練網路無法得到目標網路?
相關推薦
【面試題】Java面試題--技術深度--個人學習記錄
1、有沒有看過JDK原始碼,看過的類實現原理是什麼。 2、HTTP協議 TCP詳解 關於http協議 3、TCP協議 TCP詳解 關於http協議 4、一致性Hash演算法 5、JVM如何載入位元組碼檔案 loa
深度學習的學習過程記錄-開山篇
機器學習machine learning 深度學習deep learning //////////////////////////////////////////////////////////////////////// 2018-11-19 記錄深度學習的學習過程 /////////
深度學習學習記錄
1,大體流程: (1)大家發現有可能深層次的網路更優,但是深層網路難以訓練,故無法實現 (2)有人提出提前用無監督學習方式預訓練,再用有監督訓練。如RGB、auto-encoder等實現並驗證此想法。 (3)le-net提出用relu做activation可以直接就訓練
重磅福利!!機器學習和深度學習學習資料合集
best from pytho robert article 我會 you sandbox lob 比較全面的收集了機器學習的介紹文章,從感知機、神經網絡、決策樹、SVM、Adaboost到隨機森林、Deep Learning。 《機器學習經典論文/survey合
python學習點滴記錄-Day02補充-文件操作
odi 打開 學習 需要 源文件 cnblogs end gbk tail 字符編碼: 把人類的字符翻譯成計算機能認識的數字 字符編碼表 存放著人類字符和計算機數字的對應關系表 ascii、gbk、utf-8、unicode unicode》encode
python學習點滴記錄-Day08
sta 試圖 typeerror 閱讀 txt lan 另有 dex 訪問權限 本次課大綱 接口與歸一化設計 多態與多態性 封裝 靜態屬性property 面向對象高級 異常處理 網絡編程 接口與歸一化設計 1.什麽是接口 ======
學習進度記錄
代碼行數 text pac pan size 學習 ext border style 周次 (閱讀/編寫)代碼行數 發布博客量/博客評論數量 課堂/課余學習時間(小時) 最滿意的編程任務 第1周 30/15 1/2 6/5
老男孩Linux運維第41期20170910開班第三周學習重點記錄
學習重點記錄一、補充一些find命令的方法:第13題 把/oldboy目錄及其子目錄下所有以擴展名.sh結尾的文件中,文件包含oldboy的字符串全部替換為oldgirl解答:方法1:find + |xargs [[email protected] ~]# find /oldboy/ -type f
為了督促自己學習,記錄自己成長的點滴
新手上路突發靈感想寫東西記錄一下,想起博文記錄自己的學過的東西,同時也希望能將自己學到的,踩過的坑分享給大家,如果有什麽寫得不好,有啥毛病大家可以直接指出,這是開頭為了督促自己學習,記錄自己成長的點滴
大數據學習總結記錄—分布式緩存-Memacache(1)
可用 ges rst 沒有 key-value 應用服務器 nginx 圖像 缺點 傳統LAMP 傳統架構LAMP linux + Apache(nginx) + Mysql + PHP 高可用,高並發,高性能 傳統架構過程分析 一個請求到來首先經過nginx反向代理
MYSQL 學習筆記記錄整理之二:分組數據
where 分組 學習 供應商 order by 記錄 price 需要 sele 1、創建分組 GROUP BY SELECT ven_id,COUNT(*) AS num_prods FROM products GROUP BY ven_id; 註意: GROUP BY
MYSQL 學習筆記記錄整理之三:子查詢
進行 測試 匹配 應該 因此 order 輸出 lec pro 1、利用子查詢進行過濾 eg:假如需要列出訂購物品TNT2的所有客戶,具體步驟: 檢索包含物品TNT2的所有訂單編號 檢索具有前一步驟列出的訂單編號的所有客戶的ID 檢索前一步驟返回的所有客戶ID的客戶信息 上
[原創]MySQL數據庫查詢和LVM備份還原學習筆記記錄
des 其他 sql數據庫 fse 三種 nlog mysql創建表 vm備份 show 一、查詢語句類型: 1)簡單查詢 2)多表查詢 3)子查詢 4)聯合查詢 1)簡單查詢: SELECT * FROM tb_name; SELECT field
Lucene.net(4.8.0) 學習問題記錄五: JIEba分詞和Lucene的結合,以及對分詞器的思考
+= d+ ext eth reac chart rdl ret start 前言:目前自己在做使用Lucene.net和PanGu分詞實現全文檢索的工作,不過自己是把別人做好的項目進行遷移。因為項目整體要遷移到ASP.NET Core 2.0版本,而Lucene使用的版本
RequestListener 學習筆記-記錄來訪者IP
RequestListener 學習筆記 import java.util.HashMap; import java.util.Map; import javax.servlet.ServletRequestEvent; import javax.servlet.ServletRequestListener
CS294-112深度增強學習課程(加州大學伯克利分校 2017)NO.2 optimal control and planning
技術分享 課程 ogr png amp LV planning control 大學 solved normally by sequential quadratic programming algorit
CS294-112深度增強學習課程(加州大學伯克利分校 2017)NO.3 Learning dynamical system models from data
增強 data learning http src img sys 增強學習 學習
CS294-112 深度強化學習 秋季學期(伯克利)NO.4 Policy gradients introduction
alt blue fun tor 深度 ase gree equal bubuko gree
CS294-112 深度強化學習 秋季學期(伯克利)NO.5 Actor-critic introduction
line batch cto online fit tro function 技術分享 rap in most AC algorithms, we actually just fit valu
CS294-112 深度強化學習 秋季學期(伯克利)NO.6 Value functions introduction NO.7 Advanced Q learning
ted 分享圖片 enc cti solution function part related ons -------------------------------------------------------------------------------