卷積神經網路/CNN/深度學習在做分類訓練時不收斂的解決方案

阿新 • • 發佈：2018-12-26

1.背景介紹

訓練網路的過程就是網路學習影象特徵的過程,正所謂網路好用但是不好訓練,我算是真真切切的體會到了.之前訓練手寫漢字的時候,大概就花費了1個多小時,之前訓練幾十個分類的字元也耗費了很長的時間,逐漸讓我我點怕訓練了,不過今天,我好像找到了問題的解決方法,雖然不一定對每個人有用吧,但是的的確確省了太多的時間.用圖說話

今天打算訓練一個cnn分類這39類圖片,

這裡寫圖片描述

他們大概長這個樣子

這裡寫圖片描述

200*100的大小,一共1300個.

, 這裡寫圖片描述

用GPU加速訓練了一個多小時, 幾百個 Epoch ,幾千個Iteration. 還沒有收斂,準確率依然30%…

我靈機一動更改了圖的大小!!!,
我靈機一動更改了圖的大小!!!,
我靈機一動更改了圖的大小!!!,

重要的話就多說幾遍…!!!

更改後的圖長這樣,64*32的,

這裡寫圖片描述

然後奇蹟就發生了,訓練曲線程式設計下面的了,50多個Epoch就訓練完了

這裡寫圖片描述

把log貼出來

 Initializing image normalization.
|=========================================================================================|
|     Epoch    |   Iteration  | Time Elapsed |  Mini-batch  |  Mini-batch  | Base Learning|
|              |              |  (seconds)   |     Loss     |   Accuracy   |     Rate     |
|=========================================================================================|
|            1 |            1 |         0.22 |       3.7880 |        0.78% |     1.00e-04 |
|            9 |           50 |         4.82 |       1.4279 |       66.41% |     1.00e-04 |
|           17 |          100 |         9.14 |       0.0666 |       97.66% |     1.00e-04 |
|           25 |          150 |        13.44 |       0.0342 |       99.22% |     1.00e-04 |
|           34 |          200 |        17.77 |       0.0114 |      100.00% |     1.00e-04 |
|           42 |          250 |        22.07 |       0.0103 |      100.00% |     1.00e-04 |
|           50 |          300 |        26.37 |       0.0116 |      100.00% |     1.00e-04 |
|=========================================================================================|


accuracy =

    0.9764

你沒有看錯,以前1個多小時完成的事情,現在26.37秒完成了,並且accuracy =0.97,
並且

%  trainingNumFiles 訓練集和測試集的比例,
trainingNumFiles = 0.7;

測試集和訓練集的比例還是3:7

所以,我的流水賬帳記完了,我也不知道我說的是啥,有需要的人應該可以懂.哈哈…

歸結為一句話就是:訓練神經網路的時候,如果不收斂你可以改變一下影象的大小,很有可能事半功萬倍

卷積神經網路/CNN/深度學習在做分類訓練時不收斂的解決方案

1.背景介紹訓練網路的過程就是網路學習影象特徵的過程,正所謂網路好用但是不好訓練,我算是真真切切的體會到了.之前訓練手寫漢字的時候,大概就花費了1個多小時,之前訓練幾十個分類的字元也耗費了很長的時間,逐漸讓我我點怕訓練了,不過今天,我好像找到了問題的解決方法,雖然不一定對每個人有用

卷積神經網路(CNN）學習筆記

卷積神經網路（CNN）卷積神經網路（Convolutional Neural Network ）是一種深度前饋神經網路，廣泛應用於影象識別和自然語言處理等方向，本文基於初學者的視角簡單描述卷積神經網路的概念和原理，包含個人主觀理解,如有錯誤懇請指正。

深度學習方法（五）：卷積神經網路CNN經典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning

歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。技術交流QQ群：433250724，歡迎對演算法、技術感興趣的同學加入。關於卷積神經網路CNN，網路和文獻中有非常多的資料，我在工作/研究中也用了好一段時間各種常見的model了，就想著

深度學習：Keras入門(二)之卷積神經網路(CNN)

說明：這篇文章需要有一些相關的基礎知識，否則看起來可能比較吃力。 1.卷積與神經元 1.1 什麼是卷積？簡單來說，卷積(或內積)就是一種先把對應位置相乘然後再把結果相加的運算。(具體含義或者數學公式可以查閱相關資料)

【深度學習系列】卷積神經網路CNN原理詳解(一)——基本原理

轉自：https://www.cnblogs.com/charlotte77/p/7759802.html 上篇文章我們給出了用paddlepaddle來做手寫數字識別的示例，並對網路結構進行到了調整，提高了識別的精度。有的同學表示不是很理解原理，為什麼傳統的機

深度學習 --- 卷積神經網路CNN（LeNet-5網路學習演算法詳解）

上一節我們詳細探討了LeNet-5網路的架構，但是還沒有解釋該網路是如何進行學習的，如何更新權值的，本節將接著上一節進一步CNN的學習機制和權值更新過程，這裡請大家一定要對CNN網路有一個清晰的認識，知道每一層是做什麼的，為什麼這樣設定。原因在哪等。大家在學習的過程中需要多問自己幾個為什麼，這樣

深度學習 --- 卷積神經網路CNN（LeNet-5網路詳解）

卷積神經網路（Convolutional Neural Network，CNN）是一種前饋型的神經網路，其在大型影象處理方面有出色的表現，目前已經被大範圍使用到影象分類、定位等領域中。相比於其他神經網路結構，卷積神經網路需要的引數相對較少，使的其能夠廣泛應用。本節打算先介紹背景和簡單的基本

深度學習：卷積神經網路CNN入門

該文是，並假設你理解前饋神經網路。目錄視覺感知畫面識別是什麼識別結果取決於什麼影象表達畫面識別的輸入畫面不變形前饋神經網路做畫面識別的不足卷積神經網路做畫面識別區域性連線空間共享輸出空間表達Depth維的處理Zero padding形狀、概念抓取多filte

深度學習之七【卷積神經網路 CNN】

1.CNN的應用如果你能訓練人工智慧機器人唱歌，幹嘛還訓練它聊天？在 2017 年 4 月，研究人員使用 WaveNet 模型的變體生成了歌曲。原始論文和演示可以在此處找到。瞭解 Facebook 的創新 CNN 方法(Facebook) ，

【深度學習】卷積神經網路CNN基本知識點

卷積神經網路與前面學的常規神經網路很相似，也有輸入、權重、偏差、損失函式、啟用函式、全連線層等概念，之前的一些小的技巧也仍然適用。與常規神經網路的對比卷積神經網路（Convolutional Neural Networks，CNNs / ConvNe

深度學習之卷積神經網路CNN及tensorflow程式碼實現示例詳細介紹

一、CNN的引入在人工的全連線神經網路中，每相鄰兩層之間的每個神經元之間都是有邊相連的。當輸入層的特徵維度變得很高時，這時全連線網路需要訓練的引數就會增大很多，計算速度就會變得很慢，例如一張黑白的 28×28 的手寫數字圖片，輸入層的神經元就有784個，如下圖所示：

機器學習 -- >深度學習-- >卷積神經網路(CNN)

上一篇我們詳細講解了人工神經網路以及DNN的原理。CNN主要應用在影象處理方面。這一講我們將詳細講解卷積神經網路CNN的原理以及在深度學習框架pytorch上的實現。在講CNN之前我們需要了解這麼幾個問題？ ①人工神經網路能用到計算機視覺上嗎？答：能

深度學習之卷積神經網路CNN及tensorflow程式碼實現示例

一、CNN的引入在人工的全連線神經網路中，每相鄰兩層之間的每個神經元之間都是有邊相連的。當輸入層的特徵維度變得很高時，這時全連線網路需要訓練的引數就會增大很多，計算速度就會變得很慢，例如一張黑白的 28×28 的手寫數字圖片，輸入層的神經元就有784個，如下圖

乾貨 | 深度學習之卷積神經網路(CNN)的模型結構

微信公眾號關鍵字全網搜尋最新排名【機器學習演算法】：排名第一【機器學習】：排名第一【Python】：排名第三【演算法】：排名第四前言在前面我們講述了DNN的模型與前向反向傳播演算法。而在DNN大類中，卷積神經網路(Convolutional Neural Networks，以下簡稱CNN)是最

深度學習(DL)與卷積神經網路(CNN)學習筆記隨筆-01-CNN基礎知識點

神經認知機。　卷積神經網路是受生物靈感的多層感知機的變體。從Hubel和Wiesel的早期對貓的視覺皮層的研究工作中得出，視覺皮層包含一組複雜的細胞排列。這些細胞會對很小的子區域敏感，稱作

深度學習筆記-卷積神經網路CNN與迴圈神經網路RNN有什麼區別？

CNN與RNN本質的不同就是所基於的假設不同，由於核心假設的不同，導致實現方式的差異。 CNN 首先理解什麼叫做卷積，或者說為什麼要翻譯為卷積神經網路。卷積的定義：https://baike.baidu.com/item/%E5%8D%B7%E7%A7%AF/94110

深度學習筆記五：卷積神經網路CNN(基本理論)

一.初識卷積網路結構 Ⅰ.概覽前面已經做過手寫體識別的任務。之前我們只是使用了兩層的全連線層，或者根據喜好多加幾層。我更喜歡把這樣的結構叫做多層感知機，即使用到了一些現代的權重初始化方式，更好的啟用函式reLU等，我還是傾向於叫做多層感知機。

Udacity深度學習之卷積神經網路(CNN)

卷積神經網路卷積網路簡介卷積神經網路引數共享 padding 維度卷積網路簡介卷積神經網路一個時下非常流行

深度學習-卷積神經網路CNN-BN(Batch Normalization) 原理與使用過程詳解

前言 Batch Normalization是由google提出的一種訓練優化方法。參考論文：Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shif

深度學習（十五）卷積神經網路CNN（3）---區域性連線

作用：降低引數數目，減少網路運算複雜度。原理：一般認為人對外界的認知是從區域性到全域性的，而影象的空間聯絡也是區域性的畫素聯絡較為緊密，而距離較遠的畫素相關性則較弱。因而，每個神經元其實沒有必要對全域性影象進行感知，只需要對區域性進行感知，然後在更

卷積神經網路/CNN/深度學習在做分類訓練時不收斂的解決方案

1.背景介紹

他們大概長這個樣子

相關推薦