2. 程式人生 > 實用技巧 >入門卷積神經網路(四）誤差函式（損失函式）

入門卷積神經網路(四）誤差函式（損失函式）

阿新 • • 發佈：2020-10-22

誤差函式（損失函式）

監督學習的神經網路需要一個函式來測度模型的輸出值p和真實因變數值y之間的差異，一般這種差異被稱為殘差或者誤差。

但一個模型完美時（雖然不存在），其誤差為0.當模型存在問題時，誤差不管是負值還是正值，都偏離0.誤差離0越近，說明模型越好。

常用的誤差函式

均方誤差

mse
這裡 Y i 表示神經網路的輸出，Yi’'表示監督資料，i表示資料的維度。

這種損失函式通常用在實數值連續變數的迴歸問題上，並且對於殘差較大的情況給予更多的權重。

交叉熵損失：

在這裡插入圖片描述
log表示以e為底的自然對數，Yk是神經網路的輸出，Tk是正確解得標籤。而且Tk中只有正確解得標籤的索引為1，其餘均為0.（one-hot表示）

在這裡插入圖片描述
第一個公式是針對單個數據的損失函式，第二個公式要求所有損失函式的總和。
假設資料一共有N個，Tnk表示第n個數據的第k個元素的值（Ynk是神經網路的輸出，Tnk是監督資料）。其實就是把單個損失函式擴大了N份，最後再除以N，求平均損失函式。

舉例：
在這裡插入圖片描述

相關推薦

入門卷積神經網路(四）誤差函式（損失函式）

誤差函式（損失函式） 監督學習的神經網路需要一個函式來測度模型的輸出值p和真實因變數值y之間的差異，一般這種差異被稱為殘差或者誤差。

入門卷積神經網路學習（一）：卷積層

卷積層 當一個深度神經網路以卷積層為主體時，我們稱為卷積神經網路。 卷積運算：

入門卷積神經網路學習（三） 啟用函式

什麼是啟用函式 輸入訊號的總和會被函式h(x)轉換，轉換後的值就是輸出y。 函式h(x)就被稱為啟用函式。舉個例子：輸入訊號x1,x2.經過權重w1,w2偏置b的計算總和為a.a通過啟用函式h()輸出y.

基於 SoC 的卷積神經網路車牌識別系統設計（1）概述

NOTES：這是第三屆全國大學生積體電路創新創業大賽 - Arm 杯 - 片上系統設計挑戰賽（本人指導的一個比賽）。主要劃分為以下的 Top5 重點、難點、亮點、熱點以及創新點。

零基礎入門深度學習 | 第四章：卷積神經網路

無論即將到來的是大資料時代還是人工智慧時代，亦或是傳統行業使用人工智慧在雲上處理大資料的時代，作為一個有理想有追求的程式設計師，不懂深度學習這個超熱的技術，會不會感覺馬上就out了？

使用卷積神經網路（CNN）做人臉識別的示例程式碼

上回書說到了對人臉的檢測，這回就開始正式進入人臉識別的階段。 關於人臉識別，目前有很多經典的演算法，當我大學時代，我的老師給我推薦的第一個演算法是特徵臉法，原理是先將影象灰度化，然後將影象每行首尾相接拉

寫給程式設計師的機器學習入門 (八) - 卷積神經網路 (CNN) - 圖片分類和驗證碼識別

這一篇將會介紹卷積神經網路 (CNN)，CNN 模型非常適合用來進行圖片相關的學習，例如圖片分類和驗證碼識別，也可以配合其他模型實現 OCR。

Pytorch實現基於卷積神經網路的面部表情識別(詳細步驟)（轉載）

文章目錄　　一、專案背景　　二、資料處理　　　　1、標籤與特徵分離　　　　2、資料視覺化　　　　3、訓練集和測試集　　三、模型搭建　　四、模型訓練　　五、完整程式碼

深度學習筆記二：卷積神經網路（CNN）

卷積神經網路CNN 1. 緒論 1. 卷積神經網路的應用 基本應用：分類、檢索、檢測、分割

TensorFlow入門教程系列(三)：卷積神經網路

用卷積神經網路實現對手寫數字的識別，程式碼來自莫煩TensorFlow教程。 import tensorflow as tf

基於FPGA的卷積神經網路實現（七）卷積模組

將卷積展開後要進行的運算實質上是大規模矩陣運算，因此卷積模組的實現時最容易的，什麼都不需要考慮，資料按順序來了就計算，而這個順序是資料讀取部分需要考慮的，計算完了輸出去這部分是下一層的資料資料

卷積神經網路的入門認識

卷積神經網路，會後續繼續總結： 轉載一部分：https://blog.csdn.net/qq_42156420/article/details/81291482

吳恩達深度學習筆記（deeplearning.ai）之卷積神經網路（CNN）（上）

原文連結 https://www.cnblogs.com/szxspark/p/8439066.html 1. Padding 在卷積操作中，過濾器（又稱核）的大小通常為奇數，如3x3，5x5。這樣的好處有兩點：

概覽經典卷積神經網路（LeNet、AlexNet、VggNet、GoogLeNet、SqueezeNet、SqueezeNet、ResNet、DenseNet、DarkNet、ShuffleNe）

LeNet LeNet誕生於1994年，由深度學習三巨頭之一的Yan Lecun提出，他也被稱為卷積神經網路之父。

卷積神經網路入門篇

1 引言¶ 卷積神經網路(Convolutional Neural Networks),通常我們將之簡稱為ConvNets或者CNN，它是一種在影象識別和分類領域十分流行且行之有效的神經網路。目前，CNN網路已經作為一種非常

卷積神經網路CNN（一）

　　我們將先描述卷積神經⽹絡中卷積層和池化層的⼯作原理，並解釋填充、步幅、輸⼊通道和輸出通道的含義。掌握了這些基礎知識以後，我們將探究數個具有代表性的深度卷積神經⽹絡的設計思路。

用Keras實現MNIST手寫數字識別（使用CNN:卷積神經網路）

https://github.com/jelly-lemon/keras_mnist_0112 用Keras實現MNIST手寫數字識別 MNIST手寫數字資料集介紹

機器學習——用卷積神經網路（CNN）實現手寫數字識別

原文連結：https://data-flair.training/blogs/python-deep-learning-project-handwritten-digit-recognition/

xml檔案 卷積神經網路_CNN卷積神經網路入門個人理解和例項程式碼(註釋詳細，一勞永逸)...

技術標籤：xml檔案 卷積神經網路 不鋪墊啥了，最近看深度學習和神經網路有一點啟發，想寫個文章算是做個記錄，直接開始吧。我看的是b站李巨集毅老師的機器學習視訊。

卷積神經網路（CNN）基礎

Padding and stride 一個N*N的影象，使用f*f的卷積核，會得到（n-f+1）*（n-f+1）的大小