損失函式，如其名字一樣，是通過對比計算網路的前向傳播結果和真實結果，計算出來的用於衡量兩者之間差距的函式值。

通過損失函式我們可以計算出來一次前向傳播的損失值loss。其終極目標是將損失值變為0。

前向傳播可以求得一系列數通過計算出來的結果，一般在前向傳播中就已經計算好損失值了。

通過反向傳播自動求導機制，可以求得每一個權重對於損失的變化影響。

再通過引入學習率lr這一概念，用於控制每一次的權重調整程度，最終再次前向傳播達到減小損失值的目的。

其每個權重的步驟如下：

1.計算前向傳播結果的損失值

2.根據損失值和權重值以及他們之間的計算關係得到梯度圖

3.根據學習率數值來對權重數值進行調整。

4.調整完畢重新前向傳播，計算損失值。跳轉至步驟2，直到損失值達到0（理論上是可能的，但對於複雜的任務基本不存在，可能存在過擬合等錯誤），達到預定迭代輪數也可結束。

也就是使得網路能夠正確得到分類結果這一目的。

其中用到的優化器這一概念，則是用於加速網路權重引數的調整，使其能夠達到實驗目的，