本文針對人工神經網路數字化過程中涉及的概念及相關函式，進行解析(初級版，存在尚未理解到的點，不吝指教)。 1 損失函式 　　損失函式(loss function)：刻畫預測值和真實值差異的函式。 交叉熵(cross entropy)：刻畫兩個概率分佈間的距離，是分類問題中運用較廣的一種損失函式，以預測值q刻畫真實值p，評估兩者的“差距”，交叉熵越小，兩者概率分佈越接近。 $cross(p,q)=-\sum_{x}p(x)logq(x)$ 2 softmax迴歸 　　softmax迴歸模型是logistic迴歸模型在多分類問題上的推廣，多分類問題中，類標籤y可以取兩個以上的值，突破了二分類的限制，經典應用為MINIST手寫數字分類。 $s$

3 學習率衰減函式 　　學習率(learning rate)：控制自變數更新幅度的變數，表示為η。如果η多大，導致損失函式極值附近波動，不能達到極值；η過小，導致收斂速度過慢，降低優化速度。 tf.train.exponential_decay

#函式實現功能如下：
decayed_learning_rate=learning_rate*decay_rate^(global_step/decay_steps)

引數描述

decayed_learning_rate:每輪優化時使用的學習率
learning_rate:預先設定的初始學習率
decay_rate:衰減係數1 學習率衰減函式
decay_steps:衰減速度，表示訓練一遍資料需要的迭代次數

使用說明 　　tf.train.exponential_decay函式可以通過設定引數staircase選擇不同的衰減方式，staircase預設為False，該情況下學習率連續衰減，staircase為True時，學習率為階梯狀衰減。 　　學習率連續衰減：不同的訓練資料有不同的學習率，當學習率減小時，對應的訓練資料對模型訓練結果的影響相應減小。