一、深度學習與深層神經網絡

1、線性模型局限性

　　線性模型無論多少層，表達能力是一致的。可以通過激活函數實現非線性。

2、多層網絡可以解決異或運算

二、損失函數定義

1、經典損失函數：

　　分類問題：

　　　　二分類：取0.5作為閾值

　　　　多分類：設置n個輸出節點，每個對應該類的可能性。神經網絡輸出向量 —>概率分布：softmax。

　　　　　　兩個向量的距離：交叉熵 - sigma p_x log(q_x)，其中p代表y，q代表yHat

softmax: 最後加一層 y‘ = normed(e^y)

reduce_mean：直接對整個矩陣做平均

一起使用可以通過 tf.nn.softmax_cross_entropy_with_logits

回歸問題：MSE mean (y-yHat)^2

2、自定義損失函數

tf.greater

tf.select (condition, trueValue, falseValue)

三、神經網絡優化算法

梯度下降、batch、

1、學習率

指數衰減學習率：tf.train.exponential_decay 、 decayLR = LR * decay_date ^ (global_steps / decay_steps)

【tensorflow:Google】四、深層神經網絡