Z = w^Tx + b

a = σ (z) = 1 / ( 1 + e^-z )

L ( a , y ) = —（ y log(a) + ( 1 - y ) log(1-a) )

dz⁽ⁱ⁾ = a⁽ⁱ⁾ - y⁽ⁱ⁾

dw = xdz

db = dz

如何向量化計算m個訓練數據的梯度：

梯度計算時dz⁽ⁱ⁾ = a⁽ⁱ⁾ - y⁽ⁱ⁾

定義 Z = { z¹ , z² , z³ ................z^m }

A = { a¹ , a² ,a³ ................ a^m }

Y = { y¹ , y² , y³ ................y^m

則：

dz = A - Y = { a¹ - y¹ , a² - y² , a³ - y³ ....................a^m - y^m }

對於傳統方法需要用for循環來重復更新dw和db的值

如： dw = 0 db = 0

dw += x¹dz¹ db += dz¹

dw += x²

: :

: :

: :

dw += x^mdz^m db += dz^m

dw /= m db / = m

深度學習中使用方法為：

Z = np.dot(w.T，X)+b

A = sigmoid(Z)

dz = A - Y

dw = 1/m X dz^T (其中X為x¹ , x² ......... x^m組成的n*m階矩陣 ，dz為z¹ ,z² .......... z^m組成的1*m階矩陣，則dz^T為m*1階矩陣 )

db = 1 / m * np.sum ( dz )

到這裏就完成了正向和反向傳播，確實實現了對所有訓練樣本進行預測和求導，而且沒有用一個for循環，然後梯度下降更新參數

w = w - α * dw

b = b - α * db

其中α是學習率

上述所有標黃的部分就實現了logistic回歸的梯度下降一次叠代

如果需要多洗進行叠代梯度下降，如：要求1000次導數進行梯度下降，在最外層需要一次for循環

for i in range (1000) :

　　Z = np.dot(w.T，X)+b

　　A = sigmoid(Z)

　　dz = A - Y

　　dw = 1/m X dz^T

　　db = 1 / m * np.sum ( dz )

　　w = w - α * dw

　　b = b - α * db

向量化logistics回歸