實現屬於自己的TensorFlow(二)

阿新 • • 發佈：2019-01-15

這樣從後向前逐級計算通過鏈式法則就可以計算出與損失值對其相關節點的梯度了。因此我們下一步要做的就是給定某個損失函式節點並計算它對於某一節點的梯度計算。

下面在看一個不同的計算圖:

這裡的x節點有將輸出到兩個不同的節點中，此時我們需要計算所有從到x的路徑然後按照上面單挑路徑的鏈式法則計算方法計算每條路徑的梯度值，最終再將不同路徑的梯度求和即可。因此Loss對x的梯度為:

梯度計算

通過上面對反向傳播的介紹我們已經知道損失值對某個節點的梯度是怎麼求的(具體的實現方法在下一部分說明)，下面就是如何求取針對某個節點上的梯度了，只要每個節點上的梯度計算出來沿著路徑反方向不斷乘下去就會得到你想要的節點的梯度了。本部分就介紹如何求損失值對具體某個節點的梯度值。

本部分我們就是幹這麼一個事，首先我們先畫個節點:

f節點可以看成一個函式z=f(x,y)，我們需要做的就是求∂f(x,y)/∂x和∂f(x,y)/∂y.

平方運算的梯度計算

我們先用一個平方運算（之所以不用求和和乘積/矩陣乘積來做例子，因為這裡面涉及到矩陣求導維度的處理，會在稍後進行總結, 而平方運算並不會涉及到維度的變化比較簡單):

Python

class Square(Operation):
    ''' Square operation. '''
    # ...
    def compute_gradient(self, grad=None):
        ''' Compute the gradient for square operation wrt input value.
        :param grad: The gradient of other operation wrt the square output.
        :type grad: ndarray.
        '''
        input_value = self.input_nodes[0].output_value
        if grad is None:
            grad = np.ones_like(self.output_value)
        return grad*np.multiply(2.0, input_value)

123456789101112

classSquare(Operation):''' Square operation. '''# ...defcompute_gradient(self,grad=None):''' Compute the gradient for square operation wrt input value. :param grad: The gradient of other operation wrt the square output. :type grad: ndarray.

'''input_value=self.input_nodes[0].output_valueifgrad isNone:grad=np.ones_like(self.output_value)returngrad*np.multiply(2.0,input_value)

其中grad為損失值對Square輸出的梯度值，也就是上圖中的∂Loss/∂z的值, 它的shape一定與Square的輸出值的shape一致。

神經網路反向傳播的矩陣梯度計算

矩陣梯度的計算是實現反向傳播演算法重要的一部分, 但是在實現神經網路反向傳播的矩陣求導與許多公式列表上羅列出來的還是有差別的。

矩陣/向量求導

首先先看下矩陣的求導，其實矩陣的求導本質上就是目標矩陣中的元素對變數矩陣中的元素求偏導，至於求導後的導數矩陣的形狀大都也都是為了形式上的美觀方便求導之後的繼續使用。所以不必被那些複雜的矩陣求導形式迷惑了雙眼。這裡上傳了一份矩陣求導公式法則的列表PDF版本，可以一步一步通過（行/列）向量對標量求導再到（行/列）向量對（行/列）向量求導再到矩陣對矩陣的求導逐漸擴充套件。

例如標量y對矩陣求導, 我們就對標量y對於X的所有元素求偏導，最終得到一個導數矩陣，矩陣形狀同X相同:

神經網路反向傳播中的矩陣求導

之所以把矩陣求導分成兩部分，是因為在實現矩陣求導的時候發現做反向傳播的時候的矩陣求導與矩陣求導公式的形式上還是有區別的。所謂的區別就是，我們在神經網路進行矩陣求導的時候其實是Loss(損失)函式對節點中的矩陣進行求導，而損失函式是標量，那每次我們對計算圖中的每個節點計算梯度的時候其實是計算的標量(損失值)對矩陣(節點輸出值)的求導. 也就是說在進行反向傳播的時候我們用的只是矩陣求導中的一種，即標量對矩陣的求導, 也就是上面舉的例子的形式。再進一步其實就是損失函式對矩陣中每個元素進行求偏導的過程，通俗的講就是計算圖中矩陣中的每個元素對損失值的一個影響程度。因此這樣計算出來的導數矩陣的形狀與變數的形狀一定是一致的。

直觀上理解就是計算圖中對向量/矩陣求導的時候計算的是矩陣中的元素對損失值影響程度的大小，其形狀與矩陣形狀相同。

求和操作的梯度計算

現在我們以求和操作的梯度計算為例說明反向傳播過程中矩陣求導的實現方法。

對於求和操作: C=A+b, 其中

則

損失值L對C梯度矩陣為

下面我們計算∂L/∂b, 根據我們之前說的這個梯度的維度(形狀)應該與b相同，也就是一個標量,那麼具體要怎麼計算呢？我們分成兩部分來處理：

下面是求和操作梯度計算的Python實現:

Python

class Add(object):
    # ...
    def compute_gradient(self, grad=None):
        ''' Compute the gradients for this operation wrt input values.
        :param grad: The gradient of other operation wrt the addition output.
        :type grad: number or a ndarray, default value is 1.0.
        '''
        x, y = [node.output_value for node in self.input_nodes]
        if grad is None:
            grad = np.ones_like(self.output_value)
        grad_wrt_x = grad
        while np.ndim(grad_wrt_x) > len(np.shape(x)):
            grad_wrt_x = np.sum(grad_wrt_x, axis=0)
        for axis, size in enumerate(np.shape(x)):
            if size == 1:
                grad_wrt_x = np.sum(grad_wrt_x, axis=axis, keepdims=True)
        grad_wrt_y = grad
        while np.ndim(grad_wrt_y) > len(np.shape(y)):
            grad_wrt_y = np.sum(grad_wrt_y, axis=0)
        for axis, size in enumerate(np.shape(y)):
            if size == 1:
                grad_wrt_y = np.sum(grad_wrt_y, axis=axis, keepdims=True)
        return [grad_wrt_x, grad_wrt_y]

1234567891011121314151617181920212223

classAdd(object):# ...defcompute_gradient(self,grad=None):''' Compute the gradients for this operation wrt input values. :param grad: The gradient of other operation wrt the addition output. :type grad: number or a ndarray, default value is 1.0. '''x,y=[node.output_value fornode inself.input_nodes]ifgrad isNone:grad=np.ones_like(self.output_value)grad_wrt_x=gradwhilenp.ndim(grad_wrt_x)>len(np.shape(x)):grad_wrt_x=np.sum(grad_wrt_x,axis=0)foraxis,size inenumerate(np.shape(x)):ifsize==1:grad_wrt_x=np.sum(grad_wrt_x,axis=axis,keepdims=True)grad_wrt_y=gradwhilenp.ndim(grad_wrt_y)>len(np.shape(y)):grad_wrt_y=np.sum(grad_wrt_y,axis=0)foraxis,size inenumerate(np.shape(y)):ifsize==1:grad_wrt_y=np.sum(grad_wrt_y,axis=axis,keepdims=True)return[grad_wrt_x,grad_wrt_y]

其中grad引數就是上面公式中的G它的shape應該與該節點的輸出值(output_value的形狀一直)。

矩陣乘梯度的計算

這部分主要介紹如何在反向傳播求梯度中運用維度分析來幫助我們快速獲取梯度。先上一個矩陣乘操作的例子:C=AB

其中， C是M×K的矩陣, A是M×N的矩陣, B是N×K的矩陣。

損失值L對C的梯度為 G=∂L/∂C, 其形狀與矩陣C相同同為M×K

通過維度分析可以通過我們標量求導的知識再稍微對矩陣的形狀進行處理(左乘，右乘，轉置)來湊出正確的梯度。當然如果需要分析每個元素的導數也是可以的，可以參考這篇神經網路中利用矩陣進行反向傳播運算的實質, 下面我們主要使用維度分析來快速計算反向傳播中矩陣乘節點中矩陣對矩陣的導數。

若我們想求∂L/∂B, 根據標量計算的鏈式法則應該有:

下面是矩陣乘操作梯度計算的Python實現:

Python

class MatMul(Operation):
    # ...
    def compute_gradient(self, grad=None):
        ''' Compute and return the gradient for matrix multiplication.
        :param grad: The gradient of other operation wrt the matmul output.
        :type grad: number or a ndarray, default value is 1.0.
        '''
        # Get input values.
        x, y = [node.output_value for node in self.input_nodes]
        # Default gradient wrt the matmul output.
        if grad is None:
            grad = np.ones_like(self.output_value)
        # Gradients wrt inputs.
        dfdx = np.dot(grad, np.transpose(y))
        dfdy = np.dot(np.transpose(x), grad)
        return [dfdx, dfdy]

12345678910111213141516

classMatMul(Operation):# ...defcompute_gradient(self,grad=None):''' Compute and return the gradient for matrix multiplication. :param grad: The gradient of other operation wrt the matmul output. :type grad: number or a ndarray, default value is 1.0. '''# Get input values.x,y=[node.output_value fornode inself.input_nodes]# Default gradient wrt the matmul output.ifgrad isNone:grad=np.ones_like(self.output_value)# Gradients wrt inputs.dfdx=np.dot(grad,np.transpose(y))dfdy=np.dot(np.transpose(x),grad)return[dfdx,dfdy]

其他操作的梯度計算

這裡就不一一介紹了其他操作的梯度計算了，類似的我們根據維度分析以及理解反向傳播裡矩陣梯度其實就是標量求梯度放到了矩陣的規則裡的一種變形的本質，其他梯度也可以推導並實現出來了。

總結

本文介紹了通過計算圖的反向傳播快速計算梯度的原理以及每個節點相應梯度的計算和實現，有了每個節點的梯度計算我們就可以通過實現反向傳播演算法來實現損失函式對所有節點的梯度計算了，下一篇中將會總結通過廣度優先搜尋實現圖中節點梯度的計算以及梯度下降優化器的實現。

實現屬於自己的TensorFlow(二)

梯度計算

平方運算的梯度計算

神經網路反向傳播的矩陣梯度計算

求和操作的梯度計算

矩陣乘梯度的計算

其他操作的梯度計算

總結

參考

實現屬於自己的TensorFlow(二)

實現屬於自己的TensorFlow(1)：計算圖與前向傳播

Python實現屬於自己的公交地鐵線路圖

C++STL之vector，實現屬於自己的my_vector

簡單製作屬於自己的二維碼

第一次使用Android Studio時你應該知道的一切配置（二）：新建一個屬於自己的工程並安裝Genymotion模擬器

Tensorflow學習教程------實現lenet並且進行二分類

go 開發屬於自己的日誌庫-檔案日誌庫原型實現

用Python製作屬於自己的個性二維碼，二維碼換膚真的是騷操作！

寫一個屬於自己的PHP的MVC框架（二）

go開發屬於自己的日誌庫-檔案日誌庫實現

go開發屬於自己的日誌庫-控制檯日誌實現

go開發屬於自己的日誌庫-檔案日誌庫原型實現

3、《SSO CAS單點系列》之自己動手實現一個屬於自己的SSO認證伺服器！

使用樹莓派搭建屬於自己的 web伺服器（二）設定Apache

遊戲程式設計之DirectX的修煉：二（建立屬於自己的windows視窗程式:下）

（更新視訊教程）Tensorflow object detection API 搭建屬於自己的物體識別模型（2）——訓練並使用自己的模型

Tensorflow object detection API 搭建屬於自己的物體識別模型（1）——環境搭建與測試

打造屬於自己的underscore系列 ( 二 )

Tensorflow object detection API 搭建屬於自己的物體識別模型——環境搭建與測試

實現屬於自己的TensorFlow(二)

梯度計算

平方運算的梯度計算

神經網路反向傳播的矩陣梯度計算

求和操作的梯度計算

矩陣乘梯度的計算

其他操作的梯度計算

總結

參考

相關推薦