1. 程式人生 > >Tensorflow原始碼解析4 -- 圖的節點Operation

Tensorflow原始碼解析4 -- 圖的節點Operation

1 概述

上文講述了TensorFlow的核心物件,計算圖Graph。Graph包含兩大成員,節點和邊。節點即為計算運算元Operation,邊則為計算資料Tensor。由起始節點Source出發,按照Graph的拓撲順序,依次執行節點的計算,即可完成整圖的計算,最後結束於終止節點Sink,並輸出計算結果。

本文會對節點Operation進行詳細講解。

2 前端節點資料結構

在Python前端中,Operation表示Graph的節點,Tensor表示Graph的邊。Operation包含OpDef和NodeDef兩個主要成員變數。其中OpDef描述了op的靜態屬性資訊,例如op入參列表,出參列表等。而NodeDef則描述op的動態屬性資訊,例如op執行的裝置資訊,使用者給op設定的name等。

先來看Operation的資料結構,只列出重要程式碼。

@tf_export("Operation")
class Operation(object):
  def __init__(self,
               node_def,
               g,
               inputs=None,
               output_types=None,
               control_inputs=None,
               input_types=None,
               original_op=
None, op_def=None): # graph引用,通過它可以拿到Operation所註冊到的Graph self._graph = g # inputs if inputs is None: inputs = [] # input types if input_types is None: input_types = [i.dtype.base_dtype for i in inputs] # control_input_ops control_input_ops =
[] # node_def和op_def是兩個最關鍵的成員 if not self._graph._c_graph: self._inputs_val = list(inputs) # Defensive copy. self._input_types_val = input_types self._control_inputs_val = control_input_ops # NodeDef,深複製 self._node_def_val = copy.deepcopy(node_def) # OpDef self._op_def_val = op_def # outputs輸出 self._outputs = [ Tensor(self, i, output_type) for i, output_type in enumerate(output_types) ]

下面來看Operation的屬性方法,通過屬性方法我們可以拿到Operation的兩大成員,即OpDef和NodeDef。

  @property
  def name(self):
    # Operation的name,注意要巢狀name_scope
	return self._node_def_val.name

  @property
  def _id(self):
    # Operation的唯一標示,id
    return self._id_value

  @property
  def device(self):
    # Operation的裝置資訊
    return self._node_def_val.device
    
  @property
  def graph(self):
    # graph引用
    return self._graph

  @property
  def node_def(self):
    # NodeDef成員,獲取Operation的動態屬性資訊,例如Operation分配到的裝置資訊,Operation的name等
    return self._node_def_val

  @property
  def op_def(self):
    # OpDef,獲取Operation的靜態屬性資訊,例如Operation入參列表,出參列表等
    return self._op_def_val

3 後端節點資料結構

在C++後端中,Graph圖也包含兩部分,即邊Edge和節點Node。同樣,節點Node用來表示計算運算元,而邊Edge則表示計算資料或者Node間依賴關係。Node資料結構如下所示。

class Node {
 public:
    // NodeDef,節點運算元Operation的資訊,比如op分配到哪個裝置上了等,執行時有可能變化。
  	const NodeDef& def() const;
    
    // OpDef, 節點運算元Operation的元資料,不會變的。比如Operation的入參個數,名字等
  	const OpDef& op_def() const;
 private:
  	// 輸入邊,傳遞資料給節點。可能有多條
  	EdgeSet in_edges_;

  	// 輸出邊,節點計算後得到的資料。可能有多條
  	EdgeSet out_edges_;
}

節點Node中包含的主要資料有輸入邊和輸出邊的集合,從而能夠由Node找到跟他關聯的所有邊。Node中還包含NodeDef和OpDef兩個成員。NodeDef表示節點運算元的動態屬性,建立Node時會new一個NodeDef物件。OpDef表示節點運算元的靜態屬性,執行時不會變,建立Node時不需要new OpDef,只需要從OpDef倉庫中取出即可。因為元資訊是確定的,比如Operation的入參列表,出參列表等。