1. tf.add(a, b) 與 a+b

在神經網路前向傳播的過程中，經常可見如下兩種形式的程式碼：

• tf.add(tf.matmul(x, w), b)
• tf.matmul(x, w) + b

簡而言之，就是 tf.add(a, b) 與 a + b二者的區別，類似的也有，tf.assign 與 =（賦值運算子）的差異。

在計算精度上，二者並沒有差別。運算子過載的形式a+b，會在內部轉換為，a.__add__(b)，而a.__add__(b)會再一次地對映為tf.add，在 math_ops.py中相關的對映如下：

_OverrideBinaryOperatorHelper(gen_math_ops.add
 
, "add")

• 1

2. tf.nn.bias_add 與 tf.add

tf.nn.bias_add 是 tf.add 的一個特例，也即 tf.add 支援的操作比 tf.nn.bias_add 更多。二者均支援 broadcasting（廣播機制），也即兩個運算元最後一個維度保持一致。

除了支援最後一個維度保持一致的兩個運算元相加外，tf.add 還支援第二個運算元是一維的情況。