numpy 中的 broadcasting(廣播)機制
阿新 • • 發佈:2019-01-04
broadcasting,廣播,傳遞,賦值,拷貝;
一定要注意,執行 broadcast 的前提在於,兩個 ndarray 執行的是 element-wise(按位加,按位減) 的運算,而不是矩陣乘法的運算,矩陣乘法運算時需要維度之間嚴格匹配。(且矩陣乘法,np.dot(A, B) 如果維度不匹配,提示的錯誤不會是 broadcast,而是 aligned)
我們常常會看到 python 編譯器會提示如下型別的錯誤:
ValueError: operands could not be broadcast together with shapes (8,4,3) (2,1)
- 1
那麼如何理解這裡的broadcast
呢,matlab中並無對等的概念?
broadcasting
機制的功能是為了方便不同shape
的array(numpy庫的核心資料結構)進行數學運算。
舉一個簡單的例子,實現對一個1-d array的每一個元素乘以2:
>>> a = np.array([1., 2., 3.])
>>> b = np.array([2., 2., 2.])
>>> a*b
array([2., 4., 6.])
- 1
- 2
- 3
- 4
broadcast的做法是:
>>> a = np.array([1., 2., 3.])
>>> b = 2.
>>> a*b
array([2., 4., 6.])
- 1
- 2
- 3
- 4
這也就解釋了之前常常令人困惑的(3, )
不同於(3, 1)
(表shape)。
我們來看更為一般的broadcasting rules
:
當操作兩個array
時,numpy會逐個比較它們的shape(構成的元組tuple),只有在下述情況下,兩arrays
才算相容:
- 相等
- 其中一個為1,(進而可進行拷貝拓展已至,shape匹配)
1. 舉例
舉例說明:
Image (3d array): 256 x 256 x 3
Scale (1d array): 3
Result (3d array): 256 x 256 x 3
A (4d array): 8 x 1 x 6 x 1
B (3d array): 7 x 1 x 5
Result (4d array): 8 x 7 x 6 x 5
A (2d array): 5 x 4
B (1d array): 1
Result (2d array): 5 x 4
A (2d array): 15 x 3 x 5
B (1d array): 15 x 1 x 5
Result (2d array): 15 x 3 x 5
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
再來看一些不能進行broadcast
的例子:
A (1d array): 3
B (1d array): 4 # 最後一維(trailing dimension)不匹配
A (2d array): 2 x 1
B (3d array): 8 x 4 x 3(倒數第二維不匹配)
- 1
- 2
- 3
- 4
- 5
我們再來看一些具體的應用:
>>> x = np.arange(4)
>> xx = x.reshape(4, 1)
>> y = np.ones(5)
>> z = np.ones((3, 4))
>>> x.shape
(4,)
>>> y.shape
(5,)
>>> x+y
ValueError: operands could not be broadcast together with shapes (4,) (5,)
>>> xx.shape
(4, 1)
>>> y.shape
(5,)
>>> (xx+y).shape
(4, 5)
>>> xx + y
array([[ 1., 1., 1., 1., 1.],
[ 2., 2., 2., 2., 2.],
[ 3., 3., 3., 3., 3.],
[ 4., 4., 4., 4., 4.]])
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
當執行xx+y時,numpy是如何進行copy擴充套件的呢?
xx (2d array): 4 x 1
y (1d array): 5
Result (2d array): 4 x 5
- 1
- 2
- 3
也即對xx重複5列,對y重複4行
# 對xx重複5列
# 等價於np.dot(xx, np.ones((1, 4)))
array([[ 0., 0., 0., 0.],
[ 1., 1., 1., 1.],
[ 2., 2., 2., 2.],
[ 3., 3., 3., 3.]])
# 對y重複4行,
array([[ 1., 1., 1., 1., 1.],
[ 1., 1., 1., 1., 1.],
[ 1., 1., 1., 1., 1.],
[ 1., 1., 1., 1., 1.]])
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
2. 補充
還有一點,注意和矩陣乘法的區別,當有一維陣列參與運算時:
- 一維陣列置於矩陣乘法的左部,被視為一個行向量;
- 一維陣列置於矩陣乘法的右部,被視為一個列向量;
- (這樣和一個一維陣列作用無論在左還是在右)矩陣乘法運算結束得到的向量仍是一維陣列。
x (1d array) -> 5 -> 1, 5
W (2d array) -> 5, 3 -> 5, 3
-> 3 (1d array)
- 1
- 2
- 3
>>> import numpy
>>> x = numpy.random.randn(5)
>>> x.shape
(5,)
>>> x.T.shape
(5,) # 一維陣列x並非嚴格意義上的行向量
>>> W = numpy.random.randn(5, 3)
>>> numpy.dot(x, W)
array([ 0.06489021, -3.08729591, 1.52169767])
>>> numpy.dot(x, W).shape
(3, )
>>> y = numpy.ones(3)
>>> y.shape
(3,)
>>> W.dot(y).shape
(5,)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
references
[1]broadcasting
再分享一下我老師大神的人工智慧教程吧。零基礎!通俗易懂!風趣幽默!還帶黃段子!希望你也加入到我們人工智慧的隊伍中來!https://www.cnblogs.com/captainbed