tensorflow學習1

阿新 • • 發佈：2019-01-20

1、tf.concat()

語法：tf.concat(concat_dim, data)

進行降維 3D -> 2D, 2D -> 1D
例子：

#tf.concat()
t1 = [[1, 2, 3], [4, 5, 6]]
t2 = [[7, 8, 9], [10, 11, 12]]
# 將t1, t2進行concat，axis為0，等價於將shape=[2, 2, 3]的Tensor concat成
#shape=[4, 3]的tensor。在新生成的Tensor中tensor[:2,:]代表之前的t1
#tensor[2:,:]是之前的t2
tf.concat(0 
, [t1, t2]) ==> [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]

# 將t1, t2進行concat，axis為1，等價於將shape=[2, 2, 3]的Tensor concat成
#shape=[2, 6]的tensor。在新生成的Tensor中tensor[:,:3]代表之前的t1
#tensor[:,3:]是之前的t2
tf.concat(1, [t1, t2]) ==> [[1, 2, 3, 7, 8, 9], [4, 5, 6, 10, 11, 12]]

# 類比numpy的concatenate
arr = np.zeros([2 
,3,4,5,6])
print(arr2.shape)
# Out: (2, 3, 4, 5)
print(np.concatenate(arr2, 0).shape)
# Out: (6, 4, 5)  <—— (2*3, 4, 5)
print(np.concatenate(arr2, 1).shape)
# out: (3, 8, 5) <——(3, 2*4, 5)

2、tf.squeeze()

語法：tf.squeeze(input, squeeze_dims=None, name=None)

從tensor中刪除所有大小是1的維度。
給定張量輸入，此操作返回相同型別的張量，並刪除所有尺寸為1的尺寸。如果不想刪除所有尺寸1尺寸，可以通過指定squeeze_dims來刪除特定尺寸1尺寸。
- 輸入：張量。
- squeeze_dims：可選的ints列表。預設為[]。如果指定，只能擠壓列出的尺寸。維度索引從0開始。擠壓不是1的維度是一個錯誤。
- 名稱：操作的名稱（可選）。
- 例子：

# 't' is a tensor of shape [1, 2, 1, 3, 1, 1]
shape(squeeze(t)) ==> [2, 3]
Or, to remove specific size 1 dimensions:

# 't' is a tensor of shape [1, 2, 1, 3, 1, 1]
shape(squeeze(t, [2, 4])) ==> [1, 2, 3, 1]

3、tf.split()

語法：tf.split(split_dim, num_split, value, name=’split’)

對輸入張量 value 進行切片，split_dim為切片維度，num_split為切片個數
- 例子：

# 'value' is a tensor with shape [5, 30]
# Split 'value' into 3 tensors along dimension 1
split0, split1, split2 = tf.split(1, 3, value)
# tf.shape(split0) ==> [5, 10]

4、emdeding

語法：tf.nn.embedding_lookup(params, ids, partition_strategy=’mod’, name=None, validate_indices=True, max_norm=None)

該函式用於對params 中的張量list進行並行查詢
ids: A Tensor with type int32 or int64 containing the ids to be looked up in params.
The results of the lookup are concatenated into a dense tensor. The returned tensor has shape shape(ids) + shape(params)[1:].
例子：

mat = np.array([1,2,3,4,5,6,7,8,9]).reshape((3,-1))
ids = [[1,2], [0,1]]
res = tf.nn.embedding_lookup(mat, ids)
res.eval()
# 輸出：array([[[4, 5, 6],
#        [7, 8, 9]],
#
#       [[1, 2, 3],
#        [4, 5, 6]]])

# 例2
import tensorflow as tf
import numpy as np

a = [[0.1, 0.2, 0.3], [1.1, 1.2, 1.3], [2.1, 2.2, 2.3], [3.1, 3.2, 3.3], [4.1, 4.2, 4.3]]
a = np.asarray(a)
idx1 = tf.Variable([0, 2, 3, 1], tf.int32)
idx2 = tf.Variable([[0, 2, 3, 1], [4, 0, 2, 2]], tf.int32)
out1 = tf.nn.embedding_lookup(a, idx1)
out2 = tf.nn.embedding_lookup(a, idx2)
init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    print sess.run(out1)
    print out1
    print '=================='
    print sess.run(out2)
    print out2


# 輸出：    
# [[ 0.1  0.2  0.3]
#  [ 2.1  2.2  2.3]
#  [ 3.1  3.2  3.3]
#  [ 1.1  1.2  1.3]]
# Tensor("embedding_lookup:0", shape=(4, 3), dtype=float64)
# ==================
# [[[ 0.1  0.2  0.3]
#   [ 2.1  2.2  2.3]
#   [ 3.1  3.2  3.3]
#   [ 1.1  1.2  1.3]]
# 
#  [[ 4.1  4.2  4.3]
#   [ 0.1  0.2  0.3]
#   [ 2.1  2.2  2.3]
#   [ 2.1  2.2  2.3]]]
# Tensor("embedding_lookup_1:0", shape=(2, 4, 3), dtype=float64)

5、tf.expand_dims()

語法：tf.expand_dims(input, axis=None, name=None, dim=None)

在第axis位置增加一個維度。如果想用廣播特性的話，經常會用到這個函式；
- 給定張量輸入，此操作在輸入形狀的維度索引軸處插入1的尺寸。尺寸索引軸從零開始;
- 如果您指定的軸為負數，則從最後向後計數。
- 如果要將批量維度新增到單個元素，此操作非常有用。例如，如果您有一個單一的形狀[height，width，channels]，您可以使用expand_dims（image，0）使其成為1個影象，這將使形狀[1，高度，寬度，通道]。
- 例子：

# 't' is a tensor of shape [2]
shape(expand_dims(t, 0)) ==> [1, 2]
shape(expand_dims(t, 1)) ==> [2, 1]
shape(expand_dims(t, -1)) ==> [2, 1]
# 't2' is a tensor of shape [2, 3, 5]
shape(expand_dims(t2, 0)) ==> [1, 2, 3, 5]
shape(expand_dims(t2, 2)) ==> [2, 3, 1, 5]
shape(expand_dims(t2, 3)) ==> [2, 3, 5, 1]

6、tf.slice()

語法：tf.slice(input_, begin, size, name=None)

對輸入tensor 進行切片，begin為切片起點，size 為要切割的尺寸。假設input的shape是[a1, a2, a3], begin的值是[b1, b2, b3],size的值是[s1, s2, s3],那麼tf.slice()返回的值就是 input[b1:b1+s1, b2:b2+s2, b3:b3+s3]；如果 si=−1 ，那麼返回值就是 input[b1:b1+s1,…, bi: ,…]，即該維度取值從begin 到最後。
例子：

import tensorflow as tf
import numpy as np
sess = tf.InteractiveSession()
a = np.array([[1,2,3,4,5],[4,5,6,7,8],[9,10,11,12,13]])
tf.slice(a,[1,2],[-1,2]).eval()

#array([[ 6,  7],
#       [11, 12]])

7、tf.stack()

語法：tf.stack(values, axis=0, name=’stack’)

將 a list of R 維的Tensor堆成 R+1維的Tensor。
Given a list of length N of tensors of shape (A, B, C);
if axis == 0 then the output tensor will have the shape (N, A, B, C)，這時 res[i,:,:,:] 就是原 list中的第 i 個 tensor； if axis == 1 then the output tensor will have the shape (A, N, B, C)，這時 res[:,i,:,:] 就是原list 中的第i 個tensor.
例子：

x = tf.constant([1,4])
y = tf.constant([2,5])
z = tf.constant([3,6])
tensor1 = tf.stack([x,y,z])
# 輸出為 ：[[1,4],[2,5],[3,6]]
tensor2 = tf.stack([x,y,z], axis=1)
# 輸出為：[[1,2,3],[4,5,6]]

8、tf.gather()

語法：tf.gather(params, indices, validate_indices=None, name=None)

indices must be an integer tensor of any dimension (usually 0-D or 1-D). Produces an output tensor with shape：params.shape[:axis] + indices.shape + params.shape[axis+1:]
例子：

# Scalar indices, 會降維
output[:, ..., :] = params[indices, :, ... :]

# Vector indices
output[i, :, ..., :] = params[indices[i], :, ... :]

# Higher rank indices，會升維
output[i, ..., j, :, ... :] = params[indices[i, ..., j], :, ..., :]

9、tf.pad

語法：tf.pad(tensor, paddings, mode=”CONSTANT”, name=None)

tensor: 任意shape的tensor，維度 Dn
paddings: [Dn, 2] 的Tensor, padding 後tensor 的某維上的長度變為padding[D,0] + tensor.dim_size(D) + padding[D,1]
mode: CONSTANT表示填0, REFLECT表示反射填充,SYMMETRIC表示對稱填充。

總結：

TensorFlow提供兩種型別的拼接：

tf.concat(values, axis, name=’concat’)：按照指定的已經存在的軸進行拼接（維度不變，某些維度上的尺寸改變）
tf.stack(values, axis=0, name=’stack’)：按照指定的新建的軸進行拼接 (即新增一個維度)

t1 = [[1, 2, 3], [4, 5, 6]]
t2 = [[7, 8, 9], [10, 11, 12]]
tf.concat([t1, t2], 0) ==> [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]], shape=(4,3)
tf.concat([t1, t2], 1) ==> [[1, 2, 3, 7, 8, 9], [4, 5, 6, 10, 11, 12]]
tf.stack([t1, t2], 0)  ==> [[[1, 2, 3], [4, 5, 6]], [[7, 8, 9], [10, 11, 12]]], shape=(2,2,3)
tf.stack([t1, t2], 1)  ==> [[[1, 2, 3], [7, 8, 9]], [[4, 5, 6], [10, 11, 12]]]
tf.stack([t1, t2], 2)  ==> [[[1, 7], [2, 8], [3, 9]], [[4, 10], [5, 11], [6, 12]]]

tensorflow 兩種型別的抽取：

tf.slice(input_, begin, size, name=None)：按照指定的下標範圍抽取連續區域的子集
tf.gather(params, indices, validate_indices=None, name=None)：按照指定的下標集合從axis=0中抽取子集，適合抽取不連續區域的子集

input = [[[1, 1, 1], [2, 2, 2]],
         [[3, 3, 3], [4, 4, 4]],
         [[5, 5, 5], [6, 6, 6]]]
tf.slice(input, [1, 0, 0], [1, 1, 3]) ==> [[[3, 3, 3]]]
tf.slice(input, [1, 0, 0], [1, 2, 3]) ==> [[[3, 3, 3],
                                            [4, 4, 4]]]
tf.slice(input, [1, 0, 0], [2, 1, 3]) ==> [[[3, 3, 3]],
                                           [[5, 5, 5]]]

tf.gather(input, [0, 2]) ==> [[[1, 1, 1], [2, 2, 2]],
                              [[5, 5, 5], [6, 6, 6]]]