CNN神經網路之卷積操作
阿新 • • 發佈:2019-07-19
在看這兩個函式之前,我們需要先了解一維卷積(conv1d)和二維卷積(conv2d),二維卷積是將一個特徵圖在width和height兩個方向進行滑動視窗操作,對應位置進行相乘求和;而一維卷積則只是在width或者height方向上進行滑動視窗並相乘求和。
一維卷積:tf.layers.conv1d()
tf.layers.conv1d( inputs, filters, kernel_size, strides=1, padding='valid', data_format='channels_last', dilation_rate=1, activation=None, use_bias=True, kernel_initializer=None, bias_initializer=tf.zeros_initializer(), kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None, trainable=True, name=None, reuse=None )
引數:[1]
- inputs:張量資料輸入,一般是[batch, width, length]
- filters:整數,輸出空間的維度,可以理解為卷積核(濾波器)的個數
kernel_size
:單個整數或元組/列表,指定1D(一維,一行或者一列)卷積視窗的長度。- strides:單個整數或元組/列表,指定卷積的步長,預設為1
- padding:"SAME" or "VALID" (不區分大小寫)是否用0填充,
-
- SAME用0填充;
- VALID不使用0填充,捨去不匹配的多餘項。
-
- activation:啟用函式
- ues_bias:該層是否使用偏差
- kernel_initializer:卷積核的初始化
- bias_initializer:偏置向量的初始化器
- kernel_regularizer:卷積核的正則化項
- bias_regularizer:偏置的正則化項
- activity_regularizer:輸出的正則化函式
- reuse:Boolean,是否使用相同名稱重用前一層的權重
- trainable:Boolean,如果True,將變數新增到圖collection中
- data_format:一個字串,一個channels_last(預設)或channels_first。輸入中維度的排序。
-
- channels_last:對應於形狀的輸入(batch, length, channels)
- channels_first:對應於形狀輸入(batch, channels, length)
-
- name = 取一個名字
返回值:
一維卷積後的張量
例子
import tensorflow as tf x = tf.get_variable(name="x", shape=[32, 512, 1024], initializer=tf.zeros_initializer) x = tf.layers.conv1d( x, filters=1, # 輸出的第三個通道是1 kernel_size=512, # 不用管它是多大,都不影響輸出的shape strides=1, padding='same', data_format='channels_last', dilation_rate=1, use_bias=True, bias_initializer=tf.zeros_initializer()) print(x) # Tensor("conv1d/BiasAdd:0", shape=(32, 512, 1), dtype=float32)
解析:
- 輸入資料的維度為[batch, data_length, data_width]=[32, 512, 1024],一般輸入資料input第一維為batch_size,此處為32,意味著有32個樣本,第二維度和第三維度分別表示輸入的長和寬(512,1024)
- 一維卷積核是二維的,也有長和寬,長為卷積核的數量kernel_size=512,因為卷積核的數量只有一個,所以寬為輸入資料的寬度data_width=1024,所以一維卷積核的shape為[512,1024]
- filteres是卷積核的個數,即輸出資料的第三維度。filteres=1,第三維度為1
- 所以卷積後的輸出資料大小為[32, 512, 1]
二維卷積:tf.layers.conv2d()
tf.layers.conv2d( inputs, filters, kernel_size, strides=(1, 1), padding='valid', data_format='channels_last', dilation_rate=(1, 1), activation=None, use_bias=True, kernel_initializer=None, bias_initializer=tf.zeros_initializer(), kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None, trainable=True, name=None, reuse=None )
引數:[4]
inputs
:張量輸入。一般是[batch, width, length]filters
:整數,輸出空間的維度,可以理解為卷積核(濾波器)的個數kernel_size
:2個整數或元組/列表,指定2D卷積視窗的高度和寬度。可以是單個整數,以指定所有空間維度的相同值。strides
:2個整數或元組/列表,指定卷積沿高度和寬度方向的步幅。可以是單個整數,以指定所有空間維度的相同值。- padding:"SAME" or "VALID" (不區分大小寫)是否用0填充,
-
- SAME用0填充;
- VALID不使用0填充,捨去不匹配的多餘項。
-
data_format
:字串,"channels_last"
(預設)或"channels_first"
。輸入中維度的排序。-
channels_last:
對應於具有形狀的輸入,(batch, height, width, channels)
channels_first:
對應於具有形狀的輸入(batch, channels, height, width)
-
activation
:啟用函式use_bias
:Boolean, 該層是否使用偏差項kernel_initializer
:卷積核的初始化bias_initializer
: 偏置向量的初始化。如果為None,將使用預設初始值設定項kernel_regularizer
:卷積核的正則化項bias_regularizer
: 偏置向量的正則化項activity_regularizer
:輸出的正則化函式trainable
:Boolean,如果True,
將變數新增到圖collection中name
:圖層的namereuse
:Boolean,是否使用相同名稱重用前一層的權重
返回:
二維卷積後的張量
例子:
import tensorflow as tf x = tf.get_variable(name="x", shape=[1, 3, 3, 5], initializer=tf.zeros_initializer) x = tf.layers.conv2d( x, filters=1, # 結果的第三個通道是1 kernel_size=[1, 1], # 不用管它是多大,都不影響輸出的shape strides=[1, 1], padding='same', data_format='channels_last', use_bias=True, bias_initializer=tf.zeros_initializer()) print(x) # shape=(1, 3, 3, 1)
解析:
- input輸入是1張 3*3 大小的圖片,影象通道數是5,輸入shape=(batch, data_length, data_width, data_channel)
- kernel_size卷積核shape是 1*1,數量filters是1strides步長是[1,1],第一維和第二維分別為長度方向和寬度方向的步長 = 1。
- 最後輸出的shape為[1,3,3,1] 的張量,即得到一個3*3的feature map(batch,長,寬,輸出通道數)
- 長和寬只和strides有關,最後一個維度 = filters。
卷積層中的輸出大小計算
設輸入圖片大小W,Filter大小F,步長為S,padding為P,輸出圖片的大小為N:
$$N=\frac{W-F+2P}{S}+1$$
向下取整後再加1。
在Tensoflow中,Padding有2個選型,'SAME'和'VALID' ,下面舉例說明差別:
如果 Padding='SAME',輸出尺寸為: W / S(向上取整)
import tensorflow as tf input_image = tf.get_variable(shape=[64, 32, 32, 3], dtype=tf.float32, name="input", initializer=tf.zeros_initializer) conv0 = tf.layers.conv2d(input_image, 64, kernel_size=[3, 3], strides=[2, 2], padding='same') # 32/2=16 conv1 = tf.layers.conv2d(input_image, 64, kernel_size=[5, 5], strides=[2, 2], padding='same') # kernel_szie不影響輸出尺寸 print(conv0) # shape=(64, 16, 16, 64) print(conv1) # shape=(64, 16, 16, 64)
如果 Padding='VALID',輸出尺寸為:(W - F + 1) / S
import tensorflow as tf input_image = tf.get_variable(shape=[64, 32, 32, 3], dtype=tf.float32, name="input", initializer=tf.zeros_initializer) conv0 = tf.layers.conv2d(input_image, 64, kernel_size=[3, 3], strides=[2, 2], padding='valid') # (32-3+1)/2=15 conv1 = tf.layers.conv2d(input_image, 64, kernel_size=[5, 5], strides=[2, 2], padding='valid') # (32-5+1)/2=14 print(conv0) # shape=(64, 15, 15, 64) print(conv1) # shape=(64, 14, 14, 64)
參考文獻:
[1] tensorflow官方API tf.layers.conv1d
[2] tf.layers.conv1d函式解析(一維卷積)
[3] tf.layer.conv1d、conv2d、conv3d
[4] tensorflow官方API tf.layers.conv2d
&n