本文學習內容來自《TensorFlow深度學習應用實踐》《深度學習》

池化的概念

卷積網路中一個典型層包含三級。在第一級中，這一層並行地計算多個卷積產生一組線性啟用響應。在第二級中，每一個線性啟用響應將會通過一個非線性的啟用函式，例如整流線性啟用函式。這一級有時也被稱為探測級（detector stage）。在第三級中，我們使用池化函式(pooling function)來進一步調整這一層的輸出。

在通過卷積獲得了特徵（features）之後，下一步希望利用這些特徵去做分類。理論上講，人們可以用所有提取到的特徵去訓練分類器，如softmax分類器，但這樣做計算量過大，並容易出現過擬合（over-fitting）。
這個問題的產生是由於卷積後的特徵影象具有一種“靜態性”的屬性，這意味著在一個影象區域有用的特徵極有可能在另一個區域同樣適用。因此，為了描述大的影象，一個很自然的想法就是對不同位置的特徵進行聚合統計，例如，特徵提取可以計算影象一個區域上的某個特定的特徵的平均值（或最大值）。這些概要統計特徵不僅具有低得多的維度，同時還會改善結果（不容易過擬合）。這種聚合的操作就叫作池化（pooling），有時也稱為平均池化或最大池化（取決於計算池化的方法）。

不管採用什麼樣的池化函式，當輸入做出少量平移時，池化能夠幫助輸入的表示近似不變（invariant）。平移的不變性是指當我們對輸入進行少量平移時，經過池化函式後的大多數輸出並不會發生改變。區域性平移不變性是一個很有用的性質，尤其是當我們關心某個特徵是否出現而不關心它出現的具體位置時*。
使用池化可以看作增加了一個無限強的先驗：這一層學得的函式必須具有對少量平移的不變性。當這個假設成立時，池化可以極大地提高網路的統計效率。
對空間區域進行池化產生了平移不變性，但當我們對分離引數的卷積的輸出進行池化時，特徵能夠學得應該對於哪種變換具有不變性。

TensorFlow的max-pooling池化運算函式

tf.nn.max_pool(value,ksize,strides,padding,name=None)

• value：需要池化的輸入，一般池化層接在卷積層後面，所以輸入通常是feature map，依然是[batch,height,width,channels]這樣的shape
• ksize：池化容器的大小，取一個四維向量，一般是[1.height,width,1]，因為我們不想在batch和channels上做池化，所以這兩個維度設為1.
• strides：和卷積類似，視窗在每個維度上滑動的步長，一般也是[1,stride,stride,1]。
• padding：和卷積類似，可以取“VALID”或者“SAME”，返回一個Tensor，型別不變，shape仍然是[batch,height,width,channels]這種形式。

max-pooling後的圖片：

相應的，對於多個feature map，操作如下，原本64張224X224的影象，經過Max Pooling後，變成了64張112X112的影象，從而實現了downsampling的目的。

這裡利用的就是：平移不變性(translation invariant)

除了Max Pooling，還有一些其它的池化操作，例如：SUM pooling、AVE pooling、MOP pooling、CROW pooling和RMAC pooling等

示例

import tensorflow as tf
data = tf.constant([
    [[3.0, 2.0, 3.0, 4.0],
     [2.0, 6.0, 2.0, 4.0],
     [1.0, 2.0, 1.0, 5.0],
     [4.0, 3.0, 2.0, 1.0]]
])

data = tf.reshape(data,[1, 4, 4, 1])
maxPooling = tf.nn.max_pool(data,[1, 2, 2, 1], [1, 2, 2, 1],padding="VALID")
with tf.Session() as sess:
    print(sess.run(maxPooling))

池化結果：

[[[[ 6.]
   [ 4.]]

  [[ 4.]
   [ 5.]]]]

使用池化運算加強卷積特徵提取

import tensorflow as tf
import cv2
import numpy as np

img = cv2.imread("1.png")
img = np.array(img, dtype=np.float32)
x_image = tf.reshape(img, [1, 512, 512, 3])

filter = tf.Variable(tf.ones([7, 7, 3, 1]))
init = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)
    res = tf.nn.conv2d(x_image, filter, strides=[1, 2, 2, 1], padding='SAME')
    res = tf.nn.max_pool(res,[1, 2, 2, 1], [1, 2, 2, 1], padding='VALID')  # 池化
    res_image = sess.run(tf.reshape(res, [128, 128])) / 128+1

cv2.imshow('source', img.astype('uint8'))
cv2.imshow("lena", res_image.astype('uint8'))
cv2.waitKey()

結果：

均值池化

tf.layers.average_pooling2d

引數類似於max_pooling函式的引數。