1、說明

 caffe框架由C++編寫，其還提供python和matlab介面呼叫。而caffe的影象讀取與儲存是利用opencv實現，因此需要梳理影象在不同介面中的轉換關係，方便不同介面下的資料傳輸與儲存。

• 關鍵點：影象檔案在記憶體中的儲存形式是連續儲存的。如果是3通道RGB影象，則其在記憶體中儲存的格式為 r1g1b1,r2g2b2,r3g3b3.........

2、影象讀取及轉換

2.1 python直接呼叫影象

python利用matplotlib庫可直接讀入、顯示、儲存影象。

已知影象大小為（height,width,channel）=(194,295,3)；

import matplotlib.pyplot as plt
pyimg=plt.imread('HappyFish.jpg')
plt.imshow(pyimg)
plt.show()

檢視讀入的資料型別及大小如下：

print type(pyimg)
print pyimg.shape

可知，python儲存影象資料的資料型別為numpy.ndarray型別，資料存放模式為（height,width,channel）=（194,259,3）；
(0,0)處的畫素值關係如下：

print pyimg[0,0]

從上圖可以看出，（0，0）處的畫素值如上。

2.2 python利用opencv呼叫影象

import cv2
cvimg=cv2.imread('HappyFish.jpg')
cv2.imshow("wnd",cvimg)
cv2.waitKey(0)

資料型別及資料呼叫如下：

print type(cvimg)
print cvimg.shape
print cvimg[0,0]

可以看出，opencv的python介面同樣是採用numpy.ndarray型別儲存畫素值，儲存方式依然是【height,width,channel】,此種存放模式方便影象畫素值索引，如【0，0】可直接呼叫三個通道的資料。

• 雖然開啟的同樣一個影象，但是在用 matplotlib讀取的時候與cv2讀取，在【0，0】處的畫素值是不同的，原因是opencv讀影象的時候，畫素在記憶體中的儲存的順序為BGR,而python中為RGB。

2.3 python與opencv 資料之間轉換

利用opencv 讀入影象，利用matplotlib顯示影象

import cv2
cvimg=cv2.imread('HappyFish.jpg')
plt.imshow(cvimg)
plt.show()

影象顯示異常，主要是應為opencv將影象畫素的儲存順序改為BRG,而python預設顯示影象格式為RGB.為了顯示正常，可執行如下操作：

#方法1
import cv2
cvimg=cv2.imread('HappyFish.jpg')
b,g,r=cv2.split(cvimg)
rgb=cv2.merge([r,g,b])
plt.imshow(rgb)
plt.show()

#方法2
rgb=cv2.cvtColor(cvimg,cv2.COLOR_BGR2RGB)
plt.imshow(rgb)
plt.show()

#方法3
rgb=cvimg[:,:,::-1]
plt.imshow(rgb)
plt.show()

3、numpy多維陣列相關操作

python中，影象資料儲存的資料格式為numpy.ndarray,因此有必要了解相關操作，特別是transpose和reshape操作。

3.1 reshape

tt=np.arange(24)
/*array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16,
       17, 18, 19, 20, 21, 22, 23])
*/
t1=tt.reshape(2,3,4)
/*
array([[[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11]],

       [[12, 13, 14, 15],
        [16, 17, 18, 19],
        [20, 21, 22, 23]]])
*/
t2=t1.reshape(4,3,2)
/*
array([[[ 0,  1],
        [ 2,  3],
        [ 4,  5]],

       [[ 6,  7],
        [ 8,  9],
        [10, 11]],

       [[12, 13],
        [14, 15],
        [16, 17]],

       [[18, 19],
        [20, 21],
        [22, 23]]])
*/
t2.shape=[2,3,4]
/*
t2=
array([[[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11]],

       [[12, 13, 14, 15],
        [16, 17, 18, 19],
        [20, 21, 22, 23]]])
*/

可以看出，reshape不會改變資料在記憶體中的先後順序，改變shape屬性同reshape（）函式效果相同。

3.2 transpose

transpose方法，用於改變多維陣列各個維度（通道）上的對映關係。numpy多維陣列的維度（通道）變化規律為：最左端維度最大，變化速率最低，向右維度依次降低，變化速率依次變高。如三維陣列，通道編號分別為 0–>1–>2

t3=t2.transpose(0,2,1)
/*
array([[[ 0,  4,  8],
        [ 1,  5,  9],
        [ 2,  6, 10],
        [ 3,  7, 11]],

       [[12, 16, 20],
        [13, 17, 21],
        [14, 18, 22],
        [15, 19, 23]]])
 某點關係： t3[1,3,2]==t2[1,2,3] t3某點的值映射回t2的索引
*/

為了更加直觀，利用matlab生成如上有三個通道的偽影象塊img，影象大小格式為【height,width,channel】=【5，4，3】。

利用python讀入影象，其在記憶體中儲存的資料格式如下所示：

看上去有點詭異，沒有matlab單通道獨立顯示的方式直觀，但是，這種儲存格式方便畫素直接索引，如img[0,0]可直接返回三個通道的畫素值 【1，2，4】 

可不可以利用transpose將python格式的影象，轉化為類似與matlab單通道的表示形式，當然可以：

imgt=img.transpose(2,0,1)  ## 好強大
/*
array([[[1, 1, 1, 1],
        [1, 1, 1, 1],
        [1, 1, 1, 1],
        [1, 1, 1, 1],
        [1, 1, 1, 1]],

       [[2, 2, 2, 2],
        [2, 2, 2, 2],
        [2, 2, 2, 2],
        [2, 2, 2, 2],
        [2, 2, 2, 2]],

       [[4, 4, 4, 4],
        [4, 4, 4, 4],
        [4, 4, 4, 4],
        [4, 4, 4, 4],
        [4, 4, 4, 4]]], dtype=uint8)
*/

利用opencv讀取img,如下,在次證明了畫素值按照BGR格式儲存的事實。

ccimg=cv2.imread('img.jpg')
/*
array([[[4, 2, 1],
        [4, 2, 1],
        [4, 2, 1],
        [4, 2, 1]],

       [[4, 2, 1],
        [4, 2, 1],
        [4, 2, 1],
        [4, 2, 1]],

       [[4, 2, 1],
        [4, 2, 1],
        [4, 2, 1],
        [4, 2, 1]],

       [[4, 2, 1],
        [4, 2, 1],
        [4, 2, 1],
        [4, 2, 1]],

       [[4, 2, 1],
        [4, 2, 1],
        [4, 2, 1],
        [4, 2, 1]]], dtype=uint8)
*/