資料處理

資料分析

前面一篇文章簡單介紹了NIST指紋資料集的大概形式和組成，一張圖片配一個標籤的txt檔案。兩個檔名相同（.png和.txt）由於圖片和標籤是分開的。我們需要生成兩個對應的批次來對圖片和標籤進行處理。

資料準備

首先，我們先對標籤進行處理，觀察下圖標籤格式。

我們這次只對指紋紋型進行分析，所以只關注class屬性。共有W,A,R,L,T五種屬性。所以可以採用獨熱編碼 ，原理很簡單，即每個標籤用一個numpy陣列表示，陣列有5個元素，按照W,A,R,L,T的順序，只在該圖片對應的型別的陣列元素處置1，其他置0，即可表示。程式碼如下。

import numpy as
 
 np
import os
def switch_pos(word):
    switcher = {"W":0,
                "A":1,
                "R":2,
                "L":3,
                "T":4}
    return switcher.get(word, "nothing")

def text2vec(word,classes):
    vector = np.zeros(classes) # float64
    pos = switch_pos(word) # index of the word
 

    vector[pos] = 1
    return vector

這樣，我們就得到了一張標籤對應的獨熱編碼形式。其他其他的檔案開啟等等就先不放在這裡了。有興趣的可以去我的github拿完整的程式碼。

順便提一句，我這裡是先建立了兩個列表，一個是圖片路徑列表和對應的標籤列表。

處理好標籤之後，我們開始生成供訓練用的batch。因為沒有怎麼看tensorflow的queue和producer這裡。所以這裡就簡單粗暴的用自己的方式生成batch。
第一步，為了保證shuffle的效果，我用randint先生成一個讀取的start位置。為了均衡效能問題，就不一個個都隨機生成了，就直接在start+batch_size處設定end。然後迭代輸入的圖片和標籤列表，送入batch中。

import cv2
import random as rd
def get_random_batch(image_list,label_list,image_H,image_W,batch_size,classes):
    image_batch = np.zeros(batch_size,image_H*image*W)
    label_batch = np.zeros(batch_size,classes)

    start = rd.randint(0,len(image_list)-batch_size)
    end = start + batch_size
    def convertgray(img):
        if len(img.shape) > 2:
            gray = np.mean(img, -1)
            return gray
        else:
            return img
    for i in range(start, end):
        image = cv2.imread(image_list[i])
        image = convert2gray(image)
        image_batch[i-start,:] = image.fatten()
        label_batch[i-start,:] = label_list[i]
return image_batch, label_batch

好了，今天先介紹到這裡，之後會把神經網路這一塊放上來，也會用tensorflow裡的函式重新實現下資料讀取。看完之後如果有疑問可以聯絡我交流，郵箱[email protected],完整程式碼放在我的github上了，希望大家可以順手給個星啊。
github:https://github.com/xiaoye74/NIST_fingerprint/blob/master/README.md#input-part

轉載請註明出處，謝謝