2. 程式人生 > >Keras實現Unet結構

Keras實現Unet結構

阿新 • • 發佈：2018-11-27

       在之前發的部落格“基於卷積神經網路特徵圖的二值影象分割”中（https://blog.csdn.net/shi2xian2wei2/article/details/84329511）也提到，Unet結構主要是通過多個多通道特徵圖最大化的利用輸入圖片的特徵，使得網路在訓練集較小的情況下也能夠得到較好的目標分割結果。Unet論文見https://arxiv.org/abs/1505.04597，這裡通過Keras框架對Unet結構進行搭建，並使用之前部落格中的偽造資料集對網路進行訓練以及測試。

       Unet論文中所提出的網路結構如下圖所示：

       Unet大量使用了拼接結構，以實現對影象不同尺度資訊的採集，這樣做也是為了能儘可能利用圖片中的資訊，論文中卷積的padding採用的是vaild方式，因此在進行拼接時需要對輸出進行裁剪來保證尺寸的一致性。個人感覺padding選用same方式不會對效能產生任何不好的影響，並且實現起來也更加方便。keras框架實現的網路結構如下：

inpt = Input(shape=(input_size_1, input_size_2, 3))

conv1 = Conv2d_BN(inpt, 8, (3, 3))
conv1 = Conv2d_BN(conv1, 8, (3, 3))
pool1 = MaxPooling2D(pool_size=(2,2),strides=(2,2),padding='same')(conv1)

conv2 = Conv2d_BN(pool1, 16, (3, 3))
conv2 = Conv2d_BN(conv2, 16, (3, 3))
pool2 = MaxPooling2D(pool_size=(2,2),strides=(2,2),padding='same')(conv2)

conv3 = Conv2d_BN(pool2, 32, (3, 3))
conv3 = Conv2d_BN(conv3, 32, (3, 3))
pool3 = MaxPooling2D(pool_size=(2,2),strides=(2,2),padding='same')(conv3)

conv4 = Conv2d_BN(pool3, 64, (3, 3))
conv4 = Conv2d_BN(conv4, 64, (3, 3))
pool4 = MaxPooling2D(pool_size=(2,2),strides=(2,2),padding='same')(conv4)

conv5 = Conv2d_BN(pool4, 128, (3, 3))
conv5 = Dropout(0.5)(conv5)
conv5 = Conv2d_BN(pool4, 128, (3, 3))
conv5 = Dropout(0.5)(conv5)

convt1 = Conv2dT_BN(conv5, 64, (3, 3))
concat1 = concatenate([conv4, convt1], axis=3)
concat1 = Dropout(0.5)(concat1)
conv6 = Conv2d_BN(concat1, 64, (3, 3))
conv6 = Conv2d_BN(conv6, 64, (3, 3))

convt2 = Conv2dT_BN(conv6, 32, (3, 3))
concat2 = concatenate([conv3, convt2], axis=3)
concat2 = Dropout(0.5)(concat2)
conv7 = Conv2d_BN(concat2, 32, (3, 3))
conv7 = Conv2d_BN(conv7, 32, (3, 3))

convt3 = Conv2dT_BN(conv7, 16, (3, 3))
concat3 = concatenate([conv2, convt3], axis=3)
concat3 = Dropout(0.5)(concat3)
conv8 = Conv2d_BN(concat3, 16, (3, 3))
conv8 = Conv2d_BN(conv8, 16, (3, 3))

convt4 = Conv2dT_BN(conv8, 8, (3, 3))
concat4 = concatenate([conv1, convt4], axis=3)
concat4 = Dropout(0.5)(concat4)
conv9 = Conv2d_BN(concat4, 8, (3, 3))
conv9 = Conv2d_BN(conv9, 8, (3, 3))
conv9 = Dropout(0.5)(conv9)
outpt = Conv2D(filters=3, kernel_size=(1,1), strides=(1,1), padding='same', activation='sigmoid')(conv9)

model = Model(inpt, outpt)
model.compile(loss='mean_squared_error', optimizer='Nadam', metrics=['accuracy'])
model.summary()

       構建的網路引數進行了大幅度減少，主要是我的電腦顯示卡不給力/(ㄒoㄒ)/~~……加入大量的Dropout層是為了防止網路過擬合，因為樣本數量比較少。網路之所以使用最大池化層進行下采樣我覺得主要是考慮到對邊緣特徵的最大化利用。在1000張圖片的訓練集上訓練約22個Epoch後，結果如下：

                         原始影象                                         真實標籤                                         檢測標籤

       雖然在訓練過程中，訓練樣本中並沒有包含任何的紋理資訊，網路輸出的結果中可以看到部分物體的一些紋理。這也從一個方面反映了Unet特徵提取能力的強大。

       附上網路完整程式碼，資料還請自行替換：

import numpy as np
import random
import os

from keras.models import save_model, load_model, Model
from keras.layers import Input, Dropout, BatchNormalization, LeakyReLU, concatenate
from keras.layers import Conv2D, MaxPooling2D, AveragePooling2D, Conv2DTranspose
import matplotlib.pyplot as plt
from skimage import io
from skimage.transform import resize

input_name = os.listdir('train_data3/JPEGImages')

n = len(input_name)
batch_size = 8
input_size_1 = 256
input_size_2 = 256

def batch_data(input_name, n, batch_size = 8, input_size_1 = 256, input_size_2 = 256):
    rand_num = random.randint(0, n-1)
    img1 = io.imread('train_data3/JPEGImages/'+input_name[rand_num]).astype("float")
    img2 = io.imread('train_data3/TargetImages/'+input_name[rand_num]).astype("float")
    img1 = resize(img1, [input_size_1, input_size_2, 3])
    img2 = resize(img2, [input_size_1, input_size_2, 3])
    img1 = np.reshape(img1, (1, input_size_1, input_size_2, 3))
    img2 = np.reshape(img2, (1, input_size_1, input_size_2, 3))
    img1 /= 255
    img2 /= 255
    batch_input = img1
    batch_output = img2
    for batch_iter in range(1, batch_size):
        rand_num = random.randint(0, n-1)
        img1 = io.imread('train_data3/JPEGImages/'+input_name[rand_num]).astype("float")
        img2 = io.imread('train_data3/TargetImages/'+input_name[rand_num]).astype("float")
        img1 = resize(img1, [input_size_1, input_size_2, 3])
        img2 = resize(img2, [input_size_1, input_size_2, 3])
        img1 = np.reshape(img1, (1, input_size_1, input_size_2, 3))
        img2 = np.reshape(img2, (1, input_size_1, input_size_2, 3))
        img1 /= 255
        img2 /= 255
        batch_input = np.concatenate((batch_input, img1), axis = 0)
        batch_output = np.concatenate((batch_output, img2), axis = 0)
    return batch_input, batch_output
    
def Conv2d_BN(x, nb_filter, kernel_size, strides=(1,1), padding='same'):
    x = Conv2D(nb_filter, kernel_size, strides=strides, padding=padding)(x)
    x = BatchNormalization(axis=3)(x)
    x = LeakyReLU(alpha=0.1)(x)
    return x

def Conv2dT_BN(x, filters, kernel_size, strides=(2,2), padding='same'):
    x = Conv2DTranspose(filters, kernel_size, strides=strides, padding=padding)(x)
    x = BatchNormalization(axis=3)(x)
    x = LeakyReLU(alpha=0.1)(x)
    return x

inpt = Input(shape=(input_size_1, input_size_2, 3))

conv1 = Conv2d_BN(inpt, 8, (3, 3))
conv1 = Conv2d_BN(conv1, 8, (3, 3))
pool1 = MaxPooling2D(pool_size=(2,2),strides=(2,2),padding='same')(conv1)

conv2 = Conv2d_BN(pool1, 16, (3, 3))
conv2 = Conv2d_BN(conv2, 16, (3, 3))
pool2 = MaxPooling2D(pool_size=(2,2),strides=(2,2),padding='same')(conv2)

conv3 = Conv2d_BN(pool2, 32, (3, 3))
conv3 = Conv2d_BN(conv3, 32, (3, 3))
pool3 = MaxPooling2D(pool_size=(2,2),strides=(2,2),padding='same')(conv3)

conv4 = Conv2d_BN(pool3, 64, (3, 3))
conv4 = Conv2d_BN(conv4, 64, (3, 3))
pool4 = MaxPooling2D(pool_size=(2,2),strides=(2,2),padding='same')(conv4)

conv5 = Conv2d_BN(pool4, 128, (3, 3))
conv5 = Dropout(0.5)(conv5)
conv5 = Conv2d_BN(pool4, 128, (3, 3))
conv5 = Dropout(0.5)(conv5)

convt1 = Conv2dT_BN(conv5, 64, (3, 3))
concat1 = concatenate([conv4, convt1], axis=3)
concat1 = Dropout(0.5)(concat1)
conv6 = Conv2d_BN(concat1, 64, (3, 3))
conv6 = Conv2d_BN(conv6, 64, (3, 3))

convt2 = Conv2dT_BN(conv6, 32, (3, 3))
concat2 = concatenate([conv3, convt2], axis=3)
concat2 = Dropout(0.5)(concat2)
conv7 = Conv2d_BN(concat2, 32, (3, 3))
conv7 = Conv2d_BN(conv7, 32, (3, 3))

convt3 = Conv2dT_BN(conv7, 16, (3, 3))
concat3 = concatenate([conv2, convt3], axis=3)
concat3 = Dropout(0.5)(concat3)
conv8 = Conv2d_BN(concat3, 16, (3, 3))
conv8 = Conv2d_BN(conv8, 16, (3, 3))

convt4 = Conv2dT_BN(conv8, 8, (3, 3))
concat4 = concatenate([conv1, convt4], axis=3)
concat4 = Dropout(0.5)(concat4)
conv9 = Conv2d_BN(concat4, 8, (3, 3))
conv9 = Conv2d_BN(conv9, 8, (3, 3))
conv9 = Dropout(0.5)(conv9)
outpt = Conv2D(filters=3, kernel_size=(1,1), strides=(1,1), padding='same', activation='sigmoid')(conv9)

model = Model(inpt, outpt)
model.compile(loss='mean_squared_error', optimizer='Nadam', metrics=['accuracy'])
model.summary()

itr = 3000
S = []
for i in range(itr):
    print("iteration = ", i+1)
    if i < 500:
        bs = 4
    elif i < 2000:
        bs = 8
    elif i < 5000:
        bs = 16
    else:
        bs = 32
    train_X, train_Y = batch_data(input_name, n, batch_size = bs)
    model.fit(train_X, train_Y, epochs=1, verbose=0)
    if i % 100 == 99:
        save_model(model, 'unet.h5')
        
model = load_model('unet.h5')

def batch_data_test(input_name, n, batch_size = 8, input_size_1 = 256, input_size_2 = 256):
    rand_num = random.randint(0, n-1)
    img1 = io.imread('test_data3/JPEGImages/'+input_name[rand_num]).astype("float")
    img2 = io.imread('test_data3/TargetImages/'+input_name[rand_num]).astype("float")
    img1 = resize(img1, [input_size_1, input_size_2, 3])
    img2 = resize(img2, [input_size_1, input_size_2, 3])
    img1 = np.reshape(img1, (1, input_size_1, input_size_2, 3))
    img2 = np.reshape(img2, (1, input_size_1, input_size_2, 3))
    img1 /= 255
    img2 /= 255
    batch_input = img1
    batch_output = img2
    for batch_iter in range(1, batch_size):
        rand_num = random.randint(0, n-1)
        img1 = io.imread('test_data3/JPEGImages/'+input_name[rand_num]).astype("float")
        img2 = io.imread('test_data3/TargetImages/'+input_name[rand_num]).astype("float")
        img1 = resize(img1, [input_size_1, input_size_2, 3])
        img2 = resize(img2, [input_size_1, input_size_2, 3])
        img1 = np.reshape(img1, (1, input_size_1, input_size_2, 3))
        img2 = np.reshape(img2, (1, input_size_1, input_size_2, 3))
        img1 /= 255
        img2 /= 255
        batch_input = np.concatenate((batch_input, img1), axis = 0)
        batch_output = np.concatenate((batch_output, img2), axis = 0)
    return batch_input, batch_output

test_name = os.listdir('test_data3/JPEGImages')
n_test = len(test_name)

test_X, test_Y = batch_data_test(test_name, n_test, batch_size = 1)
pred_Y = model.predict(test_X)
ii = 0
plt.figure()
plt.imshow(test_X[ii, :, :, :])
plt.axis('off')
plt.figure()
plt.imshow(test_Y[ii, :, :, :])
plt.axis('off')
plt.figure()
plt.imshow(pred_Y[ii, :, :, :])
plt.axis('off')

 

相關推薦

Keras實現Unet結構

       在之前發的部落格“基於卷積神經網路特徵圖的二值影象分割”中（https://blog.csdn.net/shi2xian2wei2/article/details/84329511）也提到，Unet結構主要是通過多個多通道特徵圖最大化的利用輸入圖

Keras實現DenseNet結構

       DenseNet結構在16年由Huang Gao和Liu Zhuang等人提出，並且在CVRP2017中被評為最佳論文。論文地址：https://arxiv.org/abs/1608.06993v3。網路的核心結構為如下所示的Dense塊，在每一

摒棄encoder-decoder結構，Pervasive Attention模型與Keras實現

1.引言     現有的主流機器翻譯模型，基本都是基於encoder-decoder的結構，其思想就是對於輸入句子序列，通過RNN先進行編碼（encoder），轉化為一個上下文向量context vector，然後利用另一個RNN對上下文向量context vector進行

[深度應用]·Keras極簡實現Attention結構

[深度應用]·Keras極簡實現Attention結構 在上篇部落格中筆者講解來Attention結構的基本概念，在這篇部落格使用Keras搭建一個基於Attention結構網路加深理解。。 1.生成資料  這裡讓x[:, attention_column] = y[:,

使用泛型實現棧結構

move 一個 jsb 集合類 取出 term stat == 所有 泛型類就是含有一個或者多個類型參數的類。定義泛型類非常easy，僅僅須要在類的名稱後面加上“<”和“>”，並在當中指明類型參數，比方本例中的T。 也能夠在當中指明多個參數，如K、V。

用數組實現棧結構

include 不為 內容 基本操作 its src bool 構造 順序棧 程序的基本結構 包含的文件有： common.h —— 一般的頭文件，包含了常用的頭文件，狀態 c3-1.h —— 包含了基本操作的原型，類型定義 bo3-1.c —— 基本操作的實現 main3

使用postgre數據庫實現樹形結構表的子-父級叠代查詢，通過級聯菜單簡單舉例

with 兼容 rep blank 增刪改 結果 關系型 mssq word 前言：開發常用的關系型數據庫MySQL，mssql，postgre，Oracle，簡單的增刪改查的SQL語句都與標準SQL兼容，這個不用講，那麽對於叠代查詢（不嚴格的叫法：遞歸查詢）每種數據庫都不

Javascript實現列表結構

for rpo 字符 list() 如果 重復 任意數據類型 down 設置 作者原文：http://hawkzz.com/blog/blog/1514966479779 簡介 最近，在看《數據結構與算法 Javascript描述》，本篇文章，只是看書的筆記，算是重復造

日常學習隨筆-數組、單鏈表、雙鏈表三種形式實現棧結構的基本操作

ext return lse efi CA 需要 kde 當前 default 一、棧結構 　　棧（stack）是限制插入和刪除只能在一個位置上的表，該位置是 表的末端，叫做棧的頂（Top）。對棧的基本操作有push(進棧），pop(出棧），peak(棧頂元素)，size(

php源碼建博客4--實現MVC結構微型框架

步驟 wid 搭建博客 指定 ret dispatch 設置 auto 安全 主要： 常量優化路徑 自動加載類 優化入口文件 安全訪問項目目錄 --------------文件結構：-----------------------------------

python 實現樹結構

elf ... () UNC reat 分析 ali info 一個人 簡述： 研究 MCTS 過程中， 需要用到樹結構。 baidu google 了一番， 找不到自己能滿足自己的庫或代碼參考，只好再造個輪子出來 我造的樹用來下五子棋 和 圍棋用的， 有其它不同

遞歸、嵌套for循環、map集合方式實現樹形結構菜單列表查詢

嵌套 ava oid str rip res 邏輯 分享圖片 private 有時候， 我們需要用到菜單列表，但是怎麽樣去實現一個菜單列表的編寫呢，這是一重要的問題。 比如我們需要編寫一個樹形結構的菜單，那麽我們可以使用JQuery的zTree插件：http://www.t

用Javascript實現棧結構

github主頁：https://github.com/A15162252289 什麼是棧？ 棧是一種遵從後進先出(LIFO)原則的有序集合。新新增的或待刪除的元素都儲存在棧的同一端，稱之為棧頂，另一端則為棧底。在棧裡，新元素靠近棧頂，舊元素靠近棧底。 如何實現棧？ 1.首

怎麼理解用程式碼來實現資料結構

怎麼能更好的用程式碼實現資料結構內容？ 個人理解為：1.首先要掌握資料結構的邏輯，也就是說要知道資料結構是怎麼實現的。這一點達不到的話，後面根本就無從談起。                   &nbs

keras實現多個模型融合（非keras自帶模型，這裡以3個自己的模型為例）

該程式碼可以實現類似圖片的效果，多個模型採用第一個輸入。 圖片來源：https://github.com/keras-team/keras/issues/4205   step 1:重新定義模型(這是我自己的模型，你們可以用你們自己的)，與預訓練不一樣，這裡定義模型inp

雙向連結串列簡單實現--資料結構與演算法紀錄片第一記

　　從這個月開始得準備春招的東西，所以打算重新學習資料結構與演算法，以後的部落格就以這個為主。 　　今天是線性結構中的雙向連結串列。 　　程式碼實現與測試： 　　DoubleLinkNode：　 package linear.doublelink;/** * @Description: 連結串列節點結

簡明條件隨機場CRF介紹（附帶純Keras實現）

筆者去年曾寫過博文《果殼中的條件隨機場(CRF In A Nutshell)》，以一種比較粗糙的方式介紹了一下條件隨機場（CRF）模型。然而那篇文章顯然有很多不足的地方，比如介紹不夠清晰，也不夠完整，還沒有實現，在這裡我們重提這個模型，將相關內容補充完成。 本文是對CRF基本原理的一個簡明的介紹

指標實現取出結構體變數中的成員

#include <stdio.h> struct Student{ 　　int age; 　　float score; 　　char sex;}; int main(void){ 　　struct Student st = {80, 66.6F, 'F'}; 　　struct Student

Python基礎：python實現樹結構

樹是我們常見的一種一對多的資料結構。 最近為了處理一些事情，寫了一顆三層的樹。每層的子節點數目均不確定，動態新增。 為了方便管理，寫成了巢狀樹。 class ModelTree(): #第一層樹，建立樹是必須指定根結點，不支援建立空樹。 #整顆樹儲存在tree_

Keras實現VGG16

from keras.models import Sequential from keras.layers import Dense, Flatten, Dropout from keras.layers.convolutional import Conv2D, MaxPooling2D i