2. 程式人生 > >Keras實現DenseNet結構

Keras實現DenseNet結構

阿新 • • 發佈：2018-11-27

       DenseNet結構在16年由Huang Gao和Liu Zhuang等人提出，並且在CVRP2017中被評為最佳論文。論文地址：https://arxiv.org/abs/1608.06993v3。網路的核心結構為如下所示的Dense塊，在每一個Dense塊中，存在多個Dense層，即下圖所示的H1～H4。各Dense層之間彼此均相互連線，即H1的輸入為x0，輸出為x1，H2的輸入即為[x0, x1]，輸出為x2，依次類推。最終Dense塊的輸出即為[x0, x1, x2, x3, x4]。這種結構個人感覺非常類似生物學裡邊的神經元連線方式，應該能夠比較有效的提高了網路中特徵資訊的利用效率。

       DenseNet的其他結構就非常類似一般的卷積神經網路結構了，可以參考論文中提供的網路結構圖（下圖）。但是個人感覺，DenseNet的這種結構應該是存在進一步的優化方法的，比如可能不一定需要在Dense塊中對每一個Dense層均直接進行相互連線，來縮小網路的結構；也可能可以在不相鄰的Dense塊之間通過簡單的下采樣操作進行連線，進一步提升網路對不同尺度的特徵的利用效率。

       由於DenseNet的密集連線方式，在構建一個相同容量的網路時其所需的引數數量遠小於其之前提出的如resnet等結構。進一步，個人感覺應該可以把Dense塊看做對一個有較多引數的卷積層的高效替代。因此，其也可以結合U-Net等網路結構，來進一步優化網路效能，比如單純的把U-net中的所有卷積層全部換成DenseNet的結構，就可以顯著壓縮網路大小。

       下面基於Keras實現DenseNet-BC結構。首先定義Dense層，根據論文描述構建如下：

def DenseLayer(x, nb_filter, bn_size=4, alpha=0.0, drop_rate=0.2):
    
    # Bottleneck layers
    x = BatchNormalization(axis=3)(x)
    x = LeakyReLU(alpha=alpha)(x)
    x = Conv2D(bn_size*nb_filter, (1, 1), strides=(1,1), padding='same')(x)
    
    # Composite function
    x = BatchNormalization(axis=3)(x)
    x = LeakyReLU(alpha=alpha)(x)
    x = Conv2D(nb_filter, (3, 3), strides=(1,1), padding='same')(x)
    
    if drop_rate: x = Dropout(drop_rate)(x)
    
    return x

       論文原文中提出使用1*1卷積核的卷積層作為bottleneck層來優化計算效率。原文中使用的啟用函式全部為relu，但個人習慣是用leakyrelu進行構建，來方便調參。

       之後是用Dense層搭建Dense塊，如下：

def DenseBlock(x, nb_layers, growth_rate, drop_rate=0.2):
    
    for ii in range(nb_layers):
        conv = DenseLayer(x, nb_filter=growth_rate, drop_rate=drop_rate)
        x = concatenate([x, conv], axis=3)
        
    return x

       如論文中所述，將每一個Dense層的輸出與其輸入融合之後作為下一Dense層的輸入，來實現密集連線。

       最後是各Dense塊之間的過渡層，如下：

def TransitionLayer(x, compression=0.5, alpha=0.0, is_max=0):
    
    nb_filter = int(x.shape.as_list()[-1]*compression)
    x = BatchNormalization(axis=3)(x)
    x = LeakyReLU(alpha=alpha)(x)
    x = Conv2D(nb_filter, (1, 1), strides=(1,1), padding='same')(x)
    if is_max != 0: x = MaxPooling2D(pool_size=(2, 2), strides=2)(x)
    else: x = AveragePooling2D(pool_size=(2, 2), strides=2)(x)
    
    return x

       論文中提出使用均值池化層來作下采樣，不過在邊緣特徵提取方面，最大池化層效果應該更好，這裡就加了相關介面。

       將上述結構按照論文中提出的結構進行拼接，這裡選擇的引數是論文中提到的L=100，k=12，網路連線如下：

growth_rate = 12

inpt = Input(shape=(32,32,3))

x = Conv2D(growth_rate*2, (3, 3), strides=1, padding='same')(inpt)
x = BatchNormalization(axis=3)(x)
x = LeakyReLU(alpha=0.1)(x)

x = DenseBlock(x, 12, growth_rate, drop_rate=0.2)

x = TransitionLayer(x)

x = DenseBlock(x, 12, growth_rate, drop_rate=0.2)

x = TransitionLayer(x)

x = DenseBlock(x, 12, growth_rate, drop_rate=0.2)

x = BatchNormalization(axis=3)(x)
x = GlobalAveragePooling2D()(x)

x = Dense(10, activation='softmax')(x)

model = Model(inpt, x)
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

model.summary()

       雖然我們已經完成了網路的架設，網路本身的引數數量也僅有0.5M，但由於以這種方式實現的網路在Dense塊中，每一次concat均需要開闢一組全新的記憶體空間，導致實際需要的記憶體空間非常大。作者在17年的時候，還專門寫了相關的技術報告：https://arxiv.org/abs/1707.06990來說明怎麼節省記憶體空間，不過單純用keras實現起來是比較麻煩。下一篇部落格中將以pytorch框架來對其進行實現。

       最後放出網路完整程式碼：

import numpy as np
import keras
from keras.models import Model, save_model, load_model
from keras.layers import Input, Dense, Dropout, BatchNormalization, LeakyReLU, concatenate
from keras.layers import Conv2D, MaxPooling2D, AveragePooling2D, GlobalAveragePooling2D

## data
import pickle

data_batch_1 = pickle.load(open("cifar-10-batches-py/data_batch_1", 'rb'), encoding='bytes')
data_batch_2 = pickle.load(open("cifar-10-batches-py/data_batch_2", 'rb'), encoding='bytes')
data_batch_3 = pickle.load(open("cifar-10-batches-py/data_batch_3", 'rb'), encoding='bytes')
data_batch_4 = pickle.load(open("cifar-10-batches-py/data_batch_4", 'rb'), encoding='bytes')
data_batch_5 = pickle.load(open("cifar-10-batches-py/data_batch_5", 'rb'), encoding='bytes')

train_X_1 = data_batch_1[b'data']
train_X_1 = train_X_1.reshape(10000, 3, 32, 32).transpose(0, 2, 3, 1).astype("float")
train_Y_1 = data_batch_1[b'labels']

train_X_2 = data_batch_2[b'data']
train_X_2 = train_X_2.reshape(10000, 3, 32, 32).transpose(0, 2, 3, 1).astype("float")
train_Y_2 = data_batch_2[b'labels']

train_X_3 = data_batch_3[b'data']
train_X_3 = train_X_3.reshape(10000, 3, 32, 32).transpose(0, 2, 3, 1).astype("float")
train_Y_3 = data_batch_3[b'labels']

train_X_4 = data_batch_4[b'data']
train_X_4 = train_X_4.reshape(10000, 3, 32, 32).transpose(0, 2, 3, 1).astype("float")
train_Y_4 = data_batch_4[b'labels']

train_X_5 = data_batch_5[b'data']
train_X_5 = train_X_5.reshape(10000, 3, 32, 32).transpose(0, 2, 3, 1).astype("float")
train_Y_5 = data_batch_5[b'labels']

train_X = np.row_stack((train_X_1, train_X_2))
train_X = np.row_stack((train_X, train_X_3))
train_X = np.row_stack((train_X, train_X_4))
train_X = np.row_stack((train_X, train_X_5))

train_Y = np.row_stack((train_Y_1, train_Y_2))
train_Y = np.row_stack((train_Y, train_Y_3))
train_Y = np.row_stack((train_Y, train_Y_4))
train_Y = np.row_stack((train_Y, train_Y_5))
train_Y = train_Y.reshape(50000, 1).transpose(0, 1).astype("int32")
train_Y = keras.utils.to_categorical(train_Y)

test_batch = pickle.load(open("cifar-10-batches-py/test_batch", 'rb'), encoding='bytes')
test_X = test_batch[b'data']
test_X = test_X.reshape(10000, 3, 32, 32).transpose(0, 2, 3, 1).astype("float")
test_Y = test_batch[b'labels']
test_Y = keras.utils.to_categorical(test_Y)

train_X /= 255
test_X /= 255

# model

def DenseLayer(x, nb_filter, bn_size=4, alpha=0.0, drop_rate=0.2):
    
    # Bottleneck layers
    x = BatchNormalization(axis=3)(x)
    x = LeakyReLU(alpha=alpha)(x)
    x = Conv2D(bn_size*nb_filter, (1, 1), strides=(1,1), padding='same')(x)
    
    # Composite function
    x = BatchNormalization(axis=3)(x)
    x = LeakyReLU(alpha=alpha)(x)
    x = Conv2D(nb_filter, (3, 3), strides=(1,1), padding='same')(x)
    
    if drop_rate: x = Dropout(drop_rate)(x)
    
    return x

def DenseBlock(x, nb_layers, growth_rate, drop_rate=0.2):
    
    for ii in range(nb_layers):
        conv = DenseLayer(x, nb_filter=growth_rate, drop_rate=drop_rate)
        x = concatenate([x, conv], axis=3)
        
    return x
    
def TransitionLayer(x, compression=0.5, alpha=0.0, is_max=0):
    
    nb_filter = int(x.shape.as_list()[-1]*compression)
    x = BatchNormalization(axis=3)(x)
    x = LeakyReLU(alpha=alpha)(x)
    x = Conv2D(nb_filter, (1, 1), strides=(1,1), padding='same')(x)
    if is_max != 0: x = MaxPooling2D(pool_size=(2, 2), strides=2)(x)
    else: x = AveragePooling2D(pool_size=(2, 2), strides=2)(x)
    
    return x

growth_rate = 12

inpt = Input(shape=(32,32,3))

x = Conv2D(growth_rate*2, (3, 3), strides=1, padding='same')(inpt)
x = BatchNormalization(axis=3)(x)
x = LeakyReLU(alpha=0.1)(x)

x = DenseBlock(x, 12, growth_rate, drop_rate=0.2)

x = TransitionLayer(x)

x = DenseBlock(x, 12, growth_rate, drop_rate=0.2)

x = TransitionLayer(x)

x = DenseBlock(x, 12, growth_rate, drop_rate=0.2)

x = BatchNormalization(axis=3)(x)
x = GlobalAveragePooling2D()(x)

x = Dense(10, activation='softmax')(x)

model = Model(inpt, x)
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

model.summary()

for ii in range(10):
    print("Epoch:", ii+1)
    model.fit(train_X, train_Y, batch_size=100, epochs=1, verbose=1)
    score = model.evaluate(test_X, test_Y, verbose=1)
    print('Test loss =', score[0])
    print('Test accuracy =', score[1])

save_model(model, 'DenseNet.h5')
model = load_model('DenseNet.h5')

pred_Y = model.predict(test_X)
score = model.evaluate(test_X, test_Y, verbose=0)
print('Test loss =', score[0])
print('Test accuracy =', score[1])

 

相關推薦

Keras實現DenseNet結構

       DenseNet結構在16年由Huang Gao和Liu Zhuang等人提出，並且在CVRP2017中被評為最佳論文。論文地址：https://arxiv.org/abs/1608.06993v3。網路的核心結構為如下所示的Dense塊，在每一

keras實現densenet和Xception的模型融合

我正在參加天池上的一個競賽，剛開始用的是DenseNet121但是效果沒有達到預期，因此開始嘗試使用模型融合，將Desenet和Xception融合起來共同提取特徵。程式碼如下： def Multimodel(cnn_weights_path=None,all_weights_path=N

Pytorch實現DenseNet結構

       在上一篇部落格中說到，由於框架結構的原因，Keras很難實現DenseNet的記憶體優化版本。在這一篇部落格中將參考官方對DenseNet的實現，來寫基於Pytorch框架實現用於cifar10資料集分類的DenseNet-BC結構。網路中各模組

Keras實現Unet結構

       在之前發的部落格“基於卷積神經網路特徵圖的二值影象分割”中（https://blog.csdn.net/shi2xian2wei2/article/details/84329511）也提到，Unet結構主要是通過多個多通道特徵圖最大化的利用輸入圖

摒棄encoder-decoder結構，Pervasive Attention模型與Keras實現

1.引言     現有的主流機器翻譯模型，基本都是基於encoder-decoder的結構，其思想就是對於輸入句子序列，通過RNN先進行編碼（encoder），轉化為一個上下文向量context vector，然後利用另一個RNN對上下文向量context vector進行

[深度應用]·Keras極簡實現Attention結構

[深度應用]·Keras極簡實現Attention結構 在上篇部落格中筆者講解來Attention結構的基本概念，在這篇部落格使用Keras搭建一個基於Attention結構網路加深理解。。 1.生成資料  這裡讓x[:, attention_column] = y[:,

使用泛型實現棧結構

move 一個 jsb 集合類 取出 term stat == 所有 泛型類就是含有一個或者多個類型參數的類。定義泛型類非常easy，僅僅須要在類的名稱後面加上“<”和“>”，並在當中指明類型參數，比方本例中的T。 也能夠在當中指明多個參數，如K、V。

用數組實現棧結構

include 不為 內容 基本操作 its src bool 構造 順序棧 程序的基本結構 包含的文件有： common.h —— 一般的頭文件，包含了常用的頭文件，狀態 c3-1.h —— 包含了基本操作的原型，類型定義 bo3-1.c —— 基本操作的實現 main3

使用postgre數據庫實現樹形結構表的子-父級叠代查詢，通過級聯菜單簡單舉例

with 兼容 rep blank 增刪改 結果 關系型 mssq word 前言：開發常用的關系型數據庫MySQL，mssql，postgre，Oracle，簡單的增刪改查的SQL語句都與標準SQL兼容，這個不用講，那麽對於叠代查詢（不嚴格的叫法：遞歸查詢）每種數據庫都不

Javascript實現列表結構

for rpo 字符 list() 如果 重復 任意數據類型 down 設置 作者原文：http://hawkzz.com/blog/blog/1514966479779 簡介 最近，在看《數據結構與算法 Javascript描述》，本篇文章，只是看書的筆記，算是重復造

日常學習隨筆-數組、單鏈表、雙鏈表三種形式實現棧結構的基本操作

ext return lse efi CA 需要 kde 當前 default 一、棧結構 　　棧（stack）是限制插入和刪除只能在一個位置上的表，該位置是 表的末端，叫做棧的頂（Top）。對棧的基本操作有push(進棧），pop(出棧），peak(棧頂元素)，size(

php源碼建博客4--實現MVC結構微型框架

步驟 wid 搭建博客 指定 ret dispatch 設置 auto 安全 主要： 常量優化路徑 自動加載類 優化入口文件 安全訪問項目目錄 --------------文件結構：-----------------------------------

python 實現樹結構

elf ... () UNC reat 分析 ali info 一個人 簡述： 研究 MCTS 過程中， 需要用到樹結構。 baidu google 了一番， 找不到自己能滿足自己的庫或代碼參考，只好再造個輪子出來 我造的樹用來下五子棋 和 圍棋用的， 有其它不同

遞歸、嵌套for循環、map集合方式實現樹形結構菜單列表查詢

嵌套 ava oid str rip res 邏輯 分享圖片 private 有時候， 我們需要用到菜單列表，但是怎麽樣去實現一個菜單列表的編寫呢，這是一重要的問題。 比如我們需要編寫一個樹形結構的菜單，那麽我們可以使用JQuery的zTree插件：http://www.t

用Javascript實現棧結構

github主頁：https://github.com/A15162252289 什麼是棧？ 棧是一種遵從後進先出(LIFO)原則的有序集合。新新增的或待刪除的元素都儲存在棧的同一端，稱之為棧頂，另一端則為棧底。在棧裡，新元素靠近棧頂，舊元素靠近棧底。 如何實現棧？ 1.首

怎麼理解用程式碼來實現資料結構

怎麼能更好的用程式碼實現資料結構內容？ 個人理解為：1.首先要掌握資料結構的邏輯，也就是說要知道資料結構是怎麼實現的。這一點達不到的話，後面根本就無從談起。                   &nbs

keras實現多個模型融合（非keras自帶模型，這裡以3個自己的模型為例）

該程式碼可以實現類似圖片的效果，多個模型採用第一個輸入。 圖片來源：https://github.com/keras-team/keras/issues/4205   step 1:重新定義模型(這是我自己的模型，你們可以用你們自己的)，與預訓練不一樣，這裡定義模型inp

雙向連結串列簡單實現--資料結構與演算法紀錄片第一記

　　從這個月開始得準備春招的東西，所以打算重新學習資料結構與演算法，以後的部落格就以這個為主。 　　今天是線性結構中的雙向連結串列。 　　程式碼實現與測試： 　　DoubleLinkNode：　 package linear.doublelink;/** * @Description: 連結串列節點結

簡明條件隨機場CRF介紹（附帶純Keras實現）

筆者去年曾寫過博文《果殼中的條件隨機場(CRF In A Nutshell)》，以一種比較粗糙的方式介紹了一下條件隨機場（CRF）模型。然而那篇文章顯然有很多不足的地方，比如介紹不夠清晰，也不夠完整，還沒有實現，在這裡我們重提這個模型，將相關內容補充完成。 本文是對CRF基本原理的一個簡明的介紹

指標實現取出結構體變數中的成員

#include <stdio.h> struct Student{ 　　int age; 　　float score; 　　char sex;}; int main(void){ 　　struct Student st = {80, 66.6F, 'F'}; 　　struct Student