1. 程式人生 > 程式設計 >Keras: model實現固定部分layer,訓練部分layer操作

Keras: model實現固定部分layer,訓練部分layer操作

需求:Resnet50做調優訓練,將最後分類數目由1000改為500。

問題:網上下載了resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5,更改了Resnet50後,由於所有層均參加訓練,導致訓練速度慢。實際上只需要訓練最後3層,前面的層都不需要訓練。

解決辦法:

①將模型拆分為兩個模型,一個為前面的notop部分,一個為最後三層,然後利用model的trainable屬性設定只有後一個model訓練,最後將兩個模型合併起來。

②不用拆分,遍歷模型的所有層,將前面層的trainable設定為False即可。程式碼如下:

for layer in model.layers[:-3]:
 print(layer.trainable)
 layer.trainable = False

注意事項:

①儘量不要這樣:

layers.Conv2D(filters1,(1,1),trainable=False)(input_tensor)

因為容易出錯。。。

②載入notop引數時注意by_name=True.

補充知識:Keras關於訓練凍結部分層

設定凍結層有兩種方式。

(不推薦)是在搭建網路時,直接將某層的trainable設定為false,例如:

layers.Conv2D(filters1,trainable=False)(input_tensor)

在網路搭建完成時,遍歷model.layer,然後將layer.trainable設定為False:

# 凍結網路倒數的3層
for layer in model.layers[:-3]:
 print(layer.trainable)
 layer.trainable = False

也可以根據layer.name來確定哪些層需要凍結,例如凍結最後一層和RNN層:

for layer in model.layers:
 layerName=str(layer.name)
 if layerName.startswith("RNN_") or layerName.startswith("Final_"):
 layer.trainable=False

可以在例項化之後將網路層的 trainable 屬性設定為 True 或 False。為了使之生效,在修改 trainable 屬性之後,需要在模型上呼叫 compile()。

這是一個例子

x = Input(shape=(32,))
layer = Dense(32)
layer.trainable = False
y = layer(x)
 
frozen_model = Model(x,y)
# 在下面的模型中,訓練期間不會更新層的權重
frozen_model.compile(optimizer='rmsprop',loss='mse')
 
layer.trainable = True
trainable_model = Model(x,y)
# 使用這個模型,訓練期間 `layer` 的權重將被更新
# (這也會影響上面的模型,因為它使用了同一個網路層例項)
trainable_model.compile(optimizer='rmsprop',loss='mse')
 
frozen_model.fit(data,labels) # 這不會更新 `layer` 的權重
trainable_model.fit(data,labels) # 這會更新 `layer` 的權重

在網路搭建時,可以考慮最後一個分類層命名和分類數量關聯,這樣當費雷數量方式變化時,model.load_weight(“weight.h5”,by_name=True)不會載入最後一層

以上這篇Keras: model實現固定部分layer,訓練部分layer操作就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。