儲存

多GPU下無法直接儲存多GPU模型結構和引數，而應該使用template model進行儲存

keras文件：To save the multi-gpu model, use .save(fname) or .save_weights(fname) with the template model (the argument you passed to multi_gpu_model), rather than the model returned by multi_gpu_model.

model = get_model()
paralleled_model=multi_gpu_model(model1,gpus=num_gpu)
paralleled_model.compile
 
()
paralleled_model.fit()
model.save() # 用template model 儲存引數

Modelcheckpoint callback 報錯
Modelchecpoint callback函式無法呼叫也是因為儲存時呼叫的是paralleled_model.save()導致的。
解決方法一：在modelcheckpoint裡引數加上save_weights_only=True後，只會儲存模型權重，但是儲存的模型只能在同樣數量的GPU上載入，而沒辦法再單GPU下載入。

解決方法二：自定義Callback函式，將callback函式中的paralle model 置為 template model

class ParallelModelCheckpoint(ModelCheckpoint):
    def __init__(self,model,filepath, monitor='val_loss', verbose=0,
                 save_best_only=False, save_weights_only=False,
                 mode='auto', period=1):
        self.single_model = model
        super(ParallelModelCheckpoint,self).__init__(filepath, monitor, verbose,save_best_only, save_weights_only,mode, period)

    def
 
 set_model(self, model):
        super(ParallelModelCheckpoint,self).set_model(self.single_model)

check_point = ParallelModelCheckpoint(single_model ,'best.hd5')

載入

多GPU下儲存的權重無法在單GPU/CPU下執行，預測時可以建立多GPU模型後先匯入多GPU的權重而用template model 進行predict：

model = get_model()
paralleled_model=multi_gpu_model(model,gpus=num_gpu)
paralleled_model.load_weights("weights_multi_gpu.h5") # 此時model也自動載入了權重，可用model進行預測
model.predict()