執行機器學習演算法時，很多人一開始都會有意無意將資料集預設直接裝進顯示卡視訊記憶體中，如果處理大型資料集（例如圖片尺寸很大）或是網路很深且隱藏層很寬，也可能造成視訊記憶體不足。

這個情況隨著工作的深入會經常碰到，解決方法其實很多人知道，就是分塊裝入。以keras為例，預設情況下用fit方法載資料，就是全部載入。換用fit_generator方法就會以自己手寫的方法用yield逐塊裝入。這裡稍微深入講一下fit_generator方法。
.

— fit_generator原始碼

def fit_generator(self, generator, samples_per_epoch, nb_epoch,
                      verbose=1
 
, callbacks=[],
                      validation_data=None, nb_val_samples=None,
                      class_weight=None, max_q_size=10, **kwargs):

.

— generator 該怎麼寫？

其中generator引數傳入的是一個方法，validation_data引數既可以傳入一個方法也可以直接傳入驗證資料集，通常我們都可以傳入方法。這個方法需要我們自己手寫，虛擬碼如下：

def generate_batch_data_random(x, y, batch_size)
 
:
    """逐步提取batch資料到視訊記憶體，降低對視訊記憶體的佔用"""
    ylen = len(y)
    loopcount = ylen // batch_size
    while (True):
        i = randint(0,loopcount)
        yield x[i * batch_size:(i + 1) * batch_size], y[i * batch_size:(i + 1) * batch_size]

.
為什麼推薦在自己寫的方法中用隨機呢？

• 因為fit方法預設shuffle引數也是True，fit_generator需要我們自己隨機打亂資料。
• 另外，在方法中需要用while寫成死迴圈，因為每個epoch不會重新呼叫方法，這個是新手通常會碰到的問題。

當然，如果原始資料已經隨機打亂過，那麼可以不在這裡做隨機處理。否則還是建議加上隨機取數邏輯（如果資料集比較大則可以保證基本亂序輸出）。深度學習中隨機打亂資料是非常重要的，具體參見《深度學習Deep Learning》一書的8.1.3節：《Batch and Minibatch Algorithm》。（2017年5月25日補充說明）
.

呼叫示例：

model.fit_generator(self.generate_batch_data_random(x_train, y_train, batch_size),                                                      
    samples_per_epoch=len(y_train)//batch_size*batch_size,
    nb_epoch=epoch, 
    validation_data=self.generate_valid_data(x_valid, y_valid,batch_size),
    nb_val_samples=(len(y_valid)//batch_size*batch_size), 
    verbose=verbose,
    callbacks=[early_stopping])

這樣就可以將對視訊記憶體的佔用壓低了，配合第一部分的方法可以方便同時執行多程式。

'''
gen_matrix實現從分詞後的list來輸出訓練樣本
gen_target實現將輸出序列轉換為one hot形式的目標
超過maxlen則截斷，不足補0
'''
gen_matrix = lambda z: np.vstack((word2vec[z[:maxlen]], np.zeros((maxlen-len(z[:maxlen]), word_size))))
gen_target = lambda z: np_utils.to_categorical(np.array(z[:maxlen] + [0]*(maxlen-len(z[:maxlen]))), 5)

#從節省記憶體的角度，通過生成器的方式來訓練
def data_generator(data, targets, batch_size): 
    idx = np.arange(len(data))
    np.random.shuffle(idx)
    batches = [idx[range(batch_size*i, min(len(data), batch_size*(i+1)))] for i in range(len(data)/batch_size+1)]
    while True:
        for i in batches:
            xx, yy = np.array(map(gen_matrix, data[i])), np.array(map(gen_target, targets[i]))
            yield (xx, yy)


batch_size = 1024
history = model.fit_generator(data_generator(d['words'], d['label'], batch_size), samples_per_epoch=len(d), nb_epoch=200)
model.save_weights('words_seq2seq_final_1.model')

def generator(array, batch_size):
  """Generate batch with respect to array's first axis."""
  start = 0  # pointer to where we are in iteration
  while True:
    stop = start + batch_size
    diff = stop - array.shape[0]
    if diff <= 0:
      batch = array[start:stop]
      start += batch_size
    else:
      batch = np.concatenate((array[start:], array[:diff]))
      start = diff
    yield batch

To use it, simply write

from observations import cifar10
(x_train, y_train), (x_test, y_test) = cifar10("~/data")
x_train_data = generator(x_train, 256)