對電影評論進行分類：二分法的範例

把一批資料分成兩類，可能是機器學習應用最為廣泛的分類方法。

因特網電影資料庫（ IMDB ）的資料集

與資料集 MNIST 相伴，IMDB 資料集也被打包進 Keras。影評已經預處理，文字序列轉換成為數字序列，每個數字表示字典中的一個單詞。下面的程式碼首次執行，會把約 80 MB 的資料下載到你的計算機。

 載入資料集 IMDB 

from keras.datasets import imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)
 

變數 train_data 和 test_data 是影評列表。影評是單詞索引的列表，單詞索引是單詞序列的編碼。train_labels 和 test_labels 是由數字 0 和 1 組成的列表，0 代表負面評論，1 代表正面評論：

>>> train_data[0]
[1, 14, 22, 16, ... 178, 32]
>>> train_labels[0]
1

影評的詞彙量為 10,000 個常用詞，其索引最大值不超過 10,000：

>>> max([max(sequence) for sequence in train_data])
9999

把影評解碼成英文單詞，這樣做：

word_index = imdb.get_word_index()
reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])
decoded_review = ' '.join([reverse_word_index.get(i - 3, '?') for i in train_data[0]])

準備資料

神經網路不能食用數字列表，必須把它們轉成張量。有 2 個辦法：

•  把列表變成形狀為（樣例，單詞索引）的張量，作為網路的第一層。
•  二值編碼（One-hot encode 直譯“獨熱編碼”不知所云），把列表變成值為 0 或 1 的向量。例如，把序列 [3, 5] 放入維度為 10,000 的向量，索引 3 和 5 對應值是 1，其他都是 0 。將其作為全連線網路的第一層，處理浮點型資料。

 把整數序列編成二值矩陣 

import numpy as np

def vectorize_sequences(sequences, dimension=10000):
    results = np.zeros((len(sequences), dimension))
    for i, sequence in enumerate(sequences):
        results[i, sequence] = 1.
    return results

x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)

# 樣本現在的樣子：
>>> x_train[0]
array([ 0., 1., 1., ..., 0., 0., 0.])

# 向量化你的標籤：
y_train = np.asarray(train_labels).astype('float32')
y_test = np.asarray(test_labels).astype('float32')

# 現在資料準備進入神經網路。

輸入資料是向量，標籤是標量（1 和 0）：這是最容易的一步。這種網路是簡單的多層疊加的全連線網路，用函式 relu 啟用： 

Dense(16,activation='relu')。

傳遞給 Dense 層的引數 16 是隱藏單元的數目。隱藏單元是本層表達空間的維度。Dense 層的啟用函式 relu 實現以下張量運算：

output = relu(dot(W, input) + b)

16 個隱藏單元意味著權重矩陣 W 的形狀是（輸入維度，16）：W 的點積運算在 16 維度的表達空間內產生資料（然後，加上偏置向量 b，進行 relu 運算）。更多的表達空間可使網路學習更復雜的表示式，但也要付出更多的計算代價，甚至導致不需要的學習模式（模式可以提高訓練成績，但不能提高測試成績）。

決定 Dense 層架構的有兩個要素：

• 要用多少層
• 每個層有多少隱藏單元

在第 4 章，你將學習確定 Dense 層架構的指導原則。目前的選擇是：

• 2 箇中間層，每層 16 個隱藏單元
• 第 3 層產生標量資料，對當前影評的預測

中間層用 relu 作為啟用函式，最後一層用 S 型函式啟用輸出一概率值（0 至 1），表示樣本屬於正面影評的似然度。

 定義模型 

from keras import models
from keras import layers
model = models.Sequential()
model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))
model.add(layers.Dense(16, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

為什麼啟用函式必不可少？

如果沒有啟用函式，比如 relu，Dense 層成了兩個線性運算 — 點積和加法：

output = dot(W, input) + b

於是，Danse 層只會學習對輸入資料進行線性轉換。多層網路因此失去意義。

最後，你需要選擇一個損失函式。因為正在處理的二值分類問題，最好使用損失函式  binary_crossentropy。

 編譯模型 

model.compile(optimizer='rmsprop',        # 優化器
              loss='binary_crossentropy', # 損失函式
              metrics=['accuracy'])       # 測控指標

優化器、損失函式、測控指標均可自行設定。例如：

 設定優化器 

from keras import optimizers
model.compile(optimizer=optimizers.RMSprop(lr=0.001),
              loss='binary_crossentropy',
              metrics=['accuracy'])

 使用者定義損失函式和測控指標 

from keras import losses
from keras import metrics
model.compile(optimizer=optimizers.RMSprop(lr=0.001),
              loss=losses.binary_crossentropy,
              metrics=[metrics.binary_accuracy])

驗證你的方法

為了測控模型處理資料的精度，從初始的訓練資料中分割出 10,000 條樣本，作為驗證用資料集：

x_val = x_train[:10000]
partial_x_train = x_train[10000:]
y_val = y_train[:10000]
partial_y_train = y_train[10000:]

你將訓練模型 20 輪次。也就是說，你要對張量 x_train 和 y_train 中的全部樣本，迭代訓練 20 次。同時，你將對分割的 10,000 個樣本產生的損失和精度進行測控。為此，你要使用變參  validation_data 輸入驗證用樣本。

 訓練你的模型 

model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['acc'])

history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=20,
                    batch_size=512,
                    validation_data=(x_val, y_val))

注意， model.fit() 返回的物件 history 是個字典，儲存著訓練過程中的各種資料：

>>> history_dict = history.history
>>> history_dict.keys()
[u'acc', u'loss', u'val_acc', u'val_loss']

字典包括監測到的 4 個指標：前 2 個是訓練的精度和損失；後 2 個是驗證的精度和損失。可用 Matplotlib 畫出這些指標。

 畫出訓練和驗證的損失 

import matplotlib.pyplot as plt
history_dict = history.history
loss_values = history_dict['loss']
val_loss_values = history_dict['val_loss']
epochs = range(1, len(acc) + 1)
plt.plot(epochs, loss_values, 'bo', label='Training loss')
plt.plot(epochs, val_loss_values, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

 畫出訓練和驗證的精度 

plt.clf()
acc_values = history_dict['acc']
val_acc_values = history_dict['val_acc']
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

你會看到，隨著每次迭代訓練的損失下降，訓練的精度上升。這正是你所期待的梯度下降優化。不過，損失和精度的驗證是另外一回事：它們似乎在第 4 次迭代時達到峰值。這個例子正是我們曾經警告過的：訓練成績好的模型，使用未曾見過的資料時，表現未必好。確切地說，這種現象是過度擬合。

在此，為了阻止過度擬合，第 3 次迭代後你應該停止訓練。可以用些技術減緩過度擬合，具體見第 4 章。

讓我們只迭代 4 次，接著用測試資料進行評估：

model = models.Sequential()
model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))
model.add(layers.Dense(16, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

model.fit(x_train, y_train, epochs=4, batch_size=512)

results = model.evaluate(x_test, y_test)

# 最終結果如下:
>>> results
[0.2929924130630493, 0.88327999999999995]

用稚樸的辦法可達到 88% 的精度。 用最先進的技術可接近 95% 的精度。

用訓練過的網路對新資料進行預測

你可以用 predict 方法預測影評屬於正面的可能性：

>>> model.predict(x_test)
array([[ 0.98006207]
       [ 0.99758697]
       [ 0.99975556]
       ...,
       [ 0.82167041]
       [ 0.02885115]
       [ 0.65371346]], dtype=float32)

如你所見，網路對一些樣本的確信度高，如 0.99 或 0.01 等；也有的確信度低，如 0.6, 0.4 等。

進一步的實驗

以下的實驗會幫你確信，以上網路架構雖有改進空間但已相當合理：

• 使用 2 個隱藏層。試著用 1 或 3 個隱藏層，觀察對驗證精度和測試精度的影響。
• 試著用更多或更少的隱藏單元，32 個、64 個等。
• 試著用損失函式 mse 代替 binary_crossentropy。
• 試著用啟用函式 tanh 代替 relu。（在神經網路早期流行使用 tanh）

小結

以下是你應該從本範例學到的：

• 通常需要對初始資料做大量預處理，以形成張量供給神經網路。文字序列可以編成二值向量或其他編碼形式。
• 疊加的 Dense 層和啟用函式 relu 可解決大量問題（包括情緒分類），你會經常用到它們。
• 二值分類問題（有兩類輸出），你的網路末端應該是具有一個單元的 Dense 層，和一個 S 型啟用函式；網路輸出應該是概率編碼後的標量，值從 0 至 1。
• 用 S 型函式標量輸出的二值分類問題，網路的損失函式應該用 binary_crossentropy。
• 無論你處理何種問題，用優化器 rmsprop 通常是很好的選擇，它讓你沒有後顧之憂。
• 神經網路訓練時會取得好成績，但最終會出現過度擬合，處理未見過的新資料時效果越來越差。要切實監測網路處理訓練集以外的資料時的表現。