作者|Ramya Vidiyala
編譯|VK
來源|Towards Data Science

深度學習改善了我們生活的許多方面，無論是明顯的還是微妙的。深度學習在電影推薦系統、垃圾郵件檢測和計算機視覺等過程中起著關鍵作用。

儘管圍繞深度學習作為黑匣子和訓練難度的討論仍在進行，但在醫學、虛擬助理和電子商務等眾多領域都存在著巨大的潛力。

在藝術和技術的交叉點，深度學習可以發揮作用。為了進一步探討這一想法，在本文中，我們將研究通過深度學習過程生成機器學習音樂的過程，許多人認為這一領域超出了機器的範圍（也是另一個激烈辯論的有趣領域！）。

目錄

• 機器學習模型的音樂表現

• 音樂資料集

• 資料處理

• 模型選擇

• RNN

• 時間分佈全連線層

• 狀態

• Dropout層

• Softmax層

• 優化器

• 音樂生成

• 摘要

機器學習模型的音樂表現

我們將使用ABC音樂符號。ABC記譜法是一種簡寫的樂譜法，它使用字母a到G來表示音符，並使用其他元素來放置附加值。這些附加值包括音符長度、鍵和裝飾。

這種形式的符號開始時是一種ASCII字符集程式碼，以便於線上音樂共享，為軟體開發人員添加了一種新的簡單的語言，便於使用。以下是ABC音樂符號。

樂譜記譜法第1部分中的行顯示一個字母后跟一個冒號。這些表示曲調的各個方面，例如當檔案中有多個曲調時的索引（X:）、標題（T:）、時間簽名（M:）、預設音符長度（L:）、曲調型別（R:）和鍵（K:）。鍵名稱後面代表旋律。

音樂資料集

在本文中，我們將使用諾丁漢音樂資料庫ABC版上提供的開源資料。它包含了1000多首民謠曲調，其中絕大多數已被轉換成ABC符號：http://abc.sourceforge.net/NMD/

資料處理

資料當前是基於字元的分類格式。在資料處理階段，我們需要將資料轉換成基於整數的數值格式，為神經網路的工作做好準備。

這裡每個字元都對映到一個唯一的整數。這可以通過使用一行程式碼來實現。“text”變數是輸入資料。

char_to_idx = { ch: i for (i, ch) in enumerate(sorted(list(set(text)))) }

為了訓練模型，我們使用vocab將整個文字資料轉換成數字格式。

T = np.asarray([char_to_idx[c] for c in text], dtype=np.int32)

機器學習音樂生成的模型選擇

在傳統的機器學習模型中，我們無法儲存模型的前一階段。然而，我們可以用迴圈神經網路（通常稱為RNN）來儲存之前的階段。

RNN有一個重複模組，它從前一級獲取輸入，並將其輸出作為下一級的輸入。然而，RNN只能保留最近階段的資訊，因此我們的網路需要更多的記憶體來學習長期依賴關係。這就是長短期記憶網路（LSTMs）。

LSTMs是RNNs的一個特例，具有與RNNs相同的鏈狀結構，但有不同的重複模組結構。

這裡使用RNN是因為：

1. 資料的長度不需要固定。對於每一個輸入，資料長度可能會有所不同。

2. 可以儲存序列。

3. 可以使用輸入和輸出序列長度的各種組合。

除了一般的RNN，我們還將通過新增一些調整來定製它以適應我們的用例。我們將使用“字元級RNN”。在字元RNNs中，輸入、輸出和轉換輸出都是以字元的形式出現的。

RNN

由於我們需要在每個時間戳上生成輸出，所以我們將使用許多RNN。為了實現多個RNN，我們需要將引數“return_sequences”設定為true，以便在每個時間戳上生成每個字元。通過檢視下面的圖5，你可以更好地理解它。

在上圖中，藍色單位是輸入單位，黃色單位是隱藏單位，綠色單位是輸出單位。這是許多RNN的簡單概述。為了更詳細地瞭解RNN序列，這裡有一個有用的資源：http://karpathy.github.io/2015/05/21/rnn-effectiveness/

時間分佈全連線層

為了處理每個時間戳的輸出，我們建立了一個時間分佈的全連線層。為了實現這一點，我們在每個時間戳生成的輸出之上建立了一個時間分佈全連線層。

狀態

通過將引數stateful設定為true，批處理的輸出將作為輸入傳遞給下一批。在組合了所有特徵之後，我們的模型將如下面圖6所示的概述。

模型體系結構的程式碼片段如下：

model = Sequential()
model.add(Embedding(vocab_size, 512, batch_input_shape=(BATCH_SIZE, SEQ_LENGTH)))

for i in range(3):

     model.add(LSTM(256, return_sequences=True, stateful=True))
     model.add(Dropout(0.2))
     
model.add(TimeDistributed(Dense(vocab_size)))
model.add(Activation('softmax'))

model.summary()
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

我強烈建議你使用層來提高效能。

Dropout層

Dropout層是一種正則化技術，在訓練過程中，每次更新時將輸入單元的一小部分歸零，以防止過擬合。

Softmax層

音樂的生成是一個多類分類問題，每個類都是輸入資料中唯一的字元。因此，我們在我們的模型上使用了一個softmax層，並將分類交叉熵作為一個損失函式。

這一層給出了每個類的概率。從概率列表中，我們選擇概率最大的一個。

優化器

為了優化我們的模型，我們使用自適應矩估計，也稱為Adam，因為它是RNN的一個很好的選擇。

生成音樂

到目前為止，我們建立了一個RNN模型，並根據我們的輸入資料對其進行訓練。該模型在訓練階段學習輸入資料的模式。我們把這個模型稱為“訓練模型”。

在訓練模型中使用的輸入大小是批大小。對於通過機器學習產生的音樂來說，輸入大小是單個字元。所以我們建立了一個新的模型，它和""訓練模型""相似，但是輸入一個字元的大小是(1,1)。在這個新模型中，我們從訓練模型中載入權重來複制訓練模型的特徵。

model2 = Sequential()

model2.add(Embedding(vocab_size, 512, batch_input_shape=(1,1)))

for i in range(3): 
     model2.add(LSTM(256, return_sequences=True, stateful=True))
     model2.add(Dropout(0.2))
     
model2.add(TimeDistributed(Dense(vocab_size)))
model2.add(Activation(‘softmax’))

我們將訓練好的模型的權重載入到新模型中。這可以通過使用一行程式碼來實現。

model2.load_weights(os.path.join(MODEL_DIR,‘weights.100.h5’.format(epoch)))

model2.summary()

在音樂生成過程中，從唯一的字符集中隨機選擇第一個字元，使用先前生成的字元生成下一個字元，依此類推。有了這個結構，我們就產生了音樂。

下面是幫助我們實現這一點的程式碼片段。

sampled = []

for i in range(1024):

   batch = np.zeros((1, 1))
   
   if sampled:
   
      batch[0, 0] = sampled[-1]
      
   else:
   
      batch[0, 0] = np.random.randint(vocab_size)
      
   result = model2.predict_on_batch(batch).ravel()
   
   sample = np.random.choice(range(vocab_size), p=result)
   
   sampled.append(sample)
   
print("sampled")

print(sampled)

print(''.join(idx_to_char[c] for c in sampled))

以下是一些生成的音樂片段：

1. https://soundcloud.com/ramya-vidiyala-850882745/gen-music-1

2. https://soundcloud.com/ramya-vidiyala-850882745/gen-music-2

3. https://soundcloud.com/ramya-vidiyala-850882745/gen-music-3

4. https://soundcloud.com/ramya-vidiyala-850882745/gen-music-4

5. https://soundcloud.com/ramya-vidiyala-850882745/gen-music-5

我們使用被稱為LSTMs的機器學習神經網路生成這些令人愉快的音樂樣本。每一個片段都不同，但與訓練資料相似。這些旋律可用於多種用途：

• 通過靈感提升藝術家的創造力

• 作為開發新思想的生產力工具

• 作為藝術家作品的附加曲調

• 完成未完成的工作

• 作為一首獨立的音樂

但是，這個模型還有待改進。我們的訓練資料只有一種樂器，鋼琴。我們可以增強訓練資料的一種方法是新增來自多種樂器的音樂。另一種方法是增加音樂的體裁、節奏和節奏特徵。

目前，我們的模式產生了一些假音符，音樂也不例外。我們可以通過增加訓練資料集來減少這些錯誤並提高音樂質量。

總結

在這篇文章中，我們研究瞭如何處理與神經網路一起使用的音樂，深度學習模型如RNN和LSTMs的工作原理，我們還探討了如何調整模型可以產生音樂。我們可以將這些概念應用到任何其他系統中，在這些系統中，我們可以生成其他形式的藝術，包括生成風景畫或人像。

謝謝你的閱讀！如果你想親自體驗這個定製資料集，可以在這裡下載帶註釋的資料，並在Github上檢視我的程式碼：https://github.com/RamyaVidiyala/Generate-Music-Using-Neural-Networks

原文連結：https://towardsdatascience.com/music-generation-through-deep-neural-networks-21d7bd81496e

歡迎關注磐創AI部落格站：
http://panchuang.net/

sklearn機器學習中文官方文件：
http://sklearn123.com/

歡迎關注磐創部落格資源彙總站：
http://docs.panchuang.net/