1. 程式人生 > >LSTM Character-Aware Language Model

LSTM Character-Aware Language Model

DeepDGA中提到的自編碼器

程式碼來自 AAAI 2016 論文《Character-Aware Neural Language Models》。

這是一個僅建立在字元輸入上的一個神經語言模型(NLM)。預測還是在詞水平上進行。當輸入一個LSTM迴圈神經網路語言模型(RNN-LM)時,該模型在字元上啟用了一個卷積神經網路(CNN)。也可選擇讓該CNN的輸出通過一個 Highway Network,這能提升表現。

多數基礎程式碼來源於Andrej Karpathy的字元RNN實現:https://github.com/karpathy/char-rnn。

Window 系統上安裝 Lua

window下可以使用"SciTE"IDE環境來執行lua程式,下載地址為:

Github 下載地址:https://github.com/rjpcomputing/luaforwindows/releases
Google Code下載地址 : https://code.google.com/p/luaforwindows/downloads/list
Lua 官方推薦的方法使用 LuaDist:http://luadist.org/