這種有序神經元，像你熟知的迴圈神經網路嗎？
選自 openreview，機器之心編譯，參與：張璽、王淑婷。
本文基於以前的 RNN 模型研究，提出了一種有序神經元，該神經元能夠強制執行隱藏狀態神經元之間更新頻率的順序，並且將潛在樹結構整合到迴圈模型中。此外，本文提出的一種新 RNN 單元在語言建模、無監督成分句法分析、有針對性的語法評估及邏輯推理四個任務上都表現優異。
引言
雖然自然語言通常以序列形式呈現，但語言的基本結構並不是嚴格序列化的。語言學家們一致認為，該結構由一套規則或語法控制（Sandra & Taft，2014），且規定了單片語成語句的邏輯。不管其表現形式如何，這種結構通常是樹狀的。雖然語言學家們已發現這一規律，但其潛在結構的真正起源卻仍不得而知。某些理論認為，這可能與人類認知的內在機制相關（Chomsky & Lightfoot，2002）。由於人工神經網路的靈感來源於生物神經系統的資訊處理及通訊模式，上述可能性讓更多人對使用人工神經網路研究語言的潛在結構產生了興趣。
從實用角度看，將樹結構整合到語言模型中也很重要，原因如下：
能獲得抽象化級別不斷提升的分層表徵，抽象化也是深度神經網路的關鍵特徵（Bengio 等，2009； LeCun 等，2015； Schmidhuber，2015）；
能捕獲複雜語言現象，如長期依賴問題（Tai 等，2015）與組分效應（compositional effects）（Socher 等，2013）；
能為梯度反向傳播提供捷徑（Chung 等，2016）。
近些年，很多人開始關注開發能夠利用語法知識或至少一些樹結構（Williams 等，2018；Shi 等，2018）來形成更好語義表徵的深度神經網路（Shen 等，2017； Jacob 等，2018；Bowman 等，2016；Choi 等，2018；Yogatama 等，2016）。
獲得樹結構的一種簡單方法是通過監督語法分析器。這些分析器生成的樹結構被用來指導單詞語義到句子語義的組合（Socher 等，2013；Bowman 等，2015），甚至在給定先前單詞的情況下幫助預測下一個單詞（Wu 等，2017）。然而，監督分析器也有一些侷限性：1）很少有語言具有用於監督分析器訓練的全面註釋資料；2）在可用的語言資料中，語法規則往往被打破「如推特上的表達」；3）在實際運用過程中，語言始終在變化，因此語法規則可能會演變。
另一方面，以無監督方式從可用資料中學習樹結構仍是一個未解決的問題。訓練過程中的繁瑣結構（如左分支樹結構、右分支樹結構（Williams 等，2018））或強化學習訓練困境（Yogatama 等，2016），使許多研究無功而返。而且，一些方法的實現和訓練相對複雜，如 Shen 等人提出的 PRPN（2017）。
迴圈神經網路（RNN）已被證明在語言建模任務中非常高效（Merity 等，2017；Melis 等，2017）。RNN 隱式地在資料上強加了鏈式結構。該鏈式結構似乎與語言的潛在非序列化結構不一致，並且給運用深度學習方法處理自然語言資料帶來了一些困難，如捕獲長期依賴（Bengio 等，2009）、獲得良好泛化能力（Bowman 等，2015）及處理否定 (Socher 等，2013）等。同時，有證據表明，擁有充足能力的迴圈神經網路有潛力隱式地編碼這種樹結構（Kuncoro 等，2018）。但問題是，在模型架構上強加樹結構歸納先驗會導致更好的語言模型嗎？
本文介紹了一種面向迴圈神經網路的新型歸納偏置：有序神經元。這種歸納偏置增強了神經元之間的依賴性，這種依賴性反映了每個神經元內所儲存資訊的生命週期。換言之，一些高階神經元儲存長期資訊，而低階神經元儲存短期資訊。為了避免高階和低階神經元之間的固定劃分，本文進一步提出了一種新的啟用函式 cumax（）來主動分配神經元去儲存長/短期資訊。基於 cumax（）和長短期記憶網路（LSTM）架構，本文設計了一種新模型──ON-LSTM，它使 RNN 模型能夠能夠在不破壞其序列形式的情況下執行樹狀合成。該模型在語言建模、無監督成分句法分析（unsupervised constituency parsing）、有針對性的語法評估（Marvin & Linzen, 2018）及邏輯推理（Bowman 等，2015）四個任務上表現優異。其在無監督成分句法分析任務上的結果表明，本文提出的歸納偏置與人類專家提出語法原則是一致的。我們的實驗還表明，就長期依賴和較長序列泛化而言，ON-LSTM 比標準 LSTM 模型效能更佳，
論文：ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS
論文連結：openreview.net/forum?id=B1…
摘要：迴圈神經網路模型已被廣泛用於處理由潛在樹結構控制的序列資料。以前的研究表明，RNN 模型（尤其是基於 LSTM 的模型）能夠學習利用潛在樹結構。然而，它的效能卻始終落後於基於樹的模型。我們提出了一種新的歸納偏置──有序神經元（Ordered Neuron），它強制執行了隱藏狀態神經元之間更新頻率的順序。本文表明，有序神經元能夠將潛在樹結構明確整合到迴圈模型中。為此，我們提出了一種新的 RNN 單元：ON-LSTM，其在語言建模、無監督成分句法分析、有針對性的語法評估及邏輯推理四個任務上表現優異。
圖 1：成分句法分析樹與 ON-LSTM 的關係。給定 token 序列 (x1, x2, x3)，其成分句法分析樹如圖（a）所示。圖（b）展示了樹結構的塊狀圖，其中 S 與 VP 節點都跨越了不止一個時間步。高階節點的表徵在跨越多個時間步時應保持相對一致。圖（c）展示了每組神經元在每個時間步的更新神經元比例。在每個時間步，給定輸入詞，較深的灰色塊代表完全更新，較淺的灰色塊代表部分更新。三組神經元的更新頻率不盡相同。較高級別的組更新頻率較低，而較低級別的組更新頻率較高。
ON-LSTM
本文提出了一種新的 RNN 單元──ON-LSTM，作為有序神經元的實現。該新模型與標準 LSTM 模型的架構相似。
ON-LSTM 與標準 LSTM 模型的唯一區別在於，我們排除了單元狀態 ct 的更新功能，並以新的更新規則替代，後續章節將會詳細解釋。與之前一樣，運用遺忘門 ft 與輸入門 it 控制單元狀態 ct 上的清除和寫入操作。一般來說，由於標準 LSTM 的門不會在其各個單元中強加拓撲結構，所以各個單元的行為不會反映出排序。