分享一些NLP相關的論文，簡要對摘要做了翻譯

    Streaming Graph Neural Networks

    摘要：圖是許多真實世界資料的基本表示，如社交網路。近年來，人們越來越努力將神經網路模型擴充套件到圖形結構資料。這些通常被稱為圖神經網路的方法已經被用於推進許多與圖形相關的任務，例如物理系統的推理動力學、圖形分類和節點分類。大多數現有的圖神經網路模型都是為靜態圖形設計的，而許多真實世界的圖形本身就是動態的。例如，隨著新使用者的加入和新關係的建立，社交網路自然會不斷髮展。目前的圖神經網路模型不能利用動態圖形中的動態資訊。然而，動態資訊已經被證明可以提高許多圖形分析任務的效能，例如社群檢測和連結預測。因此，有必要為動態圖設計專用的圖神經網路。在這篇論文中，本文提出了一種新的動態圖神經網路模型（Dynamic Graph Neural Network model）DGNN，它可以隨著圖的發展來模擬動態資訊。特別地，所提出的框架可以通過捕獲edge的順序資訊(互動)、edge之間的時間間隔和資訊的連貫傳播來保持更新節點資訊。對各種動態圖的實驗結果表明了所提出框架的有效性。

    Reversible Recurrent Neural Networks

    摘要：遞迴神經網路( RNN )在處理順序資料方面提供了最先進的效能，但是訓練起來需要大量記憶體，限制了訓練RNN模型的靈活性。可逆RNNs（hidden-to-hidden的轉換可以反向的RNNs）提供了一條降低訓練記憶需求的途徑，因為隱含狀態不需要儲存，而是可以在反向傳播期間重新計算。本文首先展示了完全可逆的RNNs，它不需要儲存隱含層的啟用，從根本上來說是不合理的，因為它們不能忘記隱含狀態的資訊。然後，本文提供了一個儲存少量資訊的方案，以便實現帶遺忘的完美反轉。本文的方法實現了與傳統模型相當的效能，同時將activation memory成本降低了10 - 15倍。將本文的提出的技術擴充套件到基於注意力的序列對序列模型，在這種模型中，獲得了相同的效能，同時在編碼器中將activation memory成本降低了5 - 10倍，在解碼器中降低了10 - 15倍。

    Compositional Language Understanding with Text-based Relational Reasoning

    摘要：用於自然語言推理的神經網路在很大程度上側重於提取、基於事實的問答和常識推理。然而，理解神經網路在多大程度上可以從自然語言中執行關係推理和combinatorial generalization也是至關重要的，這些能力常常被標註技術和標準QA中語言建模的優勢所掩蓋。在這項工作中，本文提供了一個新的語言理解基準資料集，它隔離了關係推理的效能。本文還提出了一個神經資訊傳遞的baseline，並表明與傳統的遞迴神經網路方法相比，該模型結合了關係歸納偏差（relational inductive bias），在combinatorial generalization方面效能更優。

    Dynamic Meta-Embeddings for Improved Sentence Representations 

    摘要：許多NLP系統設計的第一步是選擇使用那種已經預訓練好的embedding，但本文認為這個步驟最好留給神經網路自己去學習。為此，本文引入了Dynamic Meta-Embedding，這是一種簡單而有效的Embedding整合監督學習方法，促進各類模型在同類模型中獲得了state-of-art的結果。本文隨後展示了該技術揭示word embedding在NLP系統中的一些新用法。

    Embedding Logical Queries on Knowledge Graphs

    摘要：可以將知識圖譜當做一張圖，學習實體低緯度embedding，並將其應用於預測實體之間未觀察到的或缺失的邊。然而，這一領域的一個具有挑戰性的問題是如何超越簡單的邊緣預測，處理更復雜的邏輯查詢，這可能涉及多個未觀察到的邊、實體和變數。例如，給定一個不完整的生物知識圖譜，我們可能想預測哪些藥物可能靶向與X和Y疾病相關的蛋白質？這是一個需要對所有可能與X和Y疾病相互作用的蛋白質進行推理的查詢（Query）。在這裡，本文引入了一個框架，以便在不完整的知識圖譜上有效地對連線邏輯查詢（一階邏輯f（first-order logic）的一個靈活但易處理的子集）進行預測。在本文的方法中，本文在低維空間中對圖形節點embedding，並在這個embedding space中將邏輯運算子表示為學習過的幾何運算(例如平移、旋轉)。通過在低維embedding space中執行邏輯運算，與基於簡單列舉的方法所需的指數複雜性相比，本文的方法實現了線性時間複雜性的變數查詢。本文展示了這一框架在對現實世界資料集的兩項應用研究中的結果，這兩項研究涉及數百萬種關係:預測藥物-基因-疾病相互作用網路中的邏輯關係，以及來自流行網路論壇的基於圖表的社會相互作用表示。

    Deep Learning for Generic Object Detection: A Survey

    摘要：通用目標檢測旨在從自然影象中的大量預定義類別中定位物件例項，是計算機視覺中最基本和最具挑戰性的問題之一。近年來，深度學習技術已經成為直接從資料中學習特徵表示的有力方法，並在通用物件檢測領域取得了顯著突破。考慮到這個快速發展的時代，本文整理了深度學習技術在這個領域所帶來的最新成就的全面綜述。這項調查包括了250多項關鍵貢獻，涵蓋了通用目標檢測研究的許多方面:領先的檢測框架和基本子問題，包括目標特徵表示、目標提案生成、上下文資訊建模和訓練策略；評估問題，特別是基準資料集、評估指標和最新效能。最後，本文確定了未來研究的有希望的方向。

    Learning Sequence Encoders for Temporal Knowledge Graph Completion

    摘要：知識圖譜中連結預測的研究主要集中在靜態多關係資料上。在這項工作中，本文考慮了時間知識圖譜，其中實體之間的關係可能只保持一個時間間隔或特定時間點。根據以往關於靜態知識圖譜的工作，本文建議通過學習潛在實體和關係型別表示來解決這個問題。為了整合時間資訊，本文利用遞迴神經網路來學習關係型別的時間感知表示，這可以與現有的潛在因子分解方法結合使用。該方法被證明對實際的KG中常見的挑戰：時間表達式的稀疏性和異構性，具有魯棒性。實驗顯示了本文的方法在四個時間（temporal）KGs上的優勢。

    Deep learning for time series classification: a review

    摘要：時間序列分類(Time Series Classification， TSC )是資料探勘中的一個重要而富有挑戰性的問題。隨著時間序列資料可用性的提高，已經提出了數百種TSC演算法。在這些方法中，只有少數考慮使用深度神經網路來完成這項任務。這令人驚訝，因為在過去幾年裡，深度學習得到了非常成功的應用。DNNs的確已經徹底改變了計算機視覺領域，特別是隨著新型更深層次的結構的出現，如殘差和卷積神經網路。除了影象，文字和音訊等連續資料也可以用DNNs處理，以達到文件分類和語音識別的最新效能。在本文中，本文通過對TSC最新DNN架構的實證研究，研究了TSC深度學習演算法的最新效能。在TSC的DNNs統一分類場景下，本文概述了各種時間序列領域最成功的深度學習應用。本文還為TSC社群提供了一個開源的深度學習框架，實現了本文所對比的各種方法，並在單變數TSC基準( UCR archive)和12個多變數時間序列資料集上對它們進行了評估。通過在97個時間序列資料集上訓練8730個深度學習模型，本文提出了迄今為止針對TSC的DNNs的最詳盡的研究。

    Joint Multilingual Supervision for Cross-lingual Entity Linking

    摘要：跨語言實體連結(Cross-lingual Entity Linking，XEL )旨在將以任何語言寫的entity mention引向英語知識庫(KB)，如維基百科。XEL對大多數語言來說都很有挑戰性，因為監督資源（resource as resource）有限。本文通過開發一種XEL方法來應對這一挑戰，該方法將多種語言的supervision結合在一起。這使得本文能夠: ( a )通過高資源語言(如英語)的額外監督，強化目標語言的有限監督；( b )為多種語言訓練單一實體連結模型，改進每種語言單獨訓練的模型。對8種語言的3個基準資料集的評估實驗表明，本文的方法比目前的技術水平有了顯著提高。本文還在兩種有限的資源場景下進行了分析: ( a )zero-shot場景下，當沒有目標語言的資源可用時，以及( b )低資源場景下，當只有少量目標語言的資源可用時。本文的分析揭示了zero-shot XEL方法在現實場景中的侷限性，並展示了在低資源環境下聯合監督的價值。

    Model Selection Techniques—An Overview

    摘要：在“大資料”時代，分析師通常會探索各種統計模型或用於觀測資料的機器學習方法，以便於科學發現或獲得預測的能力。無論採用何種資料和擬合過程，關鍵的一步是從一組候選集中選擇最合適的模型或方法。模型選擇是資料分析中可靠和可再現的統計推斷、預測的關鍵因素，因此對生態學、經濟學、工程學、金融學、政治學、生物學和流行病學等領域的科學研究至關重要。從統計學、資訊理論和訊號處理的研究中產生的模型選擇技術有著悠久的歷史。已經提出了相當多的方法，遵循不同的原理，表現出不同的效能。本文的目的是從動機、大樣本效能和適用性方面對它們進行全面概述。本文提供了關於最先進的模型選擇方法的理論特性的綜合和實際相關的討論。本文還分享了對模式選擇實踐中一些有爭議的觀點的想法。

    Learning From Positive and Unlabeled Data: A Survey

    摘要：從正樣本和未標記資料中學習或者PU學習通常出現在只有正樣本和未標記的資料的場景下。假設未標記的資料可以包含正面和負面的例子。這種場景在機器學習領域中吸引了越來越多的關注，因為這種型別的資料自然會出現在醫學診斷和知識圖譜補全等應用中。這篇文章概述了PU學習的現狀。它提出了這一領域常見的七個關鍵研究問題，並提供了這一領域如何試圖解決這些問題的廣泛概述。