1.Variational Reasoning for QuestionAnswering with Knowledge Grap

 摘要： 

       QA存在的問題：問題存在噪音；需要經過多輪推理才能找到答案。

       提出基於端到端的深度學習模型，能夠有效的解決上面的兩個問題，在一系列資料集上取得了最好的成績

       核方法的缺點：將整個知識庫融入到一張大表中，這樣缺乏邏輯資訊，不能用於多輪推理。適用於單輪推理。

       例如 誰和託尼一起寫了這本書？  託尼 作者 書 作者

              傳統的補救措施是使用關係補全，為兩個不相鄰的實體建立一個新的關係。但是這樣的會異常複雜，不符合自然的思考方式，同時在儲存和計算方面會遇到很多問題。

              第二個面臨的挑戰是：如何定位到主題實體。很多是簡單的字串匹配，這往往是不準確的。引起這個問題的原因也有噪音(表達，輸入錯誤等)的存在，同時存在別名的問題，例如特朗普和川普。目前有很多技術來提高實體識別的準確性。尤其是語音識別中的錯誤，人名和地名錯誤的疊加，導致整個QA系統的效能下降。

       大多數訓練資料只是簡單的提供了問題和答案，並沒有詳細的關係的描述，邏輯推理過程。這就必須同時找出實體和關係，以及不知道的推理步驟。

       我們提出了VRN模型來改善這些問題

1.    基於概率的端到端的模型，可以同時處理實體識別不準確和多輪推理的問題

2.    我們提出了有一個類似於傳播演算法得深度學習模型，在概率模型上進行邏輯推理

3.    我們將強化演算法，減少變數，進行系統的端到端訓練

4.    我們在 MetaQA 取得了非常好的效果

我們立足於實際，不來虛的，可以很好處理兩種源的問題（文字和口語），以及目前模型不能解決的問題

相關工作

情感解析

       匹配問題通過一定的表示方法或者邏輯推理，這些推理需要專業領域的語法、規則和比較完美的註釋。當然他肯定不能處理噪音。

       核方法

       注意力機制，在單輪推理中效果比較好，不能應用於多輪

       表示學習(向量填充)

              句子或者細粒度的問題，但是不適合於大規模的知識圖譜（這好像不是表示學習的缺點…）

       多輪推理

       有些為了完成多輪推理，通過路徑取樣和動態處理的方式遍歷

結構總覽

       包含兩個概率模型

       實體識別模型

              在實際環境中，不能使用常規的字串匹配和實體標註，需要訓練一個邏輯推理識別器。利用文字的上下文，例如喬丹這個牌子的衣服怎麼樣，這裡喬丹是指的衣服品牌，而不是球星喬丹。

       邏輯推理模型

Mem2Seq:Effectively Incorporating Knowledge Bases into End-to-End Task-Oriented DialogSystems

端到端的任務型對話系統主要面臨的挑戰是整個知識

Mem2Seq 是第一個結合了多輪注意力機制和指標網路的生成網路模型。我們的優點更快、更準。

最近端到端的學習方法取得了不錯得成績，可以直接衝原始QA對中，匹配和提取到答案，不需要人工標註。後來基於注意力的複製機制，甚至可以處理沒有在對話歷史中出現的token，始終能產生正確和相關的實體。

但是這些方法存在兩個問題。他們努力將外部的KB知識整合進入RNN網路的隱藏層，但是RNN對於長序列並不穩定。處理長序列是非常花時間的一件事情，特別是結合了注意力的時候。

       end-to-end memory networks(MemNNs)。這時候端到端的優勢就體現出來了，迴圈的注意力機制可應用於大規模的資料上。可以儲存大規模的KB資訊和編碼長度序列。multi-hop mechanism of MemNN 在推理型任務中取得了非常好的表現。但是MenNN簡單的從預先設定好的候選人中選取答案，而不是一個詞一個詞的生成答案。同時memory queries需要明確的實際而不是學習。

       針對這些問題，我們提出了 Mem2Seq 模型，能過運用多跳注意力機制直接從對話歷史或者KB中獲取知識。

       創意，不同點

       Mem2Seq 第一提出了，將多輪注意力和指標網路相結合的模型，這樣可以高效率的整合KB資訊。Mem2Seq會學習如何使用動態查詢去獲取資訊。最後，我們很快。

模型描述

       Mem2Seq 由兩部分組成

       1.MemNN

       2.當然是pointer了

TorusE: Knowledge Graph Embedding on a LieGroup

TransE簡潔和高效，但是有很多問題，比如

規則化是十分重要的，因為填充會產生偏差，因為錯誤的例子。

Torus是lie group的一個組成部分，可以用來避免規則性問題

雖說知識圖譜存在數以億計的節點或者事實，但是依舊是不完整的，會缺失很多事實。這個用來補全知識圖譜。

TransE在[email protected]上表現很糟糕，但是在[email protected]上因為雙線性模型的原因表現的很具有競爭力。TransE必須要求填充的實體在一定的範圍內，這影響了關係預測的精度。

在Torus中，我們不要求任何規則，僅僅是採取了部分TransE的準則。

相關工作      基礎翻譯模型

       雙線性模型

       基於神經網路的模型

下面就是關於李群的 一些東西了，表示看不懂。

       李群（Liegroup）是具有群結構的實流形或者複流形，並且群中的加法運算和逆元運算是栁形中的解析對映。李群在數學分析、物理和幾何中都有非常重要的作用。《人工智慧與模式識別》期刊中的一篇論文中。

A Torus

Knowledge GraphEmbedding with Iterative Guidance from Soft Rules

知識圖譜在低維向量空間中的表示學習是當前研究的熱點。最近，將分散式知識表示與傳統符號邏輯相結合引起了越來越多的關注。但是，以往的大多數嘗試採用一次性注入邏輯規則的方式，忽略了分散式知識表示學習和邏輯推理之間的互動性。此外，以往的方法只專注於處理硬規則，即那些總是成立、不能被違反的規則。這類規則通常需要耗費大量的人力來編寫或驗證。

本文作者提出了一種新的知識圖譜分散式表示學習方法——規則引導嵌入（rule-guidedembedding，簡記為 RUGE），藉助軟規則的迭代引導完成知識圖譜表示學習。所謂軟規則，就是那些不總是成立、帶置信度的規則。這類規則可以經由演算法從知識圖譜中自動抽取。

具體來說，RUGE同時利用標註三元組、未標註三元組、自動抽取出的軟規則這三種資源以迭代的方式進行知識圖譜表示學習。每一輪迭代在軟標籤預測和表示修正這兩個步驟間交替進行。前者利用當前學到的表示和軟規則為未標註三元組預測軟標籤；後者進一步利用標註三元組（硬標籤）和未標註三元組（軟標籤）對當前表示進行修正。通過這個迭代過程，RUGE可以成功建模分散式知識表示學習和邏輯推理二者間的互動性，邏輯規則中蘊含的豐富知識也能被更好地傳遞到所學習的分散式表示中。