TransE論文剩余部分
4.3鏈接預測
表3:鏈接預測結果。不同方法的性能。
整體結果 表3顯示了全部數據集全部方法的比較。
與預期結果一致,經過過濾設置的結果具有較低的平均排名和較高的hits@10,相信在鏈接預測方面對各種方法有一個清晰地性能評估。然而,raw和filtered的趨勢是一樣的。
我們的方法TransE在全部度量上面通常非常大程度上優於全部進行比較的方法。而且取得了一些絕對好的性能比如WN上89%的hits@10(超過40k的實體)和在FB1M上的34%的hits@10(超過1M的實體)。TransE和這些第二好的方法之間的不同之處是非常重要的。
我們相信TransE
這意味著它可以用隨機梯度有效的優化。
第
3節我們已經說明SE比我們的模型更具表達性。然而,它的復雜性可能使它學習起來十分困難,導致性能非常差。在
FB15k上,在訓練集的一個有50k的元組的子集上SE取得了165的平均排名和35.5%的hits@10,TransE則分別取得了127和42.7%。這表明其實TransE欠擬合的程度更小,這可能能解釋它比較好的性能。SME(雙線性)和LFM有相同的訓練問題:我們從來都沒有成功的把它們訓練的足夠好來開發出它們全部的功能。通過我們的評價設置
--基於實體排名,LFM較差的結果也可以解釋。由於LFM最初是為了預測關系提出來的。在翻譯的影響是巨大的。當比較TransE和非結構的方法(也就是缺少翻譯的TransE)。非結構化的平均排名相對較好,可是hits@10非常差。
非結構化的方法簡單的把全部出現的實體聚類,不依賴所涉及的關系,因此僅僅靠猜想來推斷實體相關。在FB1M上,TransE和非結構化方法的平均排名差點兒一樣。可是TransE的預測排在前10位的數目是非結構化方法的10倍之多。
表4:關系聚類的具體結果。我們比較了在FB15k上以過濾數據為評價比較TransE和參考方法的
具體結果?表4展示了在FB15k上根據關系的幾種類別的分類結果,並依此對幾種方法進行預測。我們根據頭和尾的基數參數把關系分為4類:1-1,1-多。多-1,多-多。假設一個頭部至多相應一個尾部,那麽它們的關系是1-1。假設一個頭部相應多個尾部。那麽它們的關系是1-多。假設非常多頭部相應同一個尾部,那麽它們的關系是多-1。假設多個頭部相應多個尾部,那麽它們是多-多關系。
通過以下的處理我們把關系分成這四類,給定一個序對(l,t)(相同地。序對(h。l),對每一個關系l。計算頭部h(相同地。尾部t)出如今FB15k數據集上的平均數。假設這個平均數小於1.5就被標記為1-多等等。比如。每一個尾部平均有1.2個實體而且每一個頭部平均有3.2個尾部的關系被分類為1-多。我們得到在FB15k上有26.2%的1-1關系,22.7%的1-多關系,28.3%的多-1關系和22.8%的多-多關系。
表4中的具體結果考慮了一個更精確的評估而且了解了這些方法的行為。首先,它出現了期望的結果。它可以非常easy的預測實體一方僅僅有一個相應關系的元組的實體(也就是預測在關系1-多下預測頭部,在多-1關系下預測尾部),也就是有多個實體指向它的時候。
這些是有非常好指向的例子。SME(雙線性)被證明在處理這種例子時時非常精確的,由於這些例子是它們訓練最多的例子。
非結構化的方法在1-1關系上顯示了良好的性能:這表明這種關系的參數必須共享相同的隱藏類型。而非結構化的方法在嵌入空間上通過聚類把實體連接在一起可以發現這種隱藏類型。
可是這種策略在其他關系類型上是失敗的。在嵌入空間添加翻譯,通過其後的關系從一個實體聚類到還有一個實體聚類。對這些指向性非常好的例子這一點是非常驚人的。
表5:TransE在FB15k測試集上的例子預測。粗體是測試元組正確的尾部,斜體是訓練集上其他正確的尾部。
舉例說明 表5給出了TransE在FB15k測試集上的例子鏈接預測的結果。
這舉例說明了我們模型的能力。給定一個頭部和一個標簽。排在最高位的尾部被描寫敘述出來。
這些例子來自FB15k的測試集。即使排在最高位的不總是最好的答案,但這個預測也反映了一般的常識。
4.4用幾個例子學習預測新關系
用FB15k。通過檢查這些方法在學習新關系時的速度有多快來測試他們在泛化新的事實方面有多好。為了那個目的。我們隨機選擇40個關系而且切割成兩個數據集:一個數據集(命名為FB15k-40rel)包括全部40個元組。還有一個數據集(FB15k-rest)包括剩余的數據。
我們確保它們包括全部的實體。FB15k-rest被切割成一個包括353,788個元組的訓練集和一個包括53,266個元組的驗證集。
FB15-rel分成40,000元組的訓練集和45,159的測試集。
利用這些數據集,我們分析例如以下實驗:(1)利用FB15k-rest的訓練集和驗證集訓練和選擇最好的模型,(2)隨後在FB15k-40rel的訓練集上訓練而且僅僅學習和新的40個關系相關的參數。(3)在FB15k-40rel的測試集(僅僅包括(1)期間沒有見過的關系)上進行連接預測評估。在(2)階段,對每一個關系我們用0,10,100和1000個例子反復這個過程。
圖1:用幾個例子學習心關系。比較試驗數據是FB15k數據集,使用平均排名(左)和hits@10(右)作為評價標準。很多其他細節參見下文。
圖1展示了非結構化方法,SE,SME(線性)。SME(雙線性)和TransE的結果。
但不提供已知關系時,非結構化方法取得的性能最好,由於它並不使用這些信息去預測。
可是,當提供關系的例子時這種性能並沒有得到提升。
TransE是學習最快的方法:僅僅有一個新關系的10個樣子時。它的hits@10仍然有18%,而且隨著提供例子的添加這個數據單調遞增。
我們相信TransE模型的簡單性使它可以有較好的泛化能力。而不必改動不論什麽已經訓練好的嵌入。
5總結和展望
我們提出了一種新的學習知識庫嵌入的方法。主要是最小化模型的參數,主要表示層次關系。通過與兩個不同且規模非常大的知識庫上和其他方法比較。我們的模型效果非常好,借此我們把它應用到了大規模知識庫數據塊上。雖然還不清晰用我們的方法是否可以充分地對全部的關系類型建模,可是通過關系分類評價與其他方法相比在全部的設置條件下它似乎有非常好的性能。
後面會進一步分析這個模型,而且把它應用到很多其他的任務中。特別是應用到如文獻[8]提到的學習詞表示。結合知識庫和文本[2]是還有一個重要的方向,我們的方法對此可能是實用的。
因此,近期我們把TransE插入到一個框架中從文本[16]中進行關系抽取。
TransE論文剩余部分