一、論文概覽

在本篇論文中，作者將基於複數的知識圖譜嵌入拓展到超複數空間——四元數，每個四元數\(Q\)由一個實數\(r\)和三個虛數單位\(\textbf{i}\)，\(\textbf{j}\)，\(\textbf{k}\)組成，即\(Q=a+b\textbf{i}+c\textbf{j}+d\textbf{k}\)，提出了QuatE模型，該模型通過基於四元數空間的頭尾實體之間的關係旋轉來建模。

二、四元數運算

本文中提到了四種關於四元數的運算，分別是共軛、範數、內積和Hamilton積。

1. 共軛。一個四元組Q的共軛被定義為\(\bar{Q}=a-b\textbf{i}-c\textbf{j}-d\textbf{k}\)
2. 範數，這裡引入範數是為了下面將關係四元數歸一化為單位四元數。\(\left| Q \right|=\sqrt{a^2+b^2+c^2+d^2}\)
3. 內積。四元數\(Q_1 = a_1 + b_1\textbf{i} + c_1\textbf{j} + d_1\textbf{k}\)和\(Q_2 = a_2 + b_2\textbf{i} + c_2\textbf{j} + d_2\textbf{k}\)之間的內積為對應元素相乘再求和。

\[Q_1 \cdot Q_2 = \left< a_1,a_2 \right> + \left< b_1,b_2 \right> + \left< c_1,c_2 \right> + \left< d_1,d_2 \right> \]

4. Hamilton積。Hamilton積遵循分配率，但不遵循交換律。

\[Q_1 \otimes Q_2 = (a_1a_2 - b_1b_2 - c_1c_2 - d_1d_2) + (a_1b_2 + b_1a_2 + c_1d_2 - d_1c_2)\textbf{i} + (a_1c_2 - b_1d_2 + c_1a_2 + d_1b_2)\textbf{j} + (a_1d_2 + b_1c_2 - c_1b_2 + d_1a_2)\textbf{k} \]

三、模型框架

QuatE模型可大致分為兩個步驟，(1) 使用單位關係四元數旋轉頭部四元數；(2) 在旋轉後的頭部四元數和尾部四元數之間取四元數內積，對每個三元組進行評分。

關係四元數單位化

第一步，將關係四元數\(W_r\)

除以其模長\(\left| W_r \right|\)得到單位四元組\(W_{r}^{\vartriangleleft}\)，除以範數是為了消除縮放效應，簡單來說就是防止頭實體通過關係旋轉後範數的大小發生變化；

旋轉頭實體

第二步，通過頭實體\(Q_h\)與單位關係四元數\(W_{r}^{\vartriangleleft}\)的Hamilton積旋轉頭實體得到\(W_{h}^{'}\)；

其中，\(\circ\)表示基於元素的乘積，這裡跟RotatE一樣，假設嵌入維數為k，k維表示用k個四元數表示一個嵌入，基於元素的乘積是指在每一維上單獨進行旋轉

計算得分函式

第三步，將\(W_{h}^{'}\)與尾實體\(Q_t\)作內積，作為連結預測任務中的得分函式，得分函式的值越大，說明\(W_{h}^{'}\)與尾實體\(Q_t\)越接近。

損失函式

本文將連結預測任務當作是分類任務，即分辨三元組的真假，因此損失函式為正則化後的logistic損失。

四、建模不同型別的關係

QuatE擴充套件自ComplEx模型，對對稱、非對稱和反轉關係進行了建模。

建模對稱關係

對稱關係，即\(r(x, y) \Rightarrow r(y, x)\)，論文中提到將關係四元數的虛數部分設為0，就可以證明QuatE可以對對稱關係建模，但論文中並沒有給出證明，一句話帶過了。
下面我們來簡單證明一下，設\(W_{r}^{\vartriangleleft}\)的虛數部分全為0：

• \(r(x, y)\)

\[Q_h \otimes W_{r}^{\vartriangleleft} \cdot Q_t = [a_h \circ p + (a_h \circ q)\textbf{i} + (a_h \circ u)\textbf{j} + (a_h \circ v)\textbf{k}] \cdot (a_t + b_t\textbf{i} + c_t\textbf{j} + d_t\textbf{k}) = \left< a_h, p, a_t \right> + \left< a_h, p, b_t \right> + \left< a_h, p, c_t \right> + \left< a_h, p, d_t \right> \]

• \(r(y, x)\)

\[Q_t \otimes W_{r}^{\vartriangleleft} \cdot Q_h = [a_t \circ p + (a_t \circ q)\textbf{i} + (a_t \circ u)\textbf{j} + (a_t \circ v)\textbf{k}] \cdot (a_h + b_h\textbf{i} + c_h\textbf{j} + d_h\textbf{k}) = \left< a_t, p, a_h \right> + \left< a_t, p, b_h \right> + \left< a_t, p, c_h \right> + \left< a_t, p, d_h \right> \]

對比上面兩個公式，顯然結果是一樣的，即\(Q_h \otimes W_{r}^{\vartriangleleft} \cdot Q_t = Q_t \otimes W_{r}^{\vartriangleleft} \cdot Q_h\)。

建模非對稱關係

非對稱關係，即\(r(x, y) \Rightarrow \urcorner r(y, x)\)。為了建模非對稱關係，我們需要證明虛數部分非0時，\(Q_h \otimes W_{r}^{\vartriangleleft} \cdot Q_t \neq Q_t \otimes W_{r}^{\vartriangleleft} \cdot Q_h\)

• \(r(x, y)\)

• \(r(y, x)\)

這兩個公式部分項的符號是不一樣的，因此\(Q_h \otimes W_{r}^{\vartriangleleft} \cdot Q_t \neq Q_t \otimes W_{r}^{\vartriangleleft} \cdot Q_h\)。

建模反轉關係

反轉關係，即\(r_1(x, y) \Rightarrow \urcorner r_2(y, x)\)。本文利用四元數的共軛來實現反轉關係的建模，證明\(Q_h \otimes W_{r}^{\vartriangleleft} \cdot Q_t = Q_t \otimes \bar{W_{r}^{\vartriangleleft}} \cdot Q_h\)。

顯然，\(Q_h \otimes W_{r}^{\vartriangleleft} \cdot Q_t = Q_t \otimes \bar{W_{r}^{\vartriangleleft}} \cdot Q_h\)。

五、實驗

資料集

WN18, FB15K, WN18RR和FB15K-237

評價指標

MR、MRR和Hits@N

基線

對於基於翻譯的模型，選用TransE、TorusE和RotatE作為基線；對於基於語義匹配的模型，選用DisMult、HolE、ComplEx、SimplE、ConvE、R-GCN和KNGE作為基線。

連結預測結果

在WN18和FB15K資料集上鍊接預測的結果:

在WN18RR和FB15K-237資料集上鍊接預測的結果:

\(QuatE^1\)沒有型別限制，\(QuatE^2\)帶有N3正則化和相互學習，\(QuatE^3\)有型別限制，對於型別限制和相互學習，文中並沒有給出相應的解釋，這裡我也沒太弄懂。

從模型的效果上看，\(QuatE^2\)在FB15K和FB15K-237上提升很大，證明了N3正則化和相互學習的有效性

對照實驗

共設定了三個對照實驗，對照實驗一去掉了關係四元數的歸一化，對照實驗二是在在頭尾實體之間做Hamilton積，對照實驗三為尾實體增加額外的關係旋轉。

從效果上來看，對照組一和對照組二的模型效能變得更差了，對照組三模型效能沒有明顯改善，而且增加了額外的關係旋轉，模型引數效率降低了。

引數數量比較

相比於RotatE模型，QuatE模型在WN18RR和FB15K-237上引數效率提升很大

總結

本文引入了更具表現力的四元數表徵去建模實體和關係；用Hamilton乘積去捕獲潛在的相互依賴關係（所有元件之間），實體和關係之間的互動更頻繁；對對稱、非對稱和反轉三種常見關係型別進行了建模；相比於RotatE模型，QuatE兼顧了效能和引數效率之間的平衡。