ESIM (Enhanced Sequential Inference Model):

應用bidirectional Long Short-Term Memory(BiLSTM) units 作為building block，並接受兩個sequence of text作為輸入。隨後對他們進行三步操作：

Input encoding 輸入編碼;

local inference modeling 局部推理建模;

inference composition 推理組成;

最後返回entailment, contradiction, neutral中得分最高的作為結果

對ESIM模型的改進：

主要是對input encoding和local inference modeling兩個步驟進行的改造，改為采用conditional encoding.

input encoding 和local inference modeling兩個操作類似，都是接受兩個向量組成的序列{P_i}和{h_j}或者更加復雜的兩個矩陣 P /in R^{I*d}, H /in R^{J*d}, 其中Ｐ是premise（前提）, Ｈ是hupothesis（假設），I和J都是兩列文字中的單詞數量。

‘’‘premise指的是輸入的文字序列而Hypothesis指的是模板文字序列。比如

P: Obama was born in a hospital in Hawaii in 1965.

H: X is born in Y. ‘‘‘

在input encoding層, P 和H是premise和hypothesis分別embedding後的單詞

在inference composition層，Ｐ和Ｈ是premise和hypothesis是模型內部的某種從之前步驟輸出的表示。

在進行完之前兩個步驟之後，兩個輸入序列將被送給BiLSTM units，產生P^hat \in R^{I*2d}, H^hat \in R^{J*2d}

P? , c->p , c<-p = BiLST M (P )

H? , c->h, c<-h = BiLST M (H)

其中的c們是Ｐ和Ｈ前後續的BiLSTM units cell stages.

Conditional encoding for ESIM:

在做zero-shot的relation classification時，ESIM會把輸入的句子完全independently於relation description的進行encodes. 這就造成當給定一個新的目標relation description時，需要註意考慮它的representations.

所以我們要把BiLSTM改成conditional BiLSTM(cBiLSTM)

P? = cBiLST M (P , c->h ,c<-h )

這個改變的實現需要對input encoding和inference composition兩個stage進行改變。

我們將改造後的ESIM叫做Conditioned INference Model(CIM).

Zero-shot Relation Classification as Textual Entailment (Abiola Obamuyide, Andreas Vlachos, 2018)閱讀筆記:Model