條件隨機場_CRF
無向圖
舉例:“Bob drank coffee at Starbucks”
標記方式1:(名詞,動詞,名詞,介詞,名詞) 稱為l
標記方式2:(名詞,動詞,動詞,介詞,名詞)
挑選出一個最靠譜的:
我們給每一個標註序列打分,打分越高代表這個標註序列越靠譜,如,凡是標註中出現了動詞後面還是動詞的標註序列,要給它負分!!
上面所說的動詞後面還是動詞就是一個特徵函式,我們可以定義一個特徵函式集合,用這個集合來為一個標註序列打分,並據此選出最靠譜的標註序列。
每一個特徵函式都可以用來為一個標註序列評分,把集合中所有特徵函式對同一個標註序列的評分綜合起來,就是這個標註序列最終的評分值。
定義特徵函式:
S:句子S
i: 句子中的第i個單詞
L_i:標註序列第i個單詞標註的結果【B首部 / M 內部 / E 尾部/S 單獨/ O 不是地理命名實體]
L_i-1:標註序列第i個單詞標註的結果
輸出值;1標識評分標準符合這個特徵
過程:
(1) 給每個特徵函式 f_j 賦予一個權重 λ_j
(2)句子對應的標記序列為l,得分函式為:
Score(L/s)=Σj Σi λj fj ( s,i,Li,Li-1 )(函式函式 j=1....m, 單詞數量 i=1....n)
[外面求和是用來求每個特徵函式的評分值,裡面求和是每個位置單詞的特徵值]
(3) 對分數進行指數化和標準化
P(L/s)=exp(Score(L/s)) /ΣL' exp(Score(L'/s))
圖結構:
線性鏈條隨機磁場:Oi不僅考慮上一狀態Oi-1,還考慮下一裝填Oi+1
λ代表輸入的詞,O代表標籤
狀態變數 O0-------O1------O2------On
↓ ↓ ↓ ↓
↓ ↓ ↓ ↓
觀測變數 λ0 λ1 λ2 λn
推理:
(1)利用貝葉斯公式 P(O/ λ)=P( λ/O) *P(O) / P( λ)
(2) P( λ/O) = P( λ1/O1) * P( λ2/O2).........*P( λn/On)
P(O)=P(O1) *P(O2/O1) *P(O3/O2)......*P(On/On-1)
(3)P( λ/O) *P(O) =P(O1)* P( λ1/O1) *P(O2/O1) * P( λ2/O2) *P(O3/O2)..... P( λn/On)*P(On/On-1)
=P(O1)* Π P(Oi / Oi-1* P(λi/ Oi)
定義特徵函式:
S:句子S
i: 句子中的第i個單詞
L_i:標註序列第i個單詞標註的結果【B首部 / M 內部 / E 尾部/S 單獨/ O 不是地理命名實體]
L_i-1:標註序列第i個單詞標註的結果
輸出值;1標識評分標準符合這個特徵
過程:
(1) 給每個特徵函式 f_j 賦予一個權重 λ_j
(2)句子對應的標記序列為l,得分函式為:
Score(L/s)=Σj Σi λj fj ( s,i,Li,Li-1 )(函式函式 j=1....m, 單詞數量 i=1....n)
[外面求和是用來求每個特徵函式的評分值,裡面求和是每個位置單詞的特徵值]
(3) 對分數進行指數化和標準化
P(L/s)=exp(Score(L/s)) /ΣL' exp(Score(L'/s))
圖結構:
線性鏈條隨機磁場:Oi不僅考慮上一狀態Oi-1,還考慮下一裝填Oi+1
λ代表輸入的詞,O代表標籤
狀態變數 O0-------O1------O2------On
↓ ↓ ↓ ↓
↓ ↓ ↓ ↓
觀測變數 λ0 λ1 λ2 λn
推理:
(1)利用貝葉斯公式 P(O/ λ)=P( λ/O) *P(O) / P( λ)
(2) P( λ/O) = P( λ1/O1) * P( λ2/O2).........*P( λn/On)
P(O)=P(O1) *P(O2/O1) *P(O3/O2)......*P(On/On-1)
(3)P( λ/O) *P(O) =P(O1)* P( λ1/O1) *P(O2/O1) * P( λ2/O2) *P(O3/O2)..... P( λn/On)*P(On/On-1)
=P(O1)* Π P(Oi / Oi-1* P(λi/ Oi)