1. 程式人生 > >條件隨機場_CRF

條件隨機場_CRF

無向圖

舉例:“Bob drank coffee at Starbucks”

          標記方式1:(名詞,動詞,名詞,介詞,名詞) 稱為l

          標記方式2:(名詞,動詞,動詞,介詞,名詞)

          挑選出一個最靠譜的:

              我們給每一個標註序列打分,打分越高代表這個標註序列越靠譜,如,凡是標註中出現了動詞後面還是動詞的標註序列,要給它負分!!

             上面所說的動詞後面還是動詞就是一個特徵函式,我們可以定義一個特徵函式集合,用這個集合來為一個標註序列打分,並據此選出最靠譜的標註序列。

             每一個特徵函式都可以用來為一個標註序列評分,把集合中所有特徵函式對同一個標註序列的評分綜合起來,就是這個標註序列最終的評分值。

 

定義特徵函式:

    S:句子S

    i: 句子中的第i個單詞

    L_i:標註序列第i個單詞標註的結果【B首部 / M 內部 / E 尾部/S 單獨/ O 不是地理命名實體]

    L_i-1:標註序列第i個單詞標註的結果

   輸出值;1標識評分標準符合這個特徵

過程:

    (1) 給每個特徵函式 f_j 賦予一個權重 λ_j

    (2)句子對應的標記序列為l,得分函式為:

           Score(L/s)=Σj Σi  λj   fj ( s,i,Li,Li-1 )(函式函式 j=1....m,   單詞數量  i=1....n) 

           [外面求和是用來求每個特徵函式的評分值,裡面求和是每個位置單詞的特徵值]

     (3) 對分數進行指數化和標準化  

          P(L/s)=exp(Score(L/s)) /ΣL'  exp(Score(L'/s))

 

   

 

圖結構:

  線性鏈條隨機磁場:Oi不僅考慮上一狀態Oi-1,還考慮下一裝填Oi+1

  λ代表輸入的詞,O代表標籤

  狀態變數   O0-------O1------O2------On

                   ↓           ↓          ↓          ↓   

                   ↓           ↓          ↓          ↓

   觀測變數 λ0          λ1         λ2       λn

推理:

       (1)利用貝葉斯公式 P(O/ λ)=P( λ/O) *P(O) / P( λ)

         (2) P( λ/O) = P( λ1/O1) * P( λ2/O2).........*P( λn/On)

              P(O)=P(O1) *P(O2/O1)  *P(O3/O2)......*P(On/On-1)

         (3)P( λ/O) *P(O) =P(O1)*     P( λ1/O1) *P(O2/O1) * P( λ2/O2) *P(O3/O2).....  P( λn/On)*P(On/On-1)

                                   =P(O1)*  Π P(Oi / Oi-1* P(λi/ Oi)

定義特徵函式:

    S:句子S

    i: 句子中的第i個單詞

    L_i:標註序列第i個單詞標註的結果【B首部 / M 內部 / E 尾部/S 單獨/ O 不是地理命名實體]

    L_i-1:標註序列第i個單詞標註的結果

   輸出值;1標識評分標準符合這個特徵

過程:

    (1) 給每個特徵函式 f_j 賦予一個權重 λ_j

    (2)句子對應的標記序列為l,得分函式為:

           Score(L/s)=Σj Σi  λj   fj ( s,i,Li,Li-1 )(函式函式 j=1....m,   單詞數量  i=1....n) 

           [外面求和是用來求每個特徵函式的評分值,裡面求和是每個位置單詞的特徵值]

     (3) 對分數進行指數化和標準化  

          P(L/s)=exp(Score(L/s)) /ΣL'  exp(Score(L'/s))

 

   

 

圖結構:

  線性鏈條隨機磁場:Oi不僅考慮上一狀態Oi-1,還考慮下一裝填Oi+1

  λ代表輸入的詞,O代表標籤

  狀態變數   O0-------O1------O2------On

                   ↓           ↓          ↓          ↓   

                   ↓           ↓          ↓          ↓

   觀測變數 λ0          λ1         λ2       λn

推理:

       (1)利用貝葉斯公式 P(O/ λ)=P( λ/O) *P(O) / P( λ)

         (2) P( λ/O) = P( λ1/O1) * P( λ2/O2).........*P( λn/On)

              P(O)=P(O1) *P(O2/O1)  *P(O3/O2)......*P(On/On-1)

         (3)P( λ/O) *P(O) =P(O1)*     P( λ1/O1) *P(O2/O1) * P( λ2/O2) *P(O3/O2).....  P( λn/On)*P(On/On-1)

                                   =P(O1)*  Π P(Oi / Oi-1* P(λi/ Oi)