寫一些看早期論文常常出現的數學工具

教程很多，珠玉在前，不多寫，只做個備忘。

1. 樸素貝葉斯

伯努利型貝葉斯或者多項式型貝葉斯，SEEM5680text mining 學了。比較熟悉，不寫了。主要就是考慮詞的出現與否/出現次數，與該分類的相關程度；

2. 隱馬爾可夫模型[HMM]

最早是在seq2seq瞭解到這個模型，今天再回顧一下。

ref:

https://www.cnblogs.com/skyme/p/4651331.html

http://www.cnblogs.com/en-heng/p/6164145.html

首先講一下最大熵模型（MaxEnt),

然後講HMM，經典的骰子模型可以體現隱含狀態鏈與可見狀態鏈，轉換概率，輸出概率等概念，可用於已知一部分引數，求另一些。一般有三個問題：

1.概率計算

2.學習可見狀態，使生成可見狀態的概率最大

3.解碼，已知可見狀態與模型，求隱含狀態鏈

3. MEMM最大熵馬爾可夫

MEMM直接學習條件概率：給定前一狀態和當前觀測的情況下，輸出當前狀態的概率。

問題：標註偏置，有更多狀態轉移可能的狀態比重會偏小

4.CRF

Conditional HMM，做了全域性歸一化，從了避免了local bias

Ref:https://www.cnblogs.com/en-heng/p/6214023.html