1. 前言

2018年最火的論文要屬google的BERT，不過今天我們不介紹BERT的模型，而是要介紹BERT中的一個小模組WordPiece。

2. WordPiece原理

現在基本效能好一些的NLP模型，例如OpenAI GPT，google的BERT，在資料預處理的時候都會有WordPiece的過程。WordPiece字面理解是把word拆成piece一片一片，其實就是這個意思。

WordPiece的一種主要的實現方式叫做BPE（Byte-Pair Encoding）雙位元組編碼。

BPE的過程可以理解為把一個單詞再拆分，使得我們的此表會變得精簡，並且寓意更加清晰。

比如"loved","loving","loves"這三個單詞。其實本身的語義都是“愛”的意思，但是如果我們以單詞為單位，那它們就算不一樣的詞，在英語中不同字尾的詞非常的多，就會使得詞表變的很大，訓練速度變慢，訓練的效果也不是太好。

BPE演算法通過訓練，能夠把上面的3個單詞拆分成"lov","ed","ing","es"幾部分，這樣可以把詞的本身的意思和時態分開，有效的減少了詞表的數量。

3. BPE演算法

BPE的大概訓練過程：首先將詞分成一個一個的字元，然後在詞的範圍內統計字元對出現的次數，每次將次數最多的字元對儲存起來，直到迴圈次數結束。

我們模擬一下BPE演算法。

我們原始詞表如下：

{'l o w e r ': 2, 'n e w e s t ': 6, 'w i d e s t ': 3, 'l o w ': 5}

其中的key是詞表的單詞拆分層字母，再加代表結尾，value代表詞出現的頻率。

下面我們每一步在整張詞表中找出頻率最高相鄰序列，並把它合併，依次迴圈。

原始詞表 {'l o w e r </w>': 2, 'n e w e s t </w>': 6, 'w i d e s t </w>': 3, 'l o w </w>': 5}
出現最頻繁的序列 ('s', 't') 9
合併最頻繁的序列後的詞表 {'n e w e st </w>': 6, 'l o w e r </w>': 2, 'w i d e st </w>': 3, 'l o w </w>': 5}
出現最頻繁的序列 ('e', 'st') 9
合併最頻繁的序列後的詞表 {'l o w e r </w>': 2, 'l o w </w>': 5, 'w i d est </w>': 3, 'n e w est </w>': 6}
出現最頻繁的序列 ('est', '</w>') 9
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'l o w e r </w>': 2, 'n e w est</w>': 6, 'l o w </w>': 5}
出現最頻繁的序列 ('l', 'o') 7
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'lo w e r </w>': 2, 'n e w est</w>': 6, 'lo w </w>': 5}
出現最頻繁的序列 ('lo', 'w') 7
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'n e w est</w>': 6, 'low </w>': 5}
出現最頻繁的序列 ('n', 'e') 6
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne w est</w>': 6, 'low </w>': 5}
出現最頻繁的序列 ('w', 'est</w>') 6
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne west</w>': 6, 'low </w>': 5}
出現最頻繁的序列 ('ne', 'west</w>') 6
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low </w>': 5}
出現最頻繁的序列 ('low', '</w>') 5
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low</w>': 5}
出現最頻繁的序列 ('i', 'd') 3
合併最頻繁的序列後的詞表 {'w id est</w>': 3, 'newest</w>': 6, 'low</w>': 5, 'low e r </w>': 2}
 

這樣我們通過BPE得到了更加合適的詞表了，這個詞表可能會出現一些不是單詞的組合，但是這個本身是有意義的一種形式，加速NLP的學習，提升不同詞之間的語義的區分度。

4. 學習資料

介紹一些關於WordPiece和BPE的資料供同學們參考。

• https://github.com/tensorflow/models
• https://github.com/rsennrich/subword-nmt
• tensor2tensor的subword
• seq2seq的bpe
• Neural Machine Translation of Rare Words with Subword Units
• BPEmb: Tokenization-free Pre-trained Subword Embeddings
  in 275 Languages
• BPEmb使用方法

5. 總結

WordPiece或者BPE這麼好，我們是不是哪裡都能這麼用呢？其實在我們的中文中不是很適用。首先我們的中文不像英文或者其他歐洲的語言一樣通過空格分開，我們是連續的。其次我們的中文一個字就是一個最小的單元，無法在拆分的更小了。在中文中一般的處理方式是兩中，分詞和分字。理論上分詞要比分字好，因為分詞更加細緻，語義分的更加開。分字簡單，效率高，詞表也很小，常用字就3000左右。

（歡迎轉載，轉載請註明出處。歡迎溝通交流： [email protected]）