如何實現拼音與漢字的互相轉換
阿新 • • 發佈：2019-01-02
基於詞庫的漢字轉拼音
詞庫中既要包含每個字的拼音，也要包含常用單詞/短語的讀音。有些字是多音字，所以至少要儲存其最常用的讀音，不常用的讀音多出現在單詞/短語裡。
好了，詞庫準備好了，現在手頭有一句話要轉換要轉換為拼音，這句話是：
你好世界盃
我們的詞庫是這樣子的：
你：nǐ
好：hǎo,hào
世：shì
界：jiè
杯：bēi
世界：shì,jiè
你好：nǐ,hǎo
苦盡甘來：kǔ,jìn,gān,lái
詞庫中最長的詞苦盡甘來包含4個字。所以你好世界盃從4個字開始匹配：
- 判斷
你好世界是否在詞庫中，不在； - 判斷
你好世是否在詞庫中，不在； - 判斷
你好是否在詞庫中，在，得到nǐ,hǎo； - 判斷
世界盃是否在詞庫中，不在； - 判斷
世界是否在詞庫中，在，得到shì,jiè； - 判斷
杯是否在詞庫中，在，得到bēi；
於是你好世界盃被轉換為nǐ,hǎo,shì,jiè,bēi。
基於詞庫和分詞工具的漢字轉拼音
純粹的基於詞庫的方法在實際的使用中會遇到問題，例如提出瞭解決方案這句話中瞭解會被當作一個單詞，所以會得到錯誤的結果：
tí,chū,liǎo,jiě,jué,fāng,àn
更好的方法是先進行分詞得到：
提出
了
解決
方案
然後基於詞庫對每個結果分別處理。
基於HMM的拼音轉漢字
這裡的拼音一般不帶聲調。
將漢字作為隱藏狀態，拼音作為觀測值，使用viterbi演算法可以將多個拼音轉換成合理的漢字。例如給出ti,chu,le,jie,jue,fang,an
提出瞭解決方案是最合理的狀態序列。
HMM需要三個分佈，分別是：
- 初始時各個狀態的概率分佈
- 各個狀態互相轉換的概率分佈
- 狀態到觀測值的概率分佈
這個3個分佈就是三個矩陣，根據一些文字庫統計出來即可。
基於詞庫的拼音轉漢字
原則：
- 詞的權重大於字的權重；
- 轉換中匹配的詞越多，權重越小。
詞庫的格式是：
拼音:單詞:權重
例如：
ni:你:0.15
ni:泥:0.12
a:啊:0.18
hao:好:0.14
nihao:你好:0.6
假如輸入是ni,hao,a，我們計算一下各種組合的權重：
| 組合 | 權重 |
|---|---|
| 你,好,啊 | 0.15*0.14*0.18 = 0.00378 |
| 泥,好,啊 | 0.12*0.14*0.18 = 0.003024 |
| 你好,啊 | 0.6*0.18 = 0.108 |
可以看出，你好,啊是最好的結果。
實際實現中需要用到動態規劃， 和求有向無環圖中兩點之間最短距離類似。