TTS技術簡單介紹和Ekho（餘音）TTS的安裝與程式設計

一、TTS技術簡單介紹：

        TTS技術，TTS是Text To Speech的縮寫，即“從文字到語音”。它將計算機自己產生的、或外部輸入的文字資訊轉變為可以聽得懂的、流利的漢語口語（或者其他語言語音）輸出的技術，隸屬於語音合成（SpeechSynthesis）。

TTS的基本組成：

（1）文字分析

       對輸入文字進行語言學分析（主要模擬人對自然語言的理解過程），逐句進行詞彙的、語法的和語義的分析，以確定句子的低層結構和每個字的音素的組成，包括文字的斷句、字詞切分、多音字的處理、數字的處理、縮略語的處理等。使計算機對輸入的文字能完全理解，並給出後兩部分所需要的各種發音提示。

（2）韻律建模

        為合成語音規劃出音段特徵，如音高、音長和音強等，使合成語音能正確表達語意，聽起來更加自然。

（3）語音合成（核心模組）

        根據韻律建模的結果，把處理好的文字所對應的單字或短語的語音基元從語音合成庫中提取，利用特定的語音合成技術對語音基元進行韻律特性的調整和修改，最終合成出符合要求的語音。

TTS的工作原理如下：

       例如：你輸入了：“今天吃飯了沒有啊？”，想讓電腦讀出來。那麼我們會怎麼做呢？

（1）最簡單的TTS：

        就是電腦把每一個字分開，對於“我”字，就通過查詢把“我”字對應的語音基元讀出來，這樣同樣方式處理剩餘的字，那麼這句話就讀出來了。但是很明顯，這樣讀出來的語音肯定不夠自然。

        另外，每個字對應的語音基元哪裡來呢？人工苦力活，就是請人把每個漢字讀出來，然後錄下來。你會問，豈不要錄製6千多個漢字的語音？幸運的是，漢語的音節很少，很多同音字。所以我們最多隻是需要錄製： 聲母數×韻母數×4，（其實不是每個讀音都有4聲），這樣算來，最多隻需要錄製幾百個語音就可以了。當然，也有非人工的方法，如eSpeak使用共振峰合成方法，這可以使提供的語言檔案非常小，但是缺點是不如採用基於人錄音的語料庫的聲音平滑自然。另外，在合成的時候需要一張漢字對應拼音的對照表（實際上就是字典），漢字拼音輸入法也依賴這張表。

    上面單字朗讀做出來的TTS效果也還可以，特別是朗讀一些沒有特別含義的如姓名，家庭住址，股票程式碼等漢語句子，聽起來足夠清晰。這要歸功於我們偉大的母語通常都是單音節，從古代的時候開始，每個漢字就有一個詞，表達一個意思。而且漢字不同於英語，英語裡面很多連讀，音調節奏變化很大，漢字就簡單多了。

    當然，你仍然要處理一些細節，比如多音字，把“銀行”讀成“yin xing”就不對了；再比如，標點符號的處理，數字、字母的處理。

（2）稍微複雜點的TTS：

    如果要把TTS的效果弄好一點，再來點力氣活，把基本的詞錄製成語音，如常見的兩字詞，四字成語等，再做個詞庫和語音庫的對照表，每次需要合成時到詞庫裡面找。這樣以詞為單位，比以字為單位，效果自然是好多了。當然，這就涉及到分詞的技術，要把複雜的句子斷成合理的詞序列。另外，為了追求更好的效果，還有進化到以常用句子為單位來錄音了。當然，這就得需要更大的工作量了，因為你需要讀單字、詞、成語、句子等等。而且語音資料也會龐大起來。

     再來說說文字的標識，對於複雜文字，某些內容程式沒有辦法處理，需要標識出來。比如，單純的數字“128”，是應該念成“一百二十八”還是“一二八”？解決辦法通常是加入XML標註，如微軟的TTS："<context ID = "number_cardinal">128</context>"念成“一百二十八”，"<context ID = "number_digit">128</context>"將念成“一二八”。TTS引擎可以去解釋這些標註。遺憾的是，語音XML標註並沒有形成大家都完全認可的標準，基本上是各自一套。

二、Ekho（餘音）TTS的安裝與程式設計：

    目前，TTS還是比較多的，有商業的，也有開源的，當然，前者的效能肯定要好一些，但對於業餘非專業應用來說，開源的就足夠了。下面就介紹下如何在ubuntu 12.04下安裝和程式設計Ekho這個TTS。

Ekho（餘音）是一個把文字轉換成聲音的軟體。它目前支援粵語、普通話（國語）和韓語（試驗中），英文則通過Festival間接實現。網址如下（提供下載）：

         Festival提供了一個通用的框架，用於構建語音合成系統，該系統包含了各種模組示例。它提供了完整的文字轉語音的API，可以通過shell、 C++靜態庫等多種方式呼叫，原生支援Mac OS，支援的語言包括英語和西班牙語；而且系統是使用c++編寫，底層呼叫Edinburgh Speech Tools（Edinburgh語音工具庫）；

         Ekho支援Linux和Windows平臺，使用時需要同時下載原始檔和聲音資料，解壓到"jyutping"或"pinyin"。（以jyutping開頭的聲音資料是粵語，而以pinyin開頭的聲音資料是國語。檔名中的44100和16000表示的是取樣率。取樣率高意味著聲音質量高。）

1、下載ekho-4.12.tar.bz2解壓：

解壓後看到，ekho原始碼涉及幾個部分：

（1）include/soundtouch: SoundTouch是一個開源的音訊處理庫，主要實現包含變速、變調、變速同時變調等三個功能模組，能夠對媒體流實時操作，也能對音訊檔案操作；

（1）include/festival:通過Festival間接實現英文閱讀；

（2）Include/speech_tools：Edinburgh Speech Tools（Edinburgh語音工具庫）；

（3）speechd-api：speech-dispatcher API（平臺獨立的語音合成API）；

（4）sonic：一個語音變速的演算法實現；

（5）ekho-data：ekho的字典檔案和聲音資料，上面說到了，TTS是通過文字分析，再查詢字典，找到對應的聲音資料，然後通過語音合成出來的；

（6）Utfcpp：處理Unicode編碼字串的庫。

（7）sr-convert：改變.WAV聲音檔案取樣率sample rate的庫。

然後就是src（ekho的主要實現）和lib（上面說的這幾部分的靜態連結庫*.a）了，就沒什麼特別的了。

2、安裝依賴庫：

#apt-get install libsndfile1-dev libpulse-dev libncurses5-dev libgtk2.0-dev libvorbis-dev libmp3lame-dev

3、配置、編譯及安裝：

       如果需要閱讀英語，則需要配置編譯Festival，在configure選項中加上--enable-festival，如果需要編譯speech-dispatcher API和支援螢幕閱讀的話，就加上--enable-speechd。（speech-dispatcher是一個平臺獨立的語音合成API，其框架是基於client/server模型的，兩者通訊是通過TCP連線使用Speech Synthesis Independent Protocol (SSIP)協議通訊或者介面庫通訊的。）

$ ./configure

$ make

$ sudo make install

       安裝後，ekho這個可執行檔案和聲音資料ekho-data都會複製到系統目錄下。但是好像標頭檔案（除ekho.h外）和庫等就沒有複製進去，所以程式設計連結時需要注意指定位置。

4、安裝成功後，執行測試：

# ekho '123'

成功的話，系統會把“一百二十三”讀出來。

5、程式設計：

       程式設計需在原始碼目錄下，也就是ekho-4.12下，因為依賴的標頭檔案都在該資料夾裡，並沒有安裝到/usr/include等目錄下；

Echo支援的API，具體見ekho.h。

程式設計程式碼：ekhotest.cpp

/* ekhotest.cpp */

#include "config.h" // this file is generated when building Ekho

#include "ekho.h"

using namespace ekho;

int main(int argc, char **argv)

{

  /*ekho支援粵語Cantonese、普通話Mandarin國語和韓語Korean，在這指定*/

  Ekho wong("Mandarin");

  wong.blockSpeak("你好，歡迎！");

  return 0;

}

編譯的話，因為依賴的庫比較多，所以最好在該目錄下寫個sheel指令碼complize.sh，如下：

g++ ekhotest.cpp libekho.a lib/libSoundTouch.a lib/libFestival.a lib/libestools.a lib/libeststring.a lib/libestbase.a -I. -Iutfcpp/source -Isonic -lpthread -lvorbisenc -lvorbis -lm -logg -lmp3lame -lsndfile -lncurses `pkg-config --libs libpulse-simple` `pkg-config --cflags libpulse-simple`

更改執行屬性：

#chmod 777 complize.sh

然後：

#./complize.sh

就生成執行./a.out即可

6、寫Makefile管理

       個人感覺上面的編譯過程有點亂，為了讓ekho可以更好的嵌入其他應用程式程式設計（得清晰明白它的編譯需要哪些標頭檔案和庫），我就簡單的將其進行統一，將編譯ekho所需的標頭檔案和庫分別放在一個目錄中，並通過Makefile來編譯自己寫的ekho程式。

        先新建一個資料夾program_tts，再在這裡資料夾中新建lib和include兩個資料夾。然後拷貝ekho-4.12原始碼目錄下的libekho.a和lib/*到新建的lib下，再將原始碼目錄下的config.h和include/*，還有sonic/*.h、utfcpp/source/*拷貝到新建的include目錄下。

      自己的程式設計檔案ekhotest.cpp和Makefile在program_tts目錄下。

Makefile檔案如下：

CXX=g++

CFLAGS=-Iinclude -Iinclude/sonic -Iinclude/speech_tools -Iinclude/soundtouch -Iinclude/festival -Iinclude/utf8 `pkg-config --cflags libpulse-simple`

LIBS=-lpthread -lvorbisenc -lvorbis -lm -logg -lmp3lame -lsndfile -lncurses `pkg-config --libs libpulse-simple`

SLIBS=lib/libekho.a lib/libSoundTouch.a lib/libFestival.a lib/libestools.a lib/libeststring.a lib/libestbase.a

OBJECTS=ekhotest.o

TARGETS=testekho

$(TARGETS):$(OBJECTS)

         $(CXX) $^ $(SLIBS) $(LIBS) -o [email protected]

.cpp.o:

         $(CXX) -c $< $(CFLAGS) -o [email protected]

.c.o:

         $(CC) -c $< $(CFLAGS) -o [email protected]

clean:

         -rm -rf $(TARGETS) $(OBJECTS)

這樣，修改程式，直接make即可。