tensorflow 語音識別

最近在做語音識別的專案，現在專案告一段落，就把最近碰到的東西做一個總結。

python中關於語音處理的庫

• scipy.io.wavfile
• python_speech_features

• librosa : 讀取各種格式的音訊；特徵提取

• 讀取wav檔案

import scipy.io.wavfile as wav
fs, audio = wav.read(file_name)

• 對讀取的音訊資訊求MFCC（Mel頻率倒譜系數）

from python_speech_features import mfcc
from python_speech_features import
 
 delta
#求MFCC
processed_audio = mfcc(audio, samplerate=fs)
#求差分（一階，二階）
delta1 = delta(processed_audio, 1)
delta2 = delta(processed_audio, 2)

pydub

github 專案地址
有了這個庫,做音訊的資料增強就容易多了.關於使用方法可以閱讀 github上的文件,這裡只對raw_data做一些說明.

raw_audio_data = sound.raw_data 

raw_audio_data 中包含的是 音訊資料的bytestring,但是如果我們想對音訊資料做MFCC

audio = np.fromstring(raw_audio_data, dtype=np.int16)
#此時audio是一個一維的ndarray,如果音訊是雙聲道,
#我們只需要對其進行reshape就可以了
audio = np.reshape(audio, [-1, 2]) 

# 然後就可以使用python_speech_features做進一步操作了

tensorflow中做語音識別會碰到的API

這個部分包括了SparseTensor, sparse_tensor_to_dense,edit_distance。

SparseTensor(indices, values, dense_shape)

• indices: 一個2D的 int64 Tensor,shape為(N, ndims),指定了sparse tensor中的索引, 例如: indices=[[1,3], [2,4]]說明,dense tensor中對應索引為[1,3], [2,4]位置的元素的值不為0.

• values: 一個1D tensor,shape為(N)用來指定索引處的值. For example, given indices=[[1,3], [2,4]], the parameter values=[18, 3.6] specifies that element [1,3] of the sparse tensor has a value of 18, and element [2,4] of the tensor has a value of 3.6.

• dense_shape: 一個1D的int64 tensor,形狀為ndims,指定dense tensor的形狀.

相對應的有一個tf.sparse_placeholder,如果給這個sparse_placeholder喂資料呢?

sp = tf.sparse_placeholder(tf.int32)

with tf.Session() as sess:
  #就這麼喂就可以了
  feed_dict = {sp:(indices, values, dense_shape)}

tensorflow中目前沒有API提供denseTensor->SparseTensor轉換

tf.sparse_tensor_to_dense(sp_input, default_value=0, validate_indices=True, name=None)

把一個SparseTensor轉化為DenseTensor.

• sp_input: 一個SparceTensor.

• default_value:沒有指定索引的對應的預設值.預設為0.

• validate_indices: 布林值.如果為True的話,將會檢查sp_input的indices的lexicographic order和是否有重複.

• name: 返回tensor的名字字首.可選.

tf.edit_distance(hypothesis, truth, normalize=True, name=’edit_distance’)

計算序列之間的Levenshtein 距離

• hypothesis: SparseTensor,包含序列的假設.

• truth: SparseTensor, 包含真實序列.

• normalize: 布林值,如果值True的話,求出來的Levenshtein距離除以真實序列的長度. 預設為True

• name: operation 的名字,可選.

返回值:
返回值是一個R-1維的DenseTensor.包含著每個Sequence的Levenshtein 距離.

SparseTensor所對應的DenseTensor是一個多維的Tensor,最後一維看作序列.

CTCloss

現在用深度學習做語音識別，基本都會在最後一層用CTCloss，這個loss自己實現起來還是有點費勁，不過，幸運的是，tensorflow中已經有現成的API了，我們只需呼叫即可。

tf.nn.ctc_loss(labels, inputs, sequence_length, preprocess_collapse_repeated=False, ctc_merge_repeated=True)

此函式用來計算ctc loss.

• labels:是一個int32的SparseTensor, labels.indices[i, :] == [b, t] 表示 labels.values[i] 儲存著(batch b, time t)的 id.

• inputs:一個3D Tensor (max_time * batch_size * num_classes).儲存著 logits.(通常是RNN接上一個線性神經元的輸出)

• sequence_length: 1-D int32 向量, size為 [batch_size]. 序列的長度.此 sequence_length 和用在dynamic_rnn中的sequence_length是一致的,使用來表示rnn的哪些輸出不是pad的.

• preprocess_collapse_repeated:設定為True的話,tensorflow會對輸入的labels進行預處理,連續重複的會被合成一個.

• ctc_merge_repeated: 連續重複的是否被合成一個

返回值:
一個 1-D float Tensor, size 為 [batch], 包含著負的 logp$\text{log}p$.加起來即為batch loss.

tf.nn.ctc_greedy_decoder(inputs, sequence_length, merge_repeated=True)

上面的函式是用在訓練過程中,專注與計算loss,此函式是用於inference過程中,用於解碼.

• inputs:一個3D Tensor (max_time * batch_size * num_classes).儲存著 logits.(通常是RNN接上一個線性神經元的輸出)

• sequence_length: 1-D int32 向量, size為 [batch_size]. 序列的長度.此 sequence_length 和用在dynamic_rnn中的sequence_length是一致的,使用來表示rnn的哪些輸出不是pad的.

返回值:
一個tuple (decoded, log_probabilities)

• decoded: 一個只有一個元素的list. decoded[0]是一個SparseTensor,儲存著解碼的結果.

  • decoded[0].indices: 索引矩陣,size為(total_decoded_outputs * 2),每行中儲存著[batch, time ].
  • decoded[0].values: 值向量,size為 (total_decoded_outputs).向量中儲存的是解碼的類別.
  • decoded[0].shape: 稠密Tensor的shape, size為(2).shape的值為[batch_size, max_decoded_length].

• log_probability: 一個浮點型矩陣(batch_size*1)包含著序列的log 概率.

tf.nn.ctc_beam_search_decoder(inputs, sequence_length, beam_width=100, top_paths=1,merge_repeated=True)

另一種尋路策略。

知道這些，就可以使用tensorflow搭建一個簡單的語音識別應用了。

參考資料