部落格作者：凌逆戰

論文地址：https://ieeexplore.ieee.org/document/8682215

部落格地址：https://www.cnblogs.com/LXP-Never/p/10874993.html

 論文作者：Sefik Emre Eskimez , Kazuhito Koishida

摘要

　　語音超解析度(SSR)或語音頻寬擴充套件的目標是由給定的低解析度語音訊號生成缺失的高頻分量。它有提高電信質量的潛力。我們提出了一種新的SSR方法，該方法利用生成對抗網路(GANs)和正則化（regularization）方法來穩定GAN訓練。生成器網路是有一維卷積核的卷積自編碼器，沿時間軸執行，輸入低頻對數功率譜產生高頻對數功率譜。我們使用兩種最新的基於深度神經網路(DNN)的方法與我們提出的方法進行比較，包括客觀的語音質量度量和主觀的感知測試。結果表明，該方法在客觀評價和主觀評價方面均優於基線方法。

關鍵字：生成對抗性網路，語音超解析度，人工語音頻寬擴充套件

1、引言

　　語音增強是語音處理領域研究的熱點問題之一。語音增強的主要目的是提高輸入語音訊號的質量和可懂度。大部分的工作在這一領域關注消除背景噪音或混響,其中一些關注生成丟失的高頻內容增加語音訊號的解析度,也就是文獻中說的人工語音頻寬擴充套件或語音超解析度(SSR)。在本文的剩下部分中，我們將這個問題稱為SSR。

　　SSR在許多實際場景中都有應用，並具有改善人們生活質量的潛力。一個典型的例子是公共交換電話網(PSTN)，它的頻寬仍然被限制在一個窄帶(300-3400 Hz)。在的研究中[1]表明，與窄帶相比，使用者更喜歡高解析度的語音訊號。Kepler等人指出[2]，窄帶語音對聽力受損人群在通過電話交流時具有困難性。在另一項研究中，Liu等人的表明[3]，認為的將解析度從窄帶提高到寬頻(高達8 kHz)，可以提高人工耳蝸使用者的語音識別率。

　　本文介紹了一種採用對抗性訓練的語音超分辨神經網路和一種正則化方法來穩定對抗性訓練。我們的靈感來自於對單個影象和視訊超解析度的對抗性訓練的成功。該生成器是一個以對數功率譜圖(LPS)為輸入，生成相應範圍高頻LPS的序列到序列卷積自編碼器網路。這項工作是第一作者在微軟研究院實習時完成的。卷積層中的濾波器是一維的，它們沿譜圖的時間軸執行。採用一維核函式，降低了訓練和推理的計算複雜度。該系統重量輕，在移動裝置和消費者級cpu上具有實時處理能力。訓練過程如下：首先，我們在幾個epoch(週期)內僅僅訓練reconstruction（重構）損失來初始化生成器網路。然後，在加權重構損失的基礎上，利用對抗性損失對框架進行訓練。在GAN訓練過程中，為了穩定辨識過程，我們在鑑別器損失中加入加權梯度penalty(懲罰）。我們使用語音技術研究中心(CSTR)的語音cloning(克隆)工具包(VCTK)語料庫[4]來訓練我們的系統。為了確定對未知說話人和語音條件的魯棒性，我們使用與我們的訓練集完全不同的資料集(即華爾街日報語料庫(WSJ0)[5])來評估我們的系統。我們將我們的方法與基線進行比較[6,7]。結果表明，該方法在客觀評價和主觀評價方面均優於基線方法。一組例子可以公開獲得。

　　論文的其餘部分組織如下:第2節介紹了相關工作。第三部分概述了系統概況，神經網路框架。在第四部分，我們描述了實驗的細節，並給出了客觀和主觀的評價結果。第五部分是本文的結論。

1、相關工作

　　早期的工作主要是估計語音訊號的頻譜包絡，並對窄帶到寬頻訊號的對映進行建模。這些工作依靠高斯混合模型(GMMs)[8 10]、隱馬爾可夫模型(HMMs)[11 14]、神經網路(NNs)[6,7,15 17]來學習窄帶和寬頻訊號之間的傳遞函式。最近，基於深度學習的方法[6,7]優於這些方法。

　　Li等人提出了一種DNN來從窄帶的LPS預測寬頻的對數功率譜(LPS)。為了人為地建立缺失的相位資訊，他們將低頻頻段的相位翻轉為高頻頻段的相位，重構時域訊號。他們證明了他們的方法優於基於GMM的方法。Kuleshov等人提出直接使用原始波形，並引入端到端網路。他們使用了一個具有均方誤差(MSE)目標函式的卷積自編碼網路。與基於訊號處理的方法相比，由於沒有預處理，該方法的實現更加直觀。但是，它的計算開銷很大，可能不適合在邊緣裝置上執行。

　　生成對抗網路(GANs)[18]在影象、視訊和語音生成任務中表現出強大的功能。GANs本質上是一個零和博弈，包含多個神經網路，通常是一個生成器和一個鑑別器。生成器試圖通過生成虛假但真實的資料來欺騙鑑別器，而鑑別器則試圖區分真實資料和虛假資料。雖然GANs取得了令人印象深刻和現實的結果，但它們在訓練[19]時存在不穩定性。研究人員通過引入正則化來穩定GAN框架[19 23]。其中一些正則化方法對梯度的範數進行了懲罰，以穩定訓練[19,21,23]。

　　GANs已成功應用於影象和視訊的超解析度[24,25]。由於譜圖類似於影象或視訊幀，這些研究激勵我們研究語音超解析度背景下的對抗性網路。

　　Li等人最近提出了一種基於對抗性訓練的語音頻寬擴充套件方法。他們的神經網路(NN)通過線譜頻率（LSF）、delta LSF和低頻段訊號的語音能量來預測高頻段的線譜頻率(LSF)和語音能量(HB)。生成器和鑑頻器是四層完全連線的神經網路。利用預測的語音引數，採用EVRC-WB框架[27]和合成濾波器組 合成高解析度語音訊號。我們的方法和[26]都使用了GAN框架進行SSR。然而，我們的方法直接生成語音譜圖，並使用正則化方法來穩定GAN訓練，而[26]使用估計LSF和能量引數的合成框架來合成語音。

3、提出的方法

　　下面，我們將描述我們的系統在推理過程中是如何工作的。設x為窄帶語音的時域波形。首先對x進行短時傅立葉變換(STFT)，然後由x計算對數功率譜圖(LPS)$X^{NB}$和相位譜圖$X_P$。將原始窄帶和預測的高頻LPSs連線(concatenated)起來，得到估計的寬頻LPS $X^{SR}$。我們還預測了窄帶譜圖的最高C頻率bins，其中C為offset(偏移)引數。在級聯過程中，將小於C頻率bin的窄帶譜圖與預測的高頻範圍進行級聯。這樣，我們就避免了連線處的不連續[6]。我們跟隨Li等人的[6]，通過翻轉窄帶相位並還原訊號來建立一個人工相位。對於2x超解析度版本，我們將這個翻轉相位與窄帶相位連線起來，得到整個寬頻訊號的人工相位$\hat{X}_P$。對於4x超解析度版本，我們重複翻轉相位三次。最後，利用估計寬頻LPS $X^{SR}$和人工相位$\hat{X}_P$的逆STFT，採用overlap-add(疊加疊加法)對時域訊號進行重構。系統概述如圖1所示

圖1：測試期間提出的語音超分辨(SSR)系統概述。將短時傅立葉變換(STFT)應用於時域訊號x，得到了對數功率譜(LPS) $X^{NB}$和相位譜$X_P$。將窄帶(NB) LPS $X^{NB}$fed to(饋入)SSR-GAN，得到估計高頻(HF)範圍LPS，並將其連線到NB LPS上，得到寬頻(WB) LPS $\hat{X}^{SR}$。通過翻轉和重複NB相位$X_P$，加上一個負號，人為地產生HF範圍的相位。最後，利用估計的WB LPS和人工相位，通過逆STFT (ISTFT)和疊加重建時域訊號$\hat{y}$。

3.1  網路體系結構

　　該生成器是一個（序列到序列）sequence-to-sequence的模型，它接受T個時間步長的窄帶LPS，輸出帶T個時間步長的高頻範圍LPS。我們使用[7]中描述的常見瓶頸自動編碼器架構。卷積核是一維的，它在LPSs的時間軸上執行。與2D核心相比，計算成本要低得多，允許在cpu和移動裝置上實時處理網路。我們在卷積層之後使用batch normalization（批標準化(BN)）層，然後是斜率為0.2的LeakyReLU啟用函式，輸出層除外，在輸出層中我們使用線性啟用，而不使用BN層。我們使用[28]中引入的sup-pixel(亞畫素)(或pixel shufle(畫素洗牌))層進行向上取樣，這對於影象和視訊的超解析度非常有用。

　　該鑑別器包括三個卷積層，然後是兩個全連線層(FC)。我們使用LeakyReLU啟用，除輸出層外，所有層的斜率為0.2，在輸出層中我們使用線性啟用函式。由於BN層在鑑別器網路訓練過程中會導致訓練的不穩定性，尤其是當鑑別器損失正規化時[19,23]，我們不使用BN層。鑑別器網路接收連線的窄帶和高頻範圍LPSs作為輸入。高頻範圍LPS可以直接來自於資料分佈，也可以由生成器網路產生。這兩種網路架構的詳細資訊如表1所示。

表1:提出的網路架構的詳細引數。K和N分別為沿頻率軸的窄帶和高頻範圍LPS尺寸。對於2x和4x超解析度尺度，K分別為129和65。對於2x和4x的超解析度尺度，N分別為141和199。

圖2:提出的生成器(中)和鑑別器(右)的網路結構。每個矩形塊都是一個卷積層，結構顏色編碼並在左側子圖中詳細顯示。符號:BN ：批次歸一化層、FC ：全連線層、LReLU：LeakyReLU啟用層、PShuffle：pixel shuffle或sub-pixel層、LPS：對數功率譜。

3.2  訓練目標函式

　　首先，我們初始化生成器，在僅有重構損失時訓練幾個週期。生成器通常初始化訓練後生成過於平滑的結果。為了獲得更清晰、更詳細的LPSs，我們在重構損失的基礎上改用對抗性損失(GAN損失)。我們使用對數光譜距離(LSD)(或對數光譜失真)函式作為訓練目標。LSD測量兩個頻譜之間的距離(以分貝為單位)，其數學定義如下

$$公式1：l_{LSD}=\frac{1}{L}\sum_{l=1}^{L}\sqrt{\frac{1}{K}\sum_{k=1}^{K}[X^{HR}(l,k)-X^{SR}(l,k)]^2}$$

　　其中K為頻率bin數，$X^{HR}$和$X^{SR}$分別為ground tuth和估計LPSs。

　　原始的生成式對抗網路(GAN)是一個生成器和一個鑑別器之間的零和博弈(極小極大)。我們在SSR的上下文中對這個問題進行了闡述，其定義如下

$$公式2：\begin{matrix}
\min_{\theta }\max_{\psi }E_P[\log D_{\psi}(X^{HR})]+E_Q[\log (1-D_{\psi}(G_{\theta}(X^{NB})))] \\
P:X^{HR}~p(X^{HR})\\
Q:X^{NB}~p(X^{NB})
\end{matrix}$$

其中$X^{HR}$是高解析度資料（真實資料），$X^{NB}$是窄帶資料。$G_{\theta}(·)$是生成器，$G_{\psi }(·)$是鑑別器，其中$\theta$和$\psi$是可訓練引數。$P$是真實資料的分佈，$Q$是窄帶資料的分佈。發生器$(G_{\theta}(·))$處理窄帶和高帶頻譜的串聯。這個符號可以簡化如下：

$$公式3：\min_{\theta }\max_{\psi }E_P[\log {\varphi}_R]+E_Q[\log (1-{\varphi}_F)]$$

其中${\varphi}_R$和${\varphi}_F$分別是真假資料的鑑別器輸出。

為了穩定GAN訓練，我們對[23]中描述的判別器的加權gradient-norms(梯度規範)進行了懲罰。正則化項描述為

$$公式4：\Omega =E_P[(1-\varphi_R)^2||\bigtriangledown \phi_R||^2]+E_Q[\varphi_F^2||\bigtriangledown \phi _F||^2]$$

我們將這一項加到鑑別器的目標函式中，如下:

$$公式5：l_{DIS}=E_P[\log \varphi_R]+E_Q[\log(1-\varphi _F)]-\frac{\gamma }{2}\Omega $$

其中為正則化項的權值。

生成器損失為重構損耗和GAN損失的加權和，定義如下

$$公式6：l_{GEN}=E_Q[-\log (D_\varphi(G_{\theta}(X^{NB})))]+\lambda l_{LSD}$$

其中，$l_{LSD}$為式1中描述的目標函式，為LSD損失的權重引數。

4、實驗

　　我們使用CSTR語音cloning工具包語料庫(VCTK)來訓練我們的網路，它最初是為訓練文字到語音(TTS)合成系統而設計的。錄音為16位WAV檔案，取樣率為48khz，語音清晰。共有109名不同口音的英語人士，每個人說400個句子。我們使用六個隨機的說話人的語音作為驗證集，並使用其餘的語音作為訓練資料集。為了建立訓練對，我們將[29]中描述的帶限sinc插值方法處理高解析度訊號，以獲得下采樣版本。

　　為了評估我們的網路的泛化能力，我們使用了華爾街日報語料庫(WSJ0)資料集來進行評估，它與VCTK語料庫的說話者和語音條件不同。錄音取樣率為16khz，其中包含自然背景噪聲。在我們的客觀評估中，我們使用了5000個樣本(大約12小時)的隨機子集。

　　我們的網路僅使用LSD損失(式1)進行50個epoch的訓練，學習率為$10^{-4}$，使用GAN + LSD損失(式6)進行另外100個epoch的訓練，學習率為$10^{-5}$。我們通過實驗確定了週期數。我們的輸入和輸出頻譜的time-steps(時間步長)被設定為32。我們使用Adam 優化器來訓練生成器網路，使用RMSProp優化器來訓練識別器網路，其mini-batch(小批處理)大小為64。將輸入輸出LPSs歸一化為零均值和單位方差；我們從訓練資料中計算出這些統計資料，並將其應用於推理。表1所示的K變數對於2x實驗為129，對於4x實驗為65。頻率偏移量按下式計算

$$公式7：floor(\frac{K}{10})+1$$

其中K為輸入頻譜中頻率bin數。表1所示的N變數在2x和4x超解析度尺度下分別設定為141和199。我們將方程5所示的變數$\gamma$設為2。

　　我們從第2節中描述的現有工作中採用了兩種基線方法。第一個基線是基於STFT的方法[6]，在本文的其餘部分中我們將其命名為$BL1$。由於這項工作只考慮了2x SSR，所以我們沒有實現4x SSR版本。第二個基線是基於原始波形的方法[7]，在本文的其餘部分中我們將其命名為$BL2$。我們採用了作者提供的程式碼來重現2x和4x SSR的結果。我們將提議的方法命名為SSR-GAN。

4.1 客觀指標

我們採用式1中定義的LSD，分段信噪比(segmental signal to noise ratio, SegSNR) [30]，和語音質量感知評價(PESQ)[31]客觀指標，以評價和比較我們的方法與基線方法。這些指標廣泛應用於語音增強和SSR工作。PESQ測量的是語音質量，由國際電信聯盟電信標準化部門(ITU-T)標準化。分段信噪比(SegSNR)是音訊樣本段上的信噪比均值，定義如下

$$SegSNR=\frac{1}{L}\sum_{l=1}^{L}10\log \frac{\sum_{n=1}^{N}[x(l,n)]^2}{\sum_{n=1}^{N}[x(l,n)-\hat{x}(l,n)]^2}$$

其中L為段數，N為語音中的資料點數。對於SegSNR和PESQ，值越高越好；對於LSD，數值越低越好。

4.2 結果

　　客觀評價結果如表2所示。我們的方法在2x和4x SSR任務中都優於基線，在所有三個客觀評價指標方面都有很好的優勢。與$BL1$相比，LSD值提高了約1.1 dB。對於SegSNR，改進大約是3.9 dB。PESQ略有改善，約為0.1。與$BL2$相比，我們的方法在4x設定下的改進更為明顯。LSD對高頻範圍和全頻譜的改善分別為3.3 dB和4.7 dB左右。SegSNR提高了4.7 dB左右。與2x量表相比，PESQ明顯提高，約為0.5。

表2：2x和4x SSR實驗的客觀評價結果。我們的方法(SSR-GAN)在所有指標上都優於基線。LSD HF為僅在高頻範圍計算的LSD值，其中LSD Full為整個頻譜計算的LSD值。

　　圖3為示例譜圖，其中第一行為ground truth高頻範圍語譜圖，第二行為僅經過LSD損失訓練的神經網路得到的高頻範圍語譜圖，第三行分別為2x和4x的SSRGAN結果。注意，第二行上的LPSs過於平滑。經過GAN訓練(第三排)，效果更加清晰，細節更加精細，精力更加充沛。

圖3:給出了2x和4x的光譜圖示例。這些樣本是從WSJ0語料庫中隨機抽取的。第一行是ground truth高頻範圍語譜圖。第二行和第三行顯示了只訓練LSD損耗(第二行)和同時訓練LSD和GAN損耗(第三行)的提出的網路生成的高頻範圍語譜圖。

4.3 主觀的評價

　　我們進行了主觀評估，以測試我們的方法與基線和ground truth資料在人類感知方面的比較。我們生成了兩個測試集，每個測試集包含40個句子，每個句子的縮放分別為2x和4x。包括窄帶訊號、ground truth高解析度訊號、預測超解析度訊號和基線。我們想把每個專案的測試時間限制在30分鐘之內；因此，我們對每個解析度縮放只使用基線方法之一的樣本，對2x和4x分別使用[6]和[7]。共有20名志願者，他們每人評估了80個樣本。每個志願者都通過聽5對低解析度和ground truth高解析度的語音。將測試樣本隨機呈現給志願者，每個樣本的得分在0到100之間，其中0代表低解析度訊號，100代表高解析度訊號。

　　2x和4x縮放實驗結果如圖4所示。ground truth高分辨語音的得分為80.79%，其次是我們的方法，得分為70.72%。低解析度訊號和$BL1$的得分較低，分別為21.75%和34.52%。由於SSR-GAN評分接近高解析度訊號，我們可以得出結論，在2x尺度下，SSR-GAN可以在語音質量上說服聽眾，並且可以優於基線方法。4x實驗更具挑戰性，與2x實驗相比，缺失的相位資訊更加明顯。高解析度分數與SSRGAN之間的差距約為32%。SSR-GAN仍然可以超過基線方法，並且有超過50%的得分。

圖4：2x和4x量表的主觀測試結果。

5 結論

　　在這項工作中，我們提出了一種新的方法，利用對抗性訓練語音超解析度任務。通過客觀和主觀評價，我們的方法優於基於DNN的基線方法。主觀評價表明，對於2倍解析度的尺度，我們的方法可以得到接近地面真實的高解析度訊號，對於4倍解析度的尺度，我們的方法可以獲得較好的效能。該方法計算量小，能夠在邊緣裝置上實時執行。我們未來的工作包括利用頻譜估計相位資訊。

6 參考文獻

[1] ITU, “Paired comparison test of wideband and narrowband telephony,” in Tech. Rep. COM 12-9-E. Mar. 1993.
[2] Laura Jennings Kepler, Mark Terry, and Richard H Sweetman, “Telephone usage in the hearing-impaired population.,” Ear and hearing,
vol. 13, no. 5, pp. 311–319, 1992.
[3] Chuping Liu, Qian-Jie Fu, and Shrikanth S Narayanan, “Effect of bandwidth extension to telephone speech recognition in cochlear implant users,” The Journal of the Acoustical Society of America, vol. 125, no.2, pp. EL77–EL83, 2009.
[4] Christophe Veaux, Junichi Yamagishi, Kirsten MacDonald, et al.,“Cstr vctk corpus: English multi-speaker corpus for cstr voice cloning toolkit,” University of Edinburgh. The Centre for Speech Technology Research (CSTR), 2016.
[5] John Garofalo, David Graff, Doug Paul, and David Pallett, “Csr-i(wsj0) complete,” Linguistic Data Consortium, Philadelphia, 2007.
[6] Kehuang Li and Chin-Hui Lee, “A deep neural network approach to speech bandwidth expansion,” in Acoustics, Speech and Signal Processing (ICASSP), 2015 IEEE International Conference on. IEEE,2015, pp. 4395–4399.
[7] Volodymyr Kuleshov, S Zayd Enam, and Stefano Ermon, “Audio super resolution using neural networks,” arXiv preprint arXiv:1708.00853,2017.
[8] Kun-Youl Park, “Narrowband to wideband conversion of speech using gmm based transformation,” in IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP). IEEE, 2000, pp.1843–1846.
[9] Samir Chennoukh, A Gerrits, G Miet, and R Sluijter, “Speech enhancement via frequency bandwidth extension using line spectral frequencies,” in Acoustics, Speech, and Signal Processing, 2001. Proceedings.(ICASSP’01). 2001 IEEE International Conference on. IEEE,2001, vol. 1, pp. 665–668.
[10] Hyunson Seo, Hong-Goo Kang, and Frank Soong, “A maximum a posterior-based reconstruction approach to speech bandwidth expansion in noise,” in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2014, pp. 6087–6091.
[11] Peter Jax and Peter Vary, “Artificial bandwidth extension of speech signals using mmse estimation based on a hidden markov model,” in IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP). IEEE, 2003, vol. 1, pp. I–I.
[12] Guo Chen and Vijay Parsa, “Hmm-based frequency bandwidth extension for speech enhancement using line spectral frequencies,” in Acoustics,Speech, and Signal Processing, 2004. Proceedings.(ICASSP’04).IEEE International Conference on. IEEE, 2004, vol. 1, pp. I–709.
[13] Patrick Bauer and Tim Fingscheidt, “An hmm-based artificial bandwidth extension evaluated by cross-language training and test,” in Acoustics, Speech and Signal Processing, 2008. ICASSP 2008. IEEE International Conference on. IEEE, 2008, pp. 4589–4592.
[14] Geun-Bae Song and Pavel Martynovich, “A study of hmm-based bandwidth extension of speech signals,” Signal Processing, vol. 89, no. 10,pp. 2036–2044, 2009.
[15] Bernd Iser and Gerhard Schmidt, “Neural networks versus codebooks in an application for bandwidth extension of speech signals,” in Eighth European Conference on Speech Communication and Technology,2003.
[16] Juho Kontio, Laura Laaksonen, and Paavo Alku, “Neural networkbased artificial bandwidth expansion of speech,” IEEE transactions on audio, speech, and language processing, vol. 15, no. 3, pp. 873–881,2007.
[17] Johannes Abel and Tim Fingscheidt, “Artificial speech bandwidth extension using deep neural networks for wideband spectral envelope estimation,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 26, no. 1, pp. 71–83, 2018.
[18] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio,“Generative adversarial nets,” in Advances in neural information processing systems, 2014, pp. 2672–2680.
[19] Lars Mescheder, Andreas Geiger, and Sebastian Nowozin, “Which training methods for gans do actually converge?,” in International Conference on Machine Learning, 2018, pp. 3478–3487.
[20] Martin Arjovsky, Soumith Chintala, and L´eon Bottou, “Wasserstein generative adversarial networks,” in International Conference on Machine Learning, 2017, pp. 214–223.
[21] Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin,and Aaron C Courville, “Improved training of wasserstein gans,” in Advances in Neural Information Processing Systems, 2017, pp. 5767–5777.
[22] Casper Kaae Sønderby, Jose Caballero, Lucas Theis, Wenzhe Shi, and Ferenc Husz´ar, “Amortised map inference for image super-resolution,”arXiv preprint arXiv:1610.04490, 2016.
[23] Kevin Roth, Aurelien Lucchi, Sebastian Nowozin, and Thomas Hofmann, “Stabilizing training of generative adversarial networks through regularization,” in Advances in Neural Information Processing Systems,2017, pp. 2018–2028.
[24] Christian Ledig, Lucas Theis, Ferenc Husz´ar, Jose Caballero, Andrew Cunningham, Alejandro Acosta, Andrew P Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, et al., “Photo-realistic single image superresolution using a generative adversarial network.,” in CVPR, 2017,vol. 2, p. 4.
[25] Alice Lucas, Santiago Lopez Tapia, Rafael Molina, and Aggelos K Katsaggelos,“Generative adversarial networks and perceptual losses for video super-resolution,” arXiv preprint arXiv:1806.05764, 2018.
[26] Sen Li, St´ephane Villette, Pravin Ramadas, and Daniel J Sinder,“Speech bandwidth extension using generative adversarial networks,”in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2018, pp. 5029–5033.
[27] 3GPP2 C.S0014-C v1.0, “Enhanced variable rate codec, speech service option 3, 68 and 70 for wideband spread spectrum digital systems,” .
[28] Wenzhe Shi, Jose Caballero, Ferenc Husz´ar, Johannes Totz, Andrew PAitken, Rob Bishop, Daniel Rueckert, and Zehan Wang, “Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 1874–1883.
[29] Julius O. Smith, “Digital audio resampling home page center for computer research in music and acoustics (ccrma),” .
[30] Paul Mermelstein, “Evaluation of a segmental snr measure as an indicator of the quality of adpcm coded speech,” The Journal of the Acoustical Society of America, vol. 66, no. 6, pp. 1664–1667, 1979.
[31] AWRix, J Beerends, M Hollier, and A Hekstra, “Perceptual evaluation of speech quality (pesq), an objective method for end-to-end speech quality assessment of narrowband telephone networks and speech codecs,” ITU-T Recommendation, vol. 862, 2