論文地址：高效個性化的助聽器處理聲音

引用格式：Nielsen J B, Nielsen J. Efficient individualization of hearing aid processed sound[C]//2013 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2013: 398-402.

摘要

　　由於現代數字助聽器中大量可調引數提供了大量的選項，即使是微調專業人員，也越來越難以進行引數微調，以滿足助聽器使用者的偏好。此外，微調專業人員和助聽器使用者之間的溝通可能會混淆任務。在本論文中，提出了一個互動系統，以減輕和加快微調助聽器，以適應個人使用者的偏好。系統在學習使用者偏好的同時，也讓使用者意識到自己的偏好。由於學習是基於概率建模的概念，系統有效地處理不一致的使用者反饋。在聽力受損的受試者身上進行的實驗表明，該系統可以迅速發現每個使用者偏好的助聽器設定，這些設定在連續的微調過程中是一致的。

關鍵字：助聽器個性化，貝葉斯學習，高斯過程，主動學習，偏好學習

1  引言

　　現代數字助聽器(HAs)包含大量可調引數，提供幾乎無限數量的可能設定。不同的設定使助聽器強調傳入的聲音的部分，使其或多或少的舒適，可聽，可理解等為聽障人士(HI)。將HAs安裝到使用者身上的過程是由熟練的專業人員執行的，比如聽力學家。

　　在為HI使用者的聽力損失安裝了一套HAs，以確保傳入的聲音的可聽性和可理解性，仍然有幾個選項留給聽力專家選擇。其中一些與使用者的偏好有關。這些引數的微調通常是通過手動調整提供的配件軟體中可用的一些處理。在這一點上，應該考慮兩個方面。首先，由於引數的數量和設定的數量很大，即使對於像聽力學家這樣的微調專家來說，手動程式可能也不足以為所有引數找到最佳設定。其次，微調過程的成功與否取決於醫管局使用者與聽力學家之間的溝通。通常，HA使用者事先沒有意識到自己的偏好，這可能會混淆通訊並導致不適當的微調。

　　為了充分利用現代數字助聽器，需要更精密的微調工具。這些應該發現在健壯和高效的程式中每個個體的最佳設定，以充分利用HAs的靈活性。

　　在本文中，我們考慮了一個互動系統，它可以讓HA使用者通過簡單地聽結果聲音來比較不同的設定來識別自己的偏好。在一系列的比較中，通過讓使用者選擇一種設定比另一種設定更受歡迎，互動系統開始瞭解使用者的偏好。最後，互動系統能夠建議數字助聽器(HAs)使用者首選哪個設定(或設定的子集)。該系統建立在假設每個使用者都有一個不被觀察的內部偏好表示(IRP)，這是一個助聽器設定的隨機函式(或過程)。在互動系統中，內部偏好表示(IRP)的平均響應是由一個高斯過程(GP)[1]建模的，它鬆散地定義了函式的分佈，從而定義了內部偏好表示(IRP)的可能平均響應。在本文的其餘部分中，IRP指代IRP的平均響應。每次使用者使用[2]中先前提出的高斯過程(GP)框架在兩個數字助聽器(HAs)設定之間進行比較和選擇時，內部偏好表示(IRP)的分佈都會迭代更新。為了減少系統瞭解使用者偏好所需的比較次數，高斯過程(GP)提供的內部偏好表示(IRP) 的分佈被用來決定下一個進行比較的設定對。在文獻中，這被稱為主動學習，在本文中，我們使用了期望改進(EI)[3]的二元版本。

　　為了開發能夠微調HAs和其他裝置設定的系統，人們已經在幾個方向上進行了研究。一些最初的嘗試使用了修正的單純形程式[4]，但需要大量不切實際的偏好評估才能收斂。其他基於比賽的嘗試使用了遺傳演算法[5,6]，但收斂時間往往與可調引數的數量不一致。最有希望的建議之一[7]也是概率性的，它包含至少兩個與本文所述工作的理念相似的理念。首先，該方法也是基於使用者IRP的概率建模，但沒有使用最先進的高斯過程(GP)。稍後將在稍微不同的上下文中包括這些內容[8]。其次，這兩種方法也依賴於概率選擇模型，直接解決了人類通常不完全一致地進行知覺評估的事實。然而，這兩種方法都是基於強制選擇(離散決策)，採用了[9,10,11]的選擇模型和框架，即受試者只選擇自己喜歡的選項(離散選擇)。這與[11]中提出的選擇模型形成了對比，在[11]中，被試也決定他們有多喜歡所選擇的設定(連續決策)。[2]中的結果讓我們有理由相信，連續決策中包含的額外資訊減少了學習使用者偏好設定所需的比較次數。這是本工作中考慮的應用程式的關鍵。然而，實際比較離散選擇和連續決策得到的結果超出了這項工作的範圍。儘管如此，這對未來的研究絕對是非常有意義的。相反，重點是研究IRP和系統使用連續決策建議的首選設定之間的可變性。

　　為了測試所提出的互動系統的微調能力，我們將數字助聽器(HAs)的兩個可調引數分別微調到五個不同的聽障人士(HI)使用者。通過比較兩個類似會議的結果與每個主題，發現最佳設定的可變性可以發現。在實驗中調整的兩個HA引數改變了降噪和語音增強演算法對傳入聲音的反應。

　　本文的組織如下：在第2部分，概述了互動系統，並在第3部分提供了實驗的解釋。結果在第4節中給出，最後，第5節包含了討論。

2  模型架構

　　使用者偏好的內部表示(IRP)，稱為$f:X-->R$，採用(零均值)高斯過程(GP)[1]模型。集合$X=\{x_i\in R^d:i=1...n\}$是d = 2個HA引數的n個可能設定的完整集合。高斯過程(GP)是一種非引數的靈活的判別貝葉斯方法，它定義了整個函式的分佈，其中任意有限個函式具有聯合高斯分佈[1,Def. 2.1]。這簡單地表明，任何有限數量的函式值，$f=[f(x_1),...,f(x_n)]^T$，由多元多元高斯分佈給出的分佈為：

$$公式1：p(\mathbf{f})=\mathcal{N}(\mathbf{0}, \mathbf{K})$$

式中$K$的元素$[K]_{i,j} = k(x_i, x_j)$，其中K (·, ·)是協方差函式(或核函式)，一般來說，它定義了函式的平滑性。有關kernel的介紹，請參見[1，第四章]或[12，第六章]。

　　高斯過程(GP)的基本好處是，在使用者執行任何偏好評估之前，Eq. 1可以用作使用者IRP的先驗分佈。在貝葉斯框架中，使用者IRP的分佈是根據已經觀察到的偏好評估重新計算的，以給出使用者IRP的後驗分佈為

$$公式2：p(\mathbf{f} \mid \mathcal{Y}) \propto p(\mathcal{Y} \mid \mathbf{f}) p(\mathbf{f})$$

其中p(Y|f)是由特定觀察模型(選擇模型)定義的可能性。在這項工作中，使用者評估他們在兩個特定的HA設定之間的偏好程度(連續決策)。為了更新實驗中任意給定點上高斯過程(GP)框架中的後驗(和預測)分佈，使用[2]中提出的模型進行特定數量的偏好評估。該觀測模型的具體功能形式以及有關推斷和預測的細節在[2]中提供，因此不在這裡介紹。

　　為了減少發現最佳設定所需的偏好評估的數量，使用了主動學習。主動學習可以用幾種方式來表示，但是高斯過程(GP)框架提供的統計資料使得使用預期改進(EI)[3]稍加修改的版本成為可能。與原公式[3]相比，修正後的EI在計算(修正後的)EI時還包括了函式值之間的相關性。新增的相關性可以直接從GP框架中獲得。因此，一個可能的新設定xi的EI以封閉形式計算為

$$公式3：E I\left(\mathrm{x}_{i}\right)=\sigma_{E I} \cdot \phi\left(\frac{\mu_{E I}}{\sigma_{E I}}\right)+\mu_{E I} \cdot \Phi\left(\frac{\mu_{E I}}{\sigma_{E I}}\right)$$

其中，$\phi (·)$和$\Phi (·)$分別為標準正態分佈和標準正態累積分佈函式，$\mu_{EI}=\mu_i-mu_{max}$和$\sigma_{EI}^2=\sigma_i^2+\sigma_{max}^2-2·cov_{i,max}$其中，$max$指標為當前預測IRP最大的點，符號為

$$公式4：p\left(\left[\begin{array}{l}
f_{\max } \\
f_{i}
\end{array}\right]\right)=\mathcal{N}\left(\left[\begin{array}{l}
\mu_{\max } \\
\mu_{i}
\end{array}\right],\left[\begin{array}{cc}
\sigma_{i}^{2} & \operatorname{cov}_{i, \max } \\
\operatorname{cov}_{i, \max } & \sigma_{\max }^{2}
\end{array}\right]\right)$$

已用於GP框架給出的預測正態分佈的二元邊際。

　　通常在主動學習理論中，必須在探索(輸入空間中不可見區域)和開發(輸入空間中已知區域)之間做出明確的權衡。一般來說，如果過於強調勘探，系統收斂速度會很慢，但如果過於強調開發，系統很快就會陷入次優解決方案。在本工作中，下一個建議的與當前最好的設定進行比較的設定是從一個多項分佈中取樣的，其中給定設定的概率與Eq. 3給出的EI成比例。這樣做是為了稍微強調探索。

3  測量步驟

　　為了說明所建議的互動式微調系統的行為，進行了5個(丹麥本土)HI受試者的實驗。為了獲得在連續的微調會話之間對個人HI使用者的建議設定中預期變化的指示，實驗包括一個測試會話和一個重新測試會話。這兩次會議分別在兩天舉行。

　　在這兩個階段的每一個環節中，每個受試者對HA設定進行了30次比較。為了彌補每個人的聽力損失，研究物件事先戴上(實驗性的)助聽器(雙耳式)，然後在揚聲器播放的汽車噪音中聽連續的講話。通過圖形使用者介面(見圖1)，使用者可以在兩個當前HA設定之間切換，並報告他們的偏好程度。使用者並沒有被要求關注聲音的特定部分或特定屬性，而是隻被提供了聲音檔案中反映的聲音場景的介紹。每個個體受試者的聽力損失見圖2

圖1所示。實驗中使用的圖形使用者介面。

按鈕A和B用於在兩個當前設定之間切換。

當前位於最左邊的滑塊被用來指示兩個設定之間的偏好程度，它被定位到兩個設定(A或B)中的一個的距離。

將滑塊保留在中心位置沒有顯示任何首選項。

定位滑塊後，使用者可以單擊右下角的按鈕繼續進行下一個比較。

圖2所示。每個被試的聽力圖。十字和圓分別對應左耳和右耳

4  結果

　　在圖3中，分別描述了五個測試物件的測試和重測階段的IRP預測。由於irp是無單位的，讀者應該意識到顏色不能在受試者之間進行比較，同樣，高偏好區域一般不應該被解釋為好，而應該被解釋為比藍色或綠色更好。因此，預測的IRP只反映相對屬性。

圖3所示。IRP作為兩個HA引數x1和x2的函式，在對測試(左列)和重新測試(右列)會話進行30次比較後，通過微調演算法預測

紅色和藍色分別表示高偏好區域和低偏好區域。用虛線連線的叉表示比較。注意，irp是無單元的

　　考慮到從空間一端到另一端的引數變化非常細微，每個被試的測試和重測之間預測的高偏好區和低偏好區是一致的，除了被試5。然而，實驗物件5的結果確實與實驗物件5在實驗結束後表達的結果一致，即實驗物件無法聽到任何兩組設定之間的差異。因此，實驗物件5只是偶爾移動滑塊，當實驗物件移動滑塊時，他會盡可能少地移動滑塊。

　　使用強制選擇進行統計顯著性測試，以證明系統在兩個會話中發現的最喜歡和最不喜歡的設定之間的顯著性。選項1和2在11個試驗中隨機混合，但這只是證明了其重要性(p <0:005)測試3。

 　　在演算法發現一個穩定的首選設定之前，每個受試者需要執行的評估數在圖4中顯示出來(見說明文字)。注意，主題5沒有被包括在內，因為主題5不喜歡任何設定而不是其他設定，因此沒有收斂。

圖4所示。每次新評估後，預測IPR最大值點位置的累積歐幾里德變化作為評估次數的函式

5  對課文進行評述

　　總的來說，考慮到引數設定之間的細微差異，發現首選設定的重現性是令人滿意的，而且在第30次評估之前就發現了。然而，由於不同設定之間的感知差異非常細微，因此不可能從整體上證明或拒絕偏好設定的重要性。然而，明顯良好的重現性表明，發現的首選設定實際上是受試者個人偏好的結果，而不是隨機效應的結果。

　　圖3中不同使用者偏好設定的差異證實了之前文獻[13]中的發現，即HA使用者的個人偏好確實存在，而本文提出的系統在受試者在最壞的情況下進行20次比較之前就發現了這種偏好(見圖4)。如果引數設定在感知上更容易區分，那麼所需的比較次數可能會更少。

　　這裡給出的結果是初步的，只是為了直觀地瞭解系統是如何工作的。在未來的工作中，特別是需要比較的數量與可調引數的數量之間的比例問題是值得關注的。此外，今後還應進行類似的實驗，但引數設定要更容易區分，以驗證系統建議的首選設定與不建議的設定有顯著差異。接下來，應該研究基於概率建模框架提供的實際統計資料的更好的收斂測度。一個可能的建議是跨設定的EI的平均值。最後，研究合適的度量來表示測試/重測結果之間的相似性將是有趣的。一種(貝葉斯)建議可能是基於測試資料的可能性給定的重新測試資料或反之亦然。

6  參考文獻

 [1] C. E. Rasmussen and C. K. I. Williams, Gaussian Processes for Machine Learning, MIT Press, 2006.

[2] B. S. Jensen, J. B. Nielsen, and J. Larsen, Efficient Preference Learning with Pairwise Continuous Observations and Gaussian Processes, IEEE Workshop MLSP, Beijing, September 2011.   

[3] D. R. Jones, A Taxonomy of Global Optimization Methods Based on Response Surfaces, Journal of Global Optimization, vol. 21, no. 4, pp. 345 383, 2001.

[4] F. K. Kuk and N. M. C. Pape, The reliability of a modified simplex procedure in hearing aid frequencyresponse selection, J Speech Hear Res, vol. 35, no. 2, pp. 418 429, 1992.

[5] D. Baskent, C. L. Eiler, and B. Edwards, Using genetic algorithms with subjective input from human subjects: implications for fitting hearing aids and cochlear implants. , Ear and hearing, vol. 28, no. 3, pp. 370 80, June 2007.

[6] E. A. Durant, G. H. Wakefield, D. J. Van Tasell, and M. E. Rickert, Efficient perceptual tuning of hearing aids with genetic algorithms, Speech and Audio Processing, IEEE Transactions on, vol. 12, no. 2, pp. 144 155, 2004.   

[7] T. Heskes and B. de Vries, Incremental utility elicitation for adaptive personalization, in Proceedings of the 17th Belgium-Netherlands Conference on Artificial Intelligence, Brussels. 2005, pp. 127 134, Citeseer.

[8] Adriana Birlutiu, Perry Groot, and Tom Heskes, Multitask preference learning with Gaussian processes, in Proceedings of the 17th European Symposium on Artificial Neural Networks (ESANN), 2009, pp. 123 128.

[9] L. L. Thurstone, A Law of Comparative Judgement, Psychological Review, vol. 34, 1927.

[10] R. D. Bock and J. V. Jones, The Measurement and Prediction of Judgment and Choice, 1968.

[11] W. Chu and Z. Ghahramani, Preference Learning with Gaussian Processes, Proceedings of the 22nd International Conference on Machine Learning (ICML), pp. 137 144, 2005.

[12] C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.

[13] K. H. Arehart, J. M. Kates, M. C. Anderson, and L. O. Harvey, Effects of noise and distortion on speech quality judgments in normal-hearing and hearing-impaired listeners. , The Journal of the Acoustical Society of America, vol. 122, no. 2, pp. 1150 64, Aug. 2007.