資訊率失真函式

       在實際問題中，訊號有一定得失真是可以容忍的。但是當失真大於某一個限度時，資訊質量就會有嚴重損傷。要規定失真限度，必須有一個定量的失真測度。為此，可以引入失真函式。

       失真函式：

假若一個數據處理系統，輸入樣值為x_i，x_i∈{a₁,...,a_n}，輸出y_j，y_j∈{b₁,...,b_m}。此時定義失真函式：

將所有的d(x_i,y_j)排列起來，用矩陣表示：

通常情況下，失真函式d(xi,yj)都是人為設定的。常用的失真函式如下：

均方失真：d(x_i,y_j)=(x_i-y_j)²

絕對失真：d(x_i,y_j)=| x_i-y_j|

相對失真：d(x_i,y_j)=| x_i

誤碼失真：

平均失真：

定義失真的數學期望為平均失真：

其中p(a_i,b_j)是聯合分佈概率。平均失真是對於信源編碼器產生失真後的總體度量。對於長度為L的序列編碼情況，平均失真為：

資訊率失真函式R(D)：

信源X經過有失真的信源編碼器輸出Y，將這樣的編碼器看作存在干擾的假象通道，Y作為接收端訊號。信源編碼器的目的是使所需的資訊傳輸率R儘量小，但R越小，引起的平均失真就越大。給出一個失真的限制值D，在滿足平均失真的條件下，選擇一種編碼使時，資訊率R儘可能小。資訊率R就是所需輸出的有關信源X的資訊量。而資訊率R其實就是互資訊I(X,Y)。

可知，當信源的分佈概率已知時，互資訊I是關於轉移概率p(y_j

對於離散無記憶信源，R(D)可以寫成：

率失真函式的性質：

定義D_min=0對應著無失真情況，相當於無噪聲通道，此時：

R(D_min)=R(0)=H(X)

定義 ，即R(D_max)=0。

可知R(D)的定義域為[0,D_max]。R(D)=0的情況就是I(X,Y)=0，這時候通道的輸入和輸出相互獨立，所以條件概率p_ij與x_i無關，即：p_ij=p(y_j|x_i)=p(y_j)=p_j

此時平均失真為： 。

現在要記住： 。要求的 。在這個式子中，當某項∑p_id_ij最小，而該j所對應的p_j=1時，D_max達到最小。此時上式可以簡化為： 。

R(D)的重要性質：下凸性、連續性、單調遞減性