信息論-信息熵-噪聲作用輸入矩陣產生的熵=平均信息量
阿新 • • 發佈:2019-04-12
輸出 法則 錯誤 分享 diag src 傳輸 一個 我不
我的輸出Y的個數=輸入X的個數=轉移矩陣的秩=n 。
換句話說,我信息熵減去噪聲作用在信息源的熵(損失熵) 就算我真正有用的信息傳輸率
問題:
我們在討論的時候,利用最前面的性質 ,是部分信息,
是信源熵,
可是沒有關心 是怎麽來的??
是因為有噪聲系統信道傳遞矩陣的除開對角線以外的元素才不等於0
要是沒有噪聲,就壓根沒有引進H(X|Y)的必要。 (信道傳遞矩陣定義參考p75面)
有一點值得特別提出,(書上p71面)對於無幹擾信道的定義,
他這裏格外強調,輸出信號Y和輸入信號X,是確定的,一一對應,
什麽是 “一一對應”?
就是我不允許你一對多,我也不允許你多對一, 一定要是雙射,既是單射,又是滿射。
按照一一對應的法則,求出來的無噪聲信道轉移概率一定可以寫成 diag{p1,p2,p3.。。。pn} 的形式。
以上是無噪聲的討論,
現在我加入了噪聲,勢必引起,信道轉移矩陣除開非對角線還存在元素不為0的情況。
這也就是為什麽要引入是我的噪聲,引起了變化。,我用原來信源熵的轉移矩陣產生的信息量減去,我噪聲
產生的信息量,得到的結果就是我輸出真實的信息量
。之所以認為減去
,會把真實的信息減去,錯誤認為Y=f(x) 會一直不變。(對角線的元素已經變了。至少變了一個)
事實上,有噪聲的時候。無噪聲信道輸入輸出的對應法則 f 已經被噪聲打破
綜上:
利用 矩陣運算:
輸入X *(用原來滿秩的轉移矩陣的減取噪聲產生的矩陣) =平均互信息 ,
信息論-信息熵-噪聲作用輸入矩陣產生的熵=平均信息量