資訊理論——近似均分性、典型集、資料壓縮筆記
阿新 • • 發佈：2022-05-31
這一講研究的是獨立同分布的樣本空間。
首先定義樣本空間中某件事情的概率：
即組成成分的概率的和。（獨立性使然）
大數定理：
漸進均分性：
基於此，我們能推出
這個式子說明，n充分大時，p（X1,X2...Xn）趨於1。
於是我們可以把所有事件分為兩類：概率小的和概率大的。
概率大的部分我們稱為典型集：
我們可以對典型集的元素個數估計：
其中3、4的證明（經典技巧）：
既然典型集的出現概率非常大，那麼在這個樣本空間裡其他發生概率的事件一定跟典型集交集很多，那麼其元素也會很多：
最後來看信源傳輸：
我們把樣本分成兩類：典型集和非典型集。
非典型集要n*log|X|+1的資訊量，典型集要n*(H+e)+1的資訊量（類似向上取整），然後再用1bit來分辨典型集和非典型集。
最後推出：
即這種編碼方式位元速率小於H（X）且可以在n充分大正確率趨於1。