熵率

為什麼要研究熵率

除了研究i.i.d.隨機變數的熵，之前已經從條件熵的角度研究了兩個關聯的隨機變數之間的關係，現在想進一步研究當這些隨機變數來自於某個隨機過程時的情況。我們已知隨著隨機變數數目的增加，其聯合熵也會不斷增加\(H\left(X_{1}, X_{2}, \ldots, X_{n}\right)\le H\left(X_{1}, X_{2}, \ldots, X_{n+1}\right)\)，因此再研究增長趨勢就沒有意義，我們轉而考慮整個隨機過程地研究熵率

（嚴）平穩過程

在任一時間點後，任意個隨機變數的聯合分佈都沒有發生改變

• 寬平穩只保證一二階矩不改變
• 高斯過程的寬平穩與嚴平穩等價

馬爾可夫過程

• 資訊理論中一般考慮三個變數間的關係，再長就是長Markov鏈的研究範圍了

時不變馬爾可夫鏈

• 條件概率只與隨機變數取值有關，與狀態下標無關

• 時不變馬爾可夫鏈+穩態分佈→平穩隨機過程

  • 穩態分佈：\(X_n\)的分佈與\(X_{n+1}\)分佈相同（每一個狀態的出現概率不再變化）

  • 穩態分佈的計算：\(\underline{p}=\mathrm{P} \underline{p}\)（注意還有一個概率和為1的條件）

  • 證明：

平穩馬爾可夫鏈的熵率

• 平穩過程的熵率存在且等於條件熵的極限

  \[H(X)=\lim _{n \rightarrow \infty} \frac{1}{n} H\left(X_{1}, X_{2}, \ldots, X_{n}\right)=\lim _{n \rightarrow \infty} H\left(X_{n} \mid X_{n-1}, \ldots, X_{1}\right) \]

  • 證明：

• 平穩馬爾可夫鏈的熵率：\(H(X)=H\left(X_{2} \mid X_{1}\right)\)

  • 給定轉移矩陣與穩態分佈後，可以進一步得到具體值

• 熵率的影象

  • 考慮跳轉概率分別為\(\alpha\)

    和\(\beta\)的兩狀態馬爾科夫鏈

  • contour plot

    • 含義是在這個馬爾科夫鏈的隨機過程中，平均每個狀態的熵是多少
    • 如果跳轉可能比較固定（跳或者不跳的概率高），熵比較少，也就是說比較穩定
    • 如果頻繁發生跳轉，捉摸不定，熵大，不確定度大，資訊量大

  • 比值影象

    • 含義是在馬爾科夫鏈中，熵率相對於穩態分佈的熵小了多少，也就條件帶來的資訊量有多少
    • 同樣在跳轉情況比較固定的時候，條件帶來的不確定的消減很大（較小的部分）
    • 在跳轉比較隨機的時候，歷史記錄沒什麼關係（趨近1的部分）