隨機過程:統計獨立、正交、不相關 辨析
在隨機過程理論中,有兩個地方會涉及這三個概念。一是用於判斷一個隨機過程中的兩個不同時刻的隨機變數之間的關係;二是用於判斷兩個隨機過程之間的關係。
一、相關函式和協方差函式
為給出這三個概念的定義,我們先引入相關函式和協方差函式的定義。
設有隨機過程X(t)和Y(t),令pX和pY分別為X和Y這兩個隨機變數的概率分佈。我們定義Rx(t1,t2)=E{X(t1)X(t2)}為自相關函式;再定義Cx(t1,t2)=E{[X(t1)-Mx(t1)][X(t2)-Mx(t2)]}為自協方差函式,其中Mx(t1)]和Mx(t2)]為兩個時間點處隨機變數的期望值。這兩個函式之間存在下列關係:
Cx(t1,t2)= Rx(t1,t2)- Mx(t1)]Mx(t2)]
相應地,也可建立不同的隨機過程在不同時刻的隨機變數之間的互關聯函式:Rxy(t1,t2)=E{X(t1)Y(t2)};互 互協方差函式:Cxy(t1,t2)=E{[X(t1)-Mx(t1)][Y(t2)-MY(t2)]},其中MY(t2)為Y在t2時刻的期望值。這兩個函式之間也存在下列關係:
Cxy(t1,t2)= RxY(t1,t2)- Mx(t1)]MY(t2)]
二、“獨立”、“不相關”和“正交”的概念
現在我們給出兩個隨機過程相互獨立的定義:
對於隨機過程X,Y,若其任意維聯合概率密度等於各自概率密度的乘積,則稱隨機過程X(t)和Y(t)相互統計獨立。且有下式成立:
RxY(t1,t2)=E[X(t1)]E[Y(t2)]=MX(t1)MY(t2)
CxY(t1,t2)= RxY(t1,t2)- Mx(t1)]MY(t2)]=0
若 RxY(t1,t2)=E{X(t1)Y(t2)}=0,則稱這兩個隨機過程相互正交。
若CxY(t1,t2)=E{[X(t1)-Mx(t1)][Y(t2)-MY(t2)]}=0,則稱這兩個隨機過程互不相關。
上述結論同樣可以描述兩個隨機過程在同一時刻的關係;並且也可以描述同一隨機過程在同一或不同時刻的關係。
三、“獨立”、“不相關”和“正交”之間的關係
1.由於在兩個隨機過程相互獨立的時候必有 KxY(t1,t2)=0,所以相互獨立的隨機過程必不相關。但由於這個時候的互相關函式RxY(t1,t2)=E[X(t1)]E[Y(t2)]=MX(t1)MY(t2)不一定為零,故儘管相互獨立的隨機過程必定不相關,但未必正交。僅當隨機過程X(t)在t1或隨機過程Y(t)在t2的期望值等於零的時候,相互獨立的隨機過程才不僅不相關,且正交。
2.假若兩個隨機過程不相關,則CxY(t1,t2)=0,且RxY(t1,t2)=MX(t1)MY(t2)。可見,兩個隨機過程不相關並非一定能推得獨立和正交的結論。僅當MX(t1)或MY(t2)等於零的時候,這兩個不相關的隨機過程才會正交。
3.設若這兩個隨機過程正交,則RxY(t1,t2)=0,且有 CxY(t1,t2)= -Mx(t1)]MY(t2)]。可見,兩個正交的隨機過程並非一定能推得不相關或獨立的結論。僅當MX(t1)或MY(t2)等於零的時候,這兩個正交的隨機過程才會不相關。
可見,由於兩個隨機過程x(t)與Y(t)相互獨立的充要條件就是它們的聯合分佈等於各自分佈的乘積,而兩個隨機變數X與Y相關指的是在這兩隨機變數間存線上性關係(也就是式Y=aX+b成立),換句話說,相關性描述的是兩個隨機變數之間是否存線上性關係,而獨立性考察的則是兩個隨機變數間是否存在某種關係,因此獨立的條件要比不相關嚴格。如果兩個隨機變數獨立,就是說它們之間不存在任何關係,自然也就不會有線性關係了,所以相互獨立的隨機變數一定不相關。反過來說,如果兩個隨機過程不相關,僅是說二者之間不存線上性關係,但二者之間不一定不存在非線性關係,所以不相關的隨機過程不一定相互獨立。例如,隨機變數X與X^2之間不存線上性關係,亦即不相關,但顯然不獨立。不過,如果兩個隨機變數相關,也就是說它們之間存線上性關係,則二者之間一定不獨立了。
當然,如果兩個隨機變數服從高斯分佈,則不相關與相互獨立等價