============================
Definition: (Stationary Processes)
嚴格平穩過程 (Strict-sense stationary (SSS) or Strictly stationary process)
1. 隨機過程 $X_t$ 被稱為 nth-order strictly stationary 若下列條件成立：
給定任意 $n$ 個 時間集合 $\{t_1, ..., t_n \}$ 與時間平移量 $\Delta t$， 其對應的 $X_{t1 + \Delta t}, ..., X_{t_n + \Delta t}$ 之 聯合機率分布(joint probabilities) 與其 時間平移量 $\Delta t$ 無關。亦即 對任意 $n$ 維 集合 $B$，
\[
P((X_{t_1 + \Delta t},...,X_{t_n + \Delta t}) \in B)
\]與 $\Delta t$無關。
2. 考慮一隨機過程 $X_t$，若其對任意 正有限整數 $n$ ，都為 n-th order strictly stationary，則我們稱此隨機過程為 strictly stationary。
==============================
Comment:
1. "平穩 (stationary)" 一詞 概念上表示 對抗 時間平移的能力也就是 Time invariant 的能力。
3. Strict stationary 是一個非常強的條件。e.g., 如 comment 1，1st-order strictly stationary 由於要求對任意 $t$ 與 $\Delta t$ 機率分布都相同，故期望值必定也要相同，且取函數之後的期望值亦同，亦即我們有以下結果：
對任意函數 $g(x)$，期望值 $E[g(X_{t_1})] = E[g(X_{t_1 + \Delta t})] $
也就是說 對 1st-order strictly stationary 而言，對任意函數 $g(x)$上式期望值都要成立。可想而知，光要求對任意"函數" 就是非常嚴苛的條件，故我們以下將會介紹一個較弱的 stationary 想法 (只對 $E[X_t]$ 與 $E[X_{t_1}X_{t_2}]$ 有要求 (不需要要求對任意函數"$g(x)$"))：
===========================
Definition: 廣義平穩 or 弱平穩過程 (Wide-sense stationary (WSS) or weakly stationary process)
隨機過程 $X_t$ 被稱為 Wide-sense stationary (WSS)若下列條件成立：
1. 其 mean function, $E[X_t]$ 與時間 $t$ 無關 (i.e., $E[X_t]$ 為 constant)
2. 其 auto-correlation function, $ E[X_{t_1}X_{t_2}]$ 只與 $t_1 - t_2$ 有關。亦即
\[
E[X_{t_1}X_{t_2}] = R_X(t_1 - t_2)
\]其中 $R_X(\cdot)$ 表 $X_t$ 的 autocorrelation function
============================
Comment:
WSS 過程 $\nRightarrow$ Strictly stationary。( 特例: 若 WSS 過程 為 Gaussian process，則其必為 stirctly stationary。)
現在我們看幾個 平穩過程的例子
---------------
Example 1
令 $Z$ 為任意隨機變數，且對任意時間 $t$，令 $ X_t := Z$。試判斷此 $X_t$ 是否為 strictly stationary。
---------------
Proof
首先觀察 $Z$ 為與時間無關的隨機變數，故由 strictly stationary 定義：給定 $n$ 為有限任意正整數，且令 $B$ 為 n 維 集合，則其 time shfited joint probability
\[P(({X_{{t_1} + \Delta t}},...,{X_{{t_n} + \Delta t}}) \in B) = P((Z,...,Z) \in B) \ \ \ \ (*)
\]上式成立由於 $X_t$ 定義 : (對任意時間 $t$，令 $ X_t := Z$ $\Rightarrow X_{t + \Delta t} = Z$)。觀察 $(*)$ 式可發現其確實與時間平移的量無關。故 $X_t$ 為 strictly stationary。$\square$
---------------
Example 2 (Correlation function is even)
回憶 WSS 隨機過程的 autocorrelation 條件：
\[
E[X_{t_1}X_{t_2}] := R_X(t_1 - t_2)
\]現在我們讓 $t_1 : = t+\tau $ 且 $t_2 = t$，則我們有單變數的autocorelation ( univariate autocorrelation function)
\[
R_X(\tau) := E[X_{t + \tau} X_t]
\]試證此 univariate autocorrelation function $R_X(\tau)$ 為 even function。
---------------
Proof
回憶 even function 的定義: $\forall \tau,$ $R_x(\tau) = x(-\tau)$
故給定 $\tau$，現在觀察
\[{R_X}(\tau ): = E[{X_{t + \tau }}{X_t}] = E[{X_t}{X_{t + \tau }}]
\]上式透過期望值乘法交換性，接著我們由 atuocorrelation function 的定義 可推知上式為
\[E[{X_t}{X_{t + \tau }}] = {R_X}\left( {t - \left( {t + \tau } \right)} \right) = {R_X}\left( { - \tau } \right)\]亦即 univariate autocorrelation function $R_X(\tau)$ 確實為 even function。$\square$
---------------
Example 3 (Delayed WSS process is WSS)
令 $X_t$ 為 WSS 隨機過程，且 mean function $E[X_t] =0$, autocorrelation function 為 $R_X(\tau)$。現考慮一 延遲的隨機過程 $Y_t := X_{t - t_0}$。試證此 $Y_t$ 為 WSS 隨機過程。
---------------
Proof
欲證 $Y_t $ 為WSS 我們必須證明兩個性質：
1. $E[Y_t] $ 與時間 $t$ 無關
2. $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關
現在我們先證 1. 我們寫下 $E[Y_t] = E[X_{t-t_0}]$。因為 $X_t$ 為 WSS 隨機過程，且 $E[X_t] = E[X_{t + t_0}] =0$。亦即我們有
\[
E[Y_t] =0
\]接著我們證明 2.
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E[{X_{{t_1} + {t_0}}}{X_{{t_2} + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( {\left( {{t_1} + {t_0}} \right) - \left( {{t_2} + {t_0}} \right)} \right) = {R_X}\left( {{t_1} - {t_2}} \right) \ \ \ \ (*)
\end{array}\] 亦即，$Y_t$ 為 WSS 隨機過程。
注意到事實上 $E[Y_{t_1}Y_{t_2}] = R_X(\tau)$。因為 $X_t$ 為 WSS 隨機過程且其 autocorrelation function 為 $ R_X(\tau)$，故不失一般性的情況下我們可令 $t_1 := t + \tau$, $t_2 = t$ 則 $(*)$變為
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E[{X_{{t_1} + {t_0}}}{X_{{t_2} + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = E[{X_{t + \tau + {t_0}}}{X_{t + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( {\left( {t + \tau + {t_0}} \right) - \left( {t + {t_0}} \right)} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( \tau \right). \ \ \ \ \square
\end{array}\]
WSS processes through LTI systems
現在我們考慮一個 WSS的隨機過程 $X_t$ ，且讓此 $X_t$ 作為 LTI system 的輸入時，我們想知道 輸出 $Y_t $ 會有甚麼特性。
由系統理論我們知道 當 系統為 LTI ，則輸出 $Y_t$ 為 輸入 $X_t$ 之間的關係為 Convolution integral：
\[
{Y_t} = \int_{ - \infty }^\infty h (t - \tau ){X_\tau }d\tau = \int_{ - \infty }^\infty h (\tau ){X_{t - \tau }}d\tau
\]除了 convolution 之外，我們還有下面重要結果：
========================
Theorem: (WSS signal is preserved by LTI system)
考慮輸入 $X_t$ 為 WSS 隨機過程，且考慮穩定的 LTI 系統 具有脈衝響應 $h(t)$ 則輸出 $Y_t$ 為 與 $h(t)$ 做 convolution：
\[
{Y_t} = \int_{ - \infty }^\infty h (t - \tau ){X_\tau }d\tau = \int_{ - \infty }^\infty h (\tau ){X_{t - \tau }}d\tau
\]且輸出 $Y_t$ 仍為 WSS 隨機過程。
========================
Proof
我們現在證明 $Y_t$ 仍為 WSS 隨機過程，亦即要證明
1. mean function, $E[Y_t]$ 與時間無關
2. correlation function, $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$有關
我們先證 mean function 性質
\[E\left[ {{Y_t}} \right] = E\left[ {\int_{ - \infty }^\infty h (t - \tau ){X_\tau }d\tau } \right] = E\left[ {\int_{ - \infty }^\infty h (\tau ){X_{t - \tau }}d\tau } \right]\]我們可改寫
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty {E\left[ {h(\tau ){X_{t - \tau }}} \right]} d\tau
\]注意到上式我們使用了積分與期望值對調：此法可由下面將積分寫成 Rieman sum 近似而得 (或者讀者可使用 Fuibini's theorem )故
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty {E\left[ {h(\tau ){X_{t - \tau }}} \right]} d\tau = \int_{ - \infty }^\infty h (\tau )E\left[ {{X_{t - \tau }}} \right]d\tau
\]由於 $X_t$ 為 WSS，故 $E[X_t] $ 與時間無關，亦即存在一常數 $m$ 使得
\[
E[X_t] = m
\]故
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty h (\tau )E\left[ {{X_{t - \tau }}} \right]d\tau = m\int_{ - \infty }^\infty h (\tau )d\tau \]亦即與時間 $t$ 無關。
現在我們計算 auto-correlation function $E[Y_{t_1}Y_{t_2}]$，用相同近似方法將積分與 期望值互換順序。
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E\left[ {\int_{ - \infty }^\infty h (\tau ){X_{{t_1} - \tau }}d\tau \int_{ - \infty }^\infty h (\theta ){X_{{t_2} - \theta }}d\theta } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = E\left[ {\int_{ - \infty }^\infty h (\tau )\left( {\int_{ - \infty }^\infty h (\theta ){X_{{t_1} - \tau }}{X_{{t_2} - \theta }}d\theta } \right)d\tau } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty h (\tau )\left( {\int_{ - \infty }^\infty h (\theta )E\left[ {{X_{{t_1} - \tau }}{X_{{t_2} - \theta }}} \right]d\theta } \right)d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty h (\tau )\left( {\int_{ - \infty }^\infty h (\theta ){R_X}\left( {\left( {{t_1} - \tau } \right) - \left( {{t_2} - \theta } \right)} \right)d\theta } \right)d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty h (\tau )\left( {\int_{ - \infty }^\infty h (\theta ){R_X}\left( {\left( {{t_1} - {t_2}} \right) - \left( {\tau - \theta } \right)} \right)d\theta } \right)d\tau
\end{array}\]上式顯示 $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關。
故 若 $X_t$ 為 WSS訊號 輸入 LTI 系統，則其輸出 $Y_t$ 亦為 WSS。$\square$
Comment:
回憶對於 確定訊號作為輸入的 LTI 系統，我們有 Fourier transform 作為工具幫助我們分析。現在由於輸入訊號變為隨機過程，但並無對隨機訊號做出定義的 Fourier tranform，不過所幸，注意到若輸入為 WSS 隨機過程，則我們可針對其 correlation function 做 Fourier transform。所得的結果稱為 spectrum analysis。
WSS 過程 $\nRightarrow$ Strictly stationary。( 特例: 若 WSS 過程 為 Gaussian process，則其必為 stirctly stationary。)
現在我們看幾個 平穩過程的例子
---------------
Example 1
令 $Z$ 為任意隨機變數，且對任意時間 $t$，令 $ X_t := Z$。試判斷此 $X_t$ 是否為 strictly stationary。
---------------
Proof
首先觀察 $Z$ 為與時間無關的隨機變數，故由 strictly stationary 定義：給定 $n$ 為有限任意正整數，且令 $B$ 為 n 維 集合，則其 time shfited joint probability
\[P(({X_{{t_1} + \Delta t}},...,{X_{{t_n} + \Delta t}}) \in B) = P((Z,...,Z) \in B) \ \ \ \ (*)
\]上式成立由於 $X_t$ 定義 : (對任意時間 $t$，令 $ X_t := Z$ $\Rightarrow X_{t + \Delta t} = Z$)。觀察 $(*)$ 式可發現其確實與時間平移的量無關。故 $X_t$ 為 strictly stationary。$\square$
---------------
Example 2 (Correlation function is even)
回憶 WSS 隨機過程的 autocorrelation 條件：
\[
E[X_{t_1}X_{t_2}] := R_X(t_1 - t_2)
\]現在我們讓 $t_1 : = t+\tau $ 且 $t_2 = t$，則我們有單變數的autocorelation ( univariate autocorrelation function)
\[
R_X(\tau) := E[X_{t + \tau} X_t]
\]試證此 univariate autocorrelation function $R_X(\tau)$ 為 even function。
---------------
回憶 even function 的定義: $\forall \tau,$ $R_x(\tau) = x(-\tau)$
故給定 $\tau$，現在觀察
\[{R_X}(\tau ): = E[{X_{t + \tau }}{X_t}] = E[{X_t}{X_{t + \tau }}]
\]上式透過期望值乘法交換性，接著我們由 atuocorrelation function 的定義 可推知上式為
\[E[{X_t}{X_{t + \tau }}] = {R_X}\left( {t - \left( {t + \tau } \right)} \right) = {R_X}\left( { - \tau } \right)\]亦即 univariate autocorrelation function $R_X(\tau)$ 確實為 even function。$\square$
---------------
Example 3 (Delayed WSS process is WSS)
令 $X_t$ 為 WSS 隨機過程，且 mean function $E[X_t] =0$, autocorrelation function 為 $R_X(\tau)$。現考慮一 延遲的隨機過程 $Y_t := X_{t - t_0}$。試證此 $Y_t$ 為 WSS 隨機過程。
---------------
欲證 $Y_t $ 為WSS 我們必須證明兩個性質：
1. $E[Y_t] $ 與時間 $t$ 無關
2. $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關
現在我們先證 1. 我們寫下 $E[Y_t] = E[X_{t-t_0}]$。因為 $X_t$ 為 WSS 隨機過程，且 $E[X_t] = E[X_{t + t_0}] =0$。亦即我們有
\[
E[Y_t] =0
\]接著我們證明 2.
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E[{X_{{t_1} + {t_0}}}{X_{{t_2} + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( {\left( {{t_1} + {t_0}} \right) - \left( {{t_2} + {t_0}} \right)} \right) = {R_X}\left( {{t_1} - {t_2}} \right) \ \ \ \ (*)
\end{array}\] 亦即，$Y_t$ 為 WSS 隨機過程。
注意到事實上 $E[Y_{t_1}Y_{t_2}] = R_X(\tau)$。因為 $X_t$ 為 WSS 隨機過程且其 autocorrelation function 為 $ R_X(\tau)$，故不失一般性的情況下我們可令 $t_1 := t + \tau$, $t_2 = t$ 則 $(*)$變為
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E[{X_{{t_1} + {t_0}}}{X_{{t_2} + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = E[{X_{t + \tau + {t_0}}}{X_{t + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( {\left( {t + \tau + {t_0}} \right) - \left( {t + {t_0}} \right)} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( \tau \right). \ \ \ \ \square
\end{array}\]
WSS processes through LTI systems
現在我們考慮一個 WSS的隨機過程 $X_t$ ，且讓此 $X_t$ 作為 LTI system 的輸入時，我們想知道 輸出 $Y_t $ 會有甚麼特性。
\[
{Y_t} = \int_{ - \infty }^\infty h (t - \tau ){X_\tau }d\tau = \int_{ - \infty }^\infty h (\tau ){X_{t - \tau }}d\tau
\]除了 convolution 之外，我們還有下面重要結果：
========================
Theorem: (WSS signal is preserved by LTI system)
考慮輸入 $X_t$ 為 WSS 隨機過程，且考慮穩定的 LTI 系統 具有脈衝響應 $h(t)$ 則輸出 $Y_t$ 為 與 $h(t)$ 做 convolution：
\[
{Y_t} = \int_{ - \infty }^\infty h (t - \tau ){X_\tau }d\tau = \int_{ - \infty }^\infty h (\tau ){X_{t - \tau }}d\tau
\]且輸出 $Y_t$ 仍為 WSS 隨機過程。
========================
Proof
我們現在證明 $Y_t$ 仍為 WSS 隨機過程，亦即要證明
1. mean function, $E[Y_t]$ 與時間無關
2. correlation function, $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$有關
我們先證 mean function 性質
\[E\left[ {{Y_t}} \right] = E\left[ {\int_{ - \infty }^\infty h (t - \tau ){X_\tau }d\tau } \right] = E\left[ {\int_{ - \infty }^\infty h (\tau ){X_{t - \tau }}d\tau } \right]\]我們可改寫
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty {E\left[ {h(\tau ){X_{t - \tau }}} \right]} d\tau
\]注意到上式我們使用了積分與期望值對調：此法可由下面將積分寫成 Rieman sum 近似而得 (或者讀者可使用 Fuibini's theorem )故
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty {E\left[ {h(\tau ){X_{t - \tau }}} \right]} d\tau = \int_{ - \infty }^\infty h (\tau )E\left[ {{X_{t - \tau }}} \right]d\tau
\]由於 $X_t$ 為 WSS，故 $E[X_t] $ 與時間無關，亦即存在一常數 $m$ 使得
\[
E[X_t] = m
\]故
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty h (\tau )E\left[ {{X_{t - \tau }}} \right]d\tau = m\int_{ - \infty }^\infty h (\tau )d\tau \]亦即與時間 $t$ 無關。
現在我們計算 auto-correlation function $E[Y_{t_1}Y_{t_2}]$，用相同近似方法將積分與 期望值互換順序。
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E\left[ {\int_{ - \infty }^\infty h (\tau ){X_{{t_1} - \tau }}d\tau \int_{ - \infty }^\infty h (\theta ){X_{{t_2} - \theta }}d\theta } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = E\left[ {\int_{ - \infty }^\infty h (\tau )\left( {\int_{ - \infty }^\infty h (\theta ){X_{{t_1} - \tau }}{X_{{t_2} - \theta }}d\theta } \right)d\tau } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty h (\tau )\left( {\int_{ - \infty }^\infty h (\theta )E\left[ {{X_{{t_1} - \tau }}{X_{{t_2} - \theta }}} \right]d\theta } \right)d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty h (\tau )\left( {\int_{ - \infty }^\infty h (\theta ){R_X}\left( {\left( {{t_1} - \tau } \right) - \left( {{t_2} - \theta } \right)} \right)d\theta } \right)d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty h (\tau )\left( {\int_{ - \infty }^\infty h (\theta ){R_X}\left( {\left( {{t_1} - {t_2}} \right) - \left( {\tau - \theta } \right)} \right)d\theta } \right)d\tau
\end{array}\]上式顯示 $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關。
故 若 $X_t$ 為 WSS訊號 輸入 LTI 系統，則其輸出 $Y_t$ 亦為 WSS。$\square$
Comment:
回憶對於 確定訊號作為輸入的 LTI 系統，我們有 Fourier transform 作為工具幫助我們分析。現在由於輸入訊號變為隨機過程，但並無對隨機訊號做出定義的 Fourier tranform，不過所幸，注意到若輸入為 WSS 隨機過程，則我們可針對其 correlation function 做 Fourier transform。所得的結果稱為 spectrum analysis。
沒有留言:
張貼留言