跳到主要內容

[系統理論] (弱)平穩隨機過程特性 與 線性非時變系統 (1) -Time domain property

以下將專注在幾類比較特別的隨機過程,首先是嚴格平穩過程(也就是這一類的 隨機過程 可被稱為 "嚴格平穩")

============================
Definition: (Stationary Processes)
嚴格平穩過程 (Strict-sense stationary (SSS) or Strictly stationary process)
1. 隨機過程 $X_t$ 被稱為 nth-order strictly stationary 若下列條件成立:
給定任意 $n$ 個 時間集合 $\{t_1, ..., t_n \}$ 與時間平移量 $\Delta t$, 其對應的  $X_{t1 + \Delta t}, ..., X_{t_n + \Delta t}$ 之 聯合機率分布(joint probabilities) 與其 時間平移量 $\Delta t$ 無關。亦即 對任意 $n$ 維 集合 $B$,
\[
P((X_{t_1 + \Delta t},...,X_{t_n + \Delta t}) \in B)
\]與 $\Delta t$無關。

2. 考慮一隨機過程 $X_t$,若其對任意 正有限整數 $n$ ,都為 n-th order strictly stationary,則我們稱此隨機過程為 strictly stationary。
==============================
Comment:
1.  "平穩 (stationary)" 一詞 概念上表示 對抗 時間平移的能力也就是 Time invariant 的能力。

2. 若隨機過程為 1st-order strictly stationary,則對任意 $t_1$,其對應於 $P(X_{t_1 + \Delta t})$ 與時間平移量 $\Delta t$ 無關,(亦即其機率分布與 $P(X_{t_1})$ 相等 )

3. Strict stationary 是一個非常強的條件。e.g., 如 comment 1,1st-order strictly stationary 由於要求對任意 $t$ 與 $\Delta t$ 機率分布都相同,故期望值必定也要相同,且取函數之後的期望值亦同,亦即我們有以下結果:
對任意函數 $g(x)$,期望值 $E[g(X_{t_1})] = E[g(X_{t_1 + \Delta t})] $

也就是說 對 1st-order strictly stationary 而言,任意函數 $g(x)$上式期望值都要成立。可想而知,光要求對任意"函數" 就是非常嚴苛的條件,故我們以下將會介紹一個較弱的 stationary 想法 (只對 $E[X_t]$ 與 $E[X_{t_1}X_{t_2}]$ 有要求 (不需要要求對任意函數"$g(x)$")):

===========================
Definition: 廣義平穩 or 弱平穩過程 (Wide-sense stationary (WSS) or weakly stationary process)
隨機過程 $X_t$ 被稱為 Wide-sense stationary (WSS)若下列條件成立:
1. 其 mean function, $E[X_t]$ 與時間 $t$ 無關 (i.e., $E[X_t]$ 為 constant)
2. 其 auto-correlation function, $ E[X_{t_1}X_{t_2}]$ 只與 $t_1 - t_2$ 有關。亦即
\[
E[X_{t_1}X_{t_2}] = R_X(t_1 - t_2)
\]其中 $R_X(\cdot)$ 表 $X_t$ 的 autocorrelation function
============================
Comment:
WSS 過程 $\nRightarrow$ Strictly stationary。( 特例: 若 WSS 過程 為 Gaussian process,則其必為 stirctly stationary。)


現在我們看幾個 平穩過程的例子

---------------
Example 1
令 $Z$ 為任意隨機變數,且對任意時間 $t$,令 $ X_t := Z$。試判斷此 $X_t$ 是否為 strictly stationary。
---------------

Proof
首先觀察 $Z$ 為與時間無關的隨機變數,故由 strictly stationary 定義:給定 $n$ 為有限任意正整數,且令 $B$ 為 n 維 集合,則其 time shfited joint probability
\[P(({X_{{t_1} + \Delta t}},...,{X_{{t_n} + \Delta t}}) \in B) = P((Z,...,Z) \in B) \ \ \ \ (*)
\]上式成立由於 $X_t$ 定義 : (對任意時間 $t$,令 $ X_t := Z$ $\Rightarrow X_{t + \Delta t} = Z$)。觀察 $(*)$ 式可發現其確實與時間平移的量無關。故 $X_t$ 為 strictly stationary。$\square$

---------------
Example 2 (Correlation function is even)
回憶 WSS 隨機過程的 autocorrelation 條件:
\[
E[X_{t_1}X_{t_2}] := R_X(t_1 - t_2)
\]現在我們讓 $t_1 : = t+\tau $ 且 $t_2 = t$,則我們有單變數的autocorelation ( univariate autocorrelation function)
\[
R_X(\tau) := E[X_{t + \tau} X_t]
\]試證此 univariate autocorrelation function $R_X(\tau)$ 為 even function。
---------------

Proof
回憶 even function 的定義: $\forall \tau,$ $R_x(\tau) = x(-\tau)$
故給定 $\tau$,現在觀察
\[{R_X}(\tau ): = E[{X_{t + \tau }}{X_t}] = E[{X_t}{X_{t + \tau }}]
\]上式透過期望值乘法交換性,接著我們由 atuocorrelation function 的定義 可推知上式為
\[E[{X_t}{X_{t + \tau }}] = {R_X}\left( {t - \left( {t + \tau } \right)} \right) = {R_X}\left( { - \tau } \right)\]亦即 univariate autocorrelation function $R_X(\tau)$ 確實為 even function。$\square$

---------------
Example 3 (Delayed WSS process is WSS)
令 $X_t$ 為 WSS 隨機過程,且 mean function $E[X_t] =0$, autocorrelation function 為 $R_X(\tau)$。現考慮一 延遲的隨機過程 $Y_t := X_{t - t_0}$。試證此 $Y_t$ 為 WSS 隨機過程。
---------------

Proof
欲證 $Y_t $ 為WSS 我們必須證明兩個性質:
1. $E[Y_t] $ 與時間 $t$ 無關
2. $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關

現在我們先證 1. 我們寫下 $E[Y_t] = E[X_{t-t_0}]$。因為 $X_t$ 為 WSS 隨機過程,且 $E[X_t] = E[X_{t + t_0}] =0$。亦即我們有
\[
E[Y_t] =0
\]接著我們證明 2.
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E[{X_{{t_1} + {t_0}}}{X_{{t_2} + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( {\left( {{t_1} + {t_0}} \right) - \left( {{t_2} + {t_0}} \right)} \right) = {R_X}\left( {{t_1} - {t_2}} \right) \ \ \  \ (*)
\end{array}\] 亦即,$Y_t$ 為 WSS 隨機過程。

注意到事實上 $E[Y_{t_1}Y_{t_2}] = R_X(\tau)$。因為  $X_t$ 為 WSS 隨機過程且其 autocorrelation function 為 $ R_X(\tau)$,故不失一般性的情況下我們可令 $t_1 := t + \tau$, $t_2 = t$ 則 $(*)$變為
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E[{X_{{t_1} + {t_0}}}{X_{{t_2} + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = E[{X_{t + \tau  + {t_0}}}{X_{t + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( {\left( {t + \tau  + {t_0}} \right) - \left( {t + {t_0}} \right)} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( \tau  \right). \ \ \ \  \square
\end{array}\]



WSS processes through LTI systems
現在我們考慮一個 WSS的隨機過程 $X_t$ ,且讓此 $X_t$ 作為 LTI system 的輸入時,我們想知道 輸出 $Y_t $ 會有甚麼特性。

由系統理論我們知道 當 系統為 LTI ,則輸出 $Y_t$ 為 輸入 $X_t$ 之間的關係為 Convolution integral:
\[
{Y_t} = \int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau  = \int_{ - \infty }^\infty  h (\tau ){X_{t - \tau }}d\tau
\]除了 convolution 之外,我們還有下面重要結果:

========================
Theorem: (WSS signal is preserved by LTI system)
考慮輸入 $X_t$ 為 WSS 隨機過程,且考慮穩定的 LTI 系統 具有脈衝響應 $h(t)$ 則輸出 $Y_t$ 為 與 $h(t)$ 做 convolution:
\[
{Y_t} = \int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau  = \int_{ - \infty }^\infty  h (\tau ){X_{t - \tau }}d\tau
\]且輸出 $Y_t$ 仍為 WSS 隨機過程。
========================
Proof
我們現在證明 $Y_t$ 仍為 WSS 隨機過程,亦即要證明
1. mean function, $E[Y_t]$ 與時間無關
2. correlation function, $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$有關

我們先證 mean function 性質
\[E\left[ {{Y_t}} \right] = E\left[ {\int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau } \right] = E\left[ {\int_{ - \infty }^\infty  h (\tau ){X_{t - \tau }}d\tau } \right]\]我們可改寫
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty  {E\left[ {h(\tau ){X_{t - \tau }}} \right]} d\tau
\]注意到上式我們使用了積分與期望值對調:此法可由下面將積分寫成 Rieman sum 近似而得 (或者讀者可使用 Fuibini's theorem )故
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty  {E\left[ {h(\tau ){X_{t - \tau }}} \right]} d\tau  = \int_{ - \infty }^\infty  h (\tau )E\left[ {{X_{t - \tau }}} \right]d\tau
\]由於 $X_t$ 為 WSS,故 $E[X_t] $ 與時間無關,亦即存在一常數 $m$ 使得
\[
E[X_t] = m
\]故
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty  h (\tau )E\left[ {{X_{t - \tau }}} \right]d\tau  = m\int_{ - \infty }^\infty  h (\tau )d\tau \]亦即與時間 $t$ 無關。

現在我們計算 auto-correlation function $E[Y_{t_1}Y_{t_2}]$,用相同近似方法將積分與 期望值互換順序。
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E\left[ {\int_{ - \infty }^\infty  h (\tau ){X_{{t_1} - \tau }}d\tau \int_{ - \infty }^\infty  h (\theta ){X_{{t_2} - \theta }}d\theta } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = E\left[ {\int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta ){X_{{t_1} - \tau }}{X_{{t_2} - \theta }}d\theta } \right)d\tau } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta )E\left[ {{X_{{t_1} - \tau }}{X_{{t_2} - \theta }}} \right]d\theta } \right)d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta ){R_X}\left( {\left( {{t_1} - \tau } \right) - \left( {{t_2} - \theta } \right)} \right)d\theta } \right)d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta ){R_X}\left( {\left( {{t_1} - {t_2}} \right) - \left( {\tau  - \theta } \right)} \right)d\theta } \right)d\tau
\end{array}\]上式顯示 $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關。
故 若 $X_t$ 為 WSS訊號 輸入 LTI 系統,則其輸出 $Y_t$ 亦為 WSS。$\square$

Comment:
回憶對於 確定訊號作為輸入的 LTI 系統,我們有 Fourier transform 作為工具幫助我們分析。現在由於輸入訊號變為隨機過程,但並無對隨機訊號做出定義的 Fourier tranform,不過所幸,注意到若輸入為 WSS 隨機過程,則我們可針對其 correlation function 做 Fourier transform。所得的結果稱為 spectrum analysis。

留言

這個網誌中的熱門文章

[數學分析] 什麼是若且唯若 "if and only if"

數學上的 if and only if  ( 此文不討論邏輯學中的 if and only if,只討論數學上的 if and only if。) 中文翻譯叫做  若且唯若 (or 當且僅當) , 記得當初剛接觸這個詞彙的時候,我是完全不明白到底是甚麼意思,查了翻譯也是愛莫能助,畢竟有翻跟沒翻一樣,都是有看沒有懂。 在數學上如果看到 if and only if  這類的句子,其實是表示一種 雙條件句 ,通常可以直接將其視為" 定義(Definition)" 待之,今天要分享的是這樣的一個句子如何用比較直觀的方法去看他 假設我們現在有 兩個邏輯陳述句 A 與  B. 注意到,在此我們不必考慮這兩個陳述句到底是什麼,想表達什麼,或者到底是否為真(true),這些都不重要。只要知道是兩個陳述即可。 現在,考慮新的陳述:  "A if and only if B" 好了,現在主角登場,我們可以怎麼看待這個句子呢? 事實上我們可以很直覺的把這句子拆成兩部分看待,也就是 "( A if B ) and ( A only if B )" 那麼先針對第一個部分  A if B  來看, 其實這句就是說  if B then A, 更直白一點就是 "if B is true, then A is also true".  在數學上等價可以寫為 "B implies A" .  或者更常用一個箭頭符號來表示 "B $\Rightarrow$  A"  現在針對第二個部分  A only if B 此句意指  "If B is not true, then A is also not true". 所以如果已知 A is true,  那麼按照上句不難推得 B is also true 也就是說  A only if B  等價為 "If A is true then B is also true". 同樣,也可以寫作   "A implies B"   或者用箭頭表示  "A   $\Rightarrow$     B".

[數學分析] 淺談各種基本範數 (Norm)

這次要介紹的是數學上一個重要的概念: Norm: 一般翻譯成 範數 (在英語中 norm 有規範的意思,比如我們說normalization就是把某種東西/物品/事件 做 正規化,也就是加上規範使其正常化),不過個人認為其實翻譯成 範數 也是看不懂的...這邊建議把 Norm 想成長度就好 (事實上norm是長度的抽象推廣), 也許讀者會認為好端端的長度不用,為何又要發明一個 norm 來自討苦吃?? 既抽象又艱澀。 事實上想法是這樣的: 比如說現在想要比較兩個數字 $3$ , $5$ 之間的大小,則我們可以馬上知道 $ 3 < 5 $;同樣的,如果再考慮小數與無理數如 $1.8753$ 與 $\pi$,我們仍然可以比較大小 $1.8753 < \pi = 3.1415...$ 故可以發現我們有辦法對 "純量" 做明確的比大小,WHY? 因為前述例子中 $3$, $5$, $1.8753$ or $\pi$ 其各自的大小有辦法被 "measure "! 但是如果是現在考慮的是一組數字 我們如何去measure 其大小呢?? 比如說 \[x:=[1, -2, 0.1, 0 ]^T \]上式的大小該是多少? 是 $1$? $-2$? $0.1$??? 再者如果更過分一點,我們考慮一個矩陣 \[A = \left[ {\begin{array}{*{20}{c}} 1&2\\ 3&4 \end{array}} \right] \],想要知道這個矩陣的大小又該怎麼辦?? 是 $1$ ? $2$ 還是 $4$ ?..其實現階段我們說不清楚。 也正是如此,可以發現我們確實需要新的 "長度" 的定義來幫助我們如何去 measure 矩陣/向量/甚至是函數的大小。 故此,我們首先定義甚麼是Norm,(也就是把 "長度" or "大小" 的本質抽離出來) ================== Definition: Norm 考慮 $V$ 為一個向量空間(Vector space),則我們說  Norm 為一個函數 $||\cdot|| : V \rightarrow \mathbb{R}$ 且滿足下列性質