2013年11月1日 星期五

[隨機過程] 隨機過程淺淺談-先備概念

此文主要介紹隨機過程的定義,基本上建議讀者需要先對機率論有一些基本了解。比如說如果有一點 隨機變數 (可測函數) 與 $\sigma$-algebra 的基本認識,那麼在之後接觸較為抽象的概念時會比較容易上手,有興趣的讀者請參閱此文:[測度論] Sigma Algebra 與 Measurable function 簡介


隨機過程 在概念上其實並不複雜(雖然數學上很複雜...),簡單說就是把很多的隨機變數蒐集起來並加上時間指標。嚴格來說:隨機過程 (Random process) or (Stochastic process) 是一個 隨機變數的集合(家族),一般通常可分為 離散時間 與 連續時間 的隨機過程來討論。


========================
Definition: 離散時間 隨機過程 (Discrete-time stochastic process)
一個離散時間隨機過程是隨機變數 $\{X_n\}$ 的集合,其中 $n$ 的範圍落在給定的整數集合中 ($n$ 想成是(離散的)時間指標)。
========================

Example
比如說下列都是離散時間隨機過程
$\{X_n, n=1,2,...\}$ 或者 $\{X_n, n=0,1,2,...\}$, 或者 $\{X_n, n=0, \pm 1, \pm2,...\}$


Comments:
1. 隨機變數 既不隨機也不是變數,他的本質是一個函數!!
2. 上述定義中,隨機變數 必須定義在機率空間 $(\Omega, \mathcal{F}, P)$
因為 隨機變數是一個定義在樣本空間 $\Omega$的函數,我們可以有兩種方法來看待 $X_n(\omega)$
  1. 將 $n$ 固定住,則 $X_n(\omega)$ 為 $\omega$ 的函數 且為一個隨機變數
  2. 將 $\omega$ 固定住,則 我們可以得到一系列的數 $X_1(\omega), X_2(\omega), ...$此系列稱作對一個隨機過程的 實現(realization),或者稱作 隨機過程的取樣路徑(sample path),或者 隨機過程的取樣函數(sample function)
先看張圖感受一下甚麼是隨機過程的實現:
上圖為五種不同的 離散隨機過程 (或稱 時間序列) 的sample path。
White: White Noise
RWD: Random Walk with Drift
DT: Deterministic Trend + White noise
IMA (1,1): Integrated moving Average
ARMA (1,1): Autoregressive moving Average

======================
Definition: 連續時間 隨機過程(Continuous-time stochastic process)
一個連續時間隨機過程是隨機變數 $\{X_t\}$ 的集合,其中 $t$ 的範圍落在給定的區間之中。($t$ 想成是(連續的)時間指標)
======================

Example
比如說下列都是連續時間的隨機過程

$\{X_t, t \geq 0\}$, 或者 $\{X_t, 0 \leq t \leq T\}$, 或者 $\{X_t, -\infty < t< \infty\}$


Comments:
1. 令 $\cal{T}$ 為 index set,隨機過程 $\{X_t, t \in T \}$ 視為一個雙變數函數;亦即
\[
\{X(t, \omega), t \in T, \omega \in \Omega \}
\]其中 $\Omega$ 稱為 sample space。

2. 一般而言,財務市場中的 股票價格波動 $S_t$ 通常被視為連續時間 隨機過程 (的實現 !)一般以 Geometric Brownian Motion (一種 隨機微分方程(Stochastic Differential Equation, SDE) 來描述股價。
\[
dS_t = S_t \mu dt + S_t \sigma dB_t
\]其中 $\mu$ 為股市飄移項, $\sigma$ 為波動項, $B_t$ 為標準布朗運動 (為一個極為重要的隨機過程)。不過在此我們不贅述太多細節。現在我們可以用例子來看看,下圖為 IBM 2008年1月 - 12月的 每日股價走勢 (一年共252個交易日,故橫軸為$ t=0, ..., 252$),可以感受一下


另外在此列舉幾類特殊隨機過程

  1. 平穩過程 (Stationary Stochastic Process)
  2. 鞅 (Martingale)
  3. 馬可夫鏈 (Markov Chain)

大部分可被分析的隨機過程皆落在上述三類之中,有興趣的讀者可以搜尋本 Blog 其他文章或者閱讀相關論文/書籍 做進一步了解。


隨機過程的描述

有了前面的粗淺概念與定義,現在我們想要更進一步描述隨機過程。首先回憶對於單一隨機變數 $X$ 而言,如果我們知道其 機率密度函數 (probability density function )或者 知道機率質量函數 (probability mass function, pmf),則我們可以得知 對任意集合 $B$  的機率 $P(X \in B)$ 或者 給定任意函數 $g$,其對應的期望值 $E[g(X)]$。亦即此 隨機變數 $X$ 的特性被完整描述。

現在若我們考慮一組 隨機變數 $(X,Y)$ 而言,假設已知其 joint pmf 或者 joint density 則我們亦可寫下對任意集合 $B$ 或者函數 $g$ 的機率 $P(X,Y \in B)$ 或者期望值 $E[g(X,Y)]$。上述結果推廣到 對有限多個隨機變數:亦即 一但我們 已知 joint pmf 或者 joint density 則有限多個隨機變數仍可以毫無困難的被完整描述。

但隨機過程而言,事實上是一組 無窮多個隨機變數,我們想知道是否上面的方法依然可行? 所幸 Kolmogorov 為我們證明了一個隨機過程 $X_t$ 仍可以被完整的描述,但由於條件牽涉較繁複的推導,這邊不贅述有興趣的讀者可參閱 J. A. Gubner, Probability and Random Processes for Electrical and Computer Engineers, Chapter 11.。

隨機過程的 mean 與 correlation function
回憶對單一隨機變數而言,我們可以計算 mean 與 variance,對於一組相關的隨機變數 $X,Y$而言,我們可計算個別的 mean, variance 以及相關性 $E[XY]$。現在我們將此想法拓展到 隨機過程中:
====================
Definition: mean function
若 $X_t$ 為一個隨機過程,則對任意固定時間 $t$,$X_t$ 為一個隨機變數且此時對應的 mean  $E[X_t]$ 定義如下
\[
m_X(t) := E[X_t]
\]我們稱上式為 隨機過程的 mean function。
====================


====================
Definition: (auto) correlation function
若 $X_t$一個隨機過程,且 $X_{t_1}$ 與 $X_{t_2}$ 為對應於此隨機過程在 $t_1$ 與 $t_2$ 的兩個隨機變數,則  $X_{t_1}$ 與 $X_{t_2}$ 的 correlation, $R_X(t_1, t_2)$ 定義為
\[
R_X(t_1,t_2) := E[X_{t_1}X_{t_2}]
\]我們稱上式為 隨機過程的 correlation function。
====================

Comments
1. mean function 描述了 隨機過程的平均狀態
2. correlation function 定義在 同一個 隨機過程 (不同時間的隨機變數),並非兩個不同隨機過程故我們又稱此 correlation function 為 autocorrelation function。
3. correlation function 描述了 隨機過程的行為平滑還是多曲折如下圖:


上圖中 $\tau := t_1 - t_2$

現在我們看個例子:

Example
考慮一隨機過程 $X_t := \cos( 2 \pi f t + \Theta)$,其中 $\Theta \sim \text{uniform}[-\pi, \pi]$試求 mean function 與 correlation function。

Solution
由 mean function 定義
\[\begin{array}{l}
{m_X}(t): = E[{X_t}] = E[\cos (2\pi ft + \Theta )]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \int_{ - \infty }^\infty  {\cos (2\pi ft + \theta ){f_\Theta }\left( \theta  \right)d\theta } \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \int_{ - \infty }^\infty  {\cos (2\pi ft + \theta )\frac{1}{{\pi  - \left( { - \pi } \right)}}d\theta } \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {\cos (2\pi ft + \theta )d\theta }
\end{array}\]上式為對 $\cos$ 函數積分,故 mean function $m_X(t) =0$。

接著我們計算 correlation function
\[{R_X}(t): = E[{X_{{t_1}}}{X_{{t_2}}}] = E[\cos (2\pi f{t_1} + \Theta )\cos (2\pi f{t_2} + \Theta )]
\]由三角函數積化和差
\[\cos A\cos B = \frac{1}{2}\left[ {\cos \left( {A + B} \right) + \cos \left( {A - B} \right)} \right]\]可得
\[\begin{array}{l}
{R_X}(t): = E[{X_{{t_1}}}{X_{{t_2}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}E\left[ {\cos \left( {2\pi f{t_1} + 2\pi f{t_2} + 2\Theta } \right) + \cos \left( {2\pi f{t_1} - 2\pi f{t_2}} \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\underbrace {E\left[ {\cos \left( {2\pi f\left( {{t_1} + {t_2}} \right) + 2\Theta } \right)} \right]}_{ = 0} + \frac{1}{2}\cos \left( {2\pi f{t_1} - 2\pi f{t_2}} \right)\\
 \Rightarrow {R_X}(t): = \cos \left( {2\pi f{t_1} - 2\pi f{t_2}} \right)
\end{array}\]注意到上式 $E[cos(2 \pi f (t_1 + t_2) + 2 \Theta)]$ 已在 mean function 部分計算過,此為 cosine 函數對 $\theta$ 積分,故為 $0$。$\square$

----------------------------------------
以下討論較抽象,讀者可越過無妨

有了上述基本的隨機過程定義,我們可以開始討論 (某些) 隨機過程的性質。以下要介紹兩個重要的概念,一個稱作 Filtration: (這個字翻譯成中文可能不是很精確,不過可以想成是類似把資訊用漏斗一層一層過濾...) 一個稱作 adapted

首先給出 Filtration 定義如下:

======================
Definition: Filtration
定義一個 indexed set $\mathcal{T} := \{0, 1, 2, ... \} $ or $ = [0, \infty)$。我們說一個 Filtration $\{\mathcal{F}_t : t \in \mathcal{T} \}$ 是一個 family of $\sigma$-algebra (簡單說就是由 $\sigma$-algebra 所組成的集合) 使得下列條件滿足:
\[
s < t \Rightarrow \mathcal{F}_s \subset \mathcal{F}_t
\]======================

Comments:
1. 我們永遠預設有一個固定的機率測度空間 $(\Omega, \mathcal{F}, P)$供我們討論。如上述 Filtration 亦定義在此機率測度空間 $(\Omega, \mathcal{F}, P)$ 之上。亦即我們 Filtration on $(\Omega, \mathcal{F}, P)$。且滿足
\[
s < t \Rightarrow \mathcal{F}_s \subset \mathcal{F}_t \subset \mathcal{F}
\]

2. Filtration 可以被想成是資訊的揭露。甚麼意思呢? 比如說,考慮離散時間的情況,由Filtration 定義我們知道
\[
\mathcal{F}_0 \subset \mathcal{F}_1 \subset \mathcal{F}_2...
\]亦即表示在時間 $t=1$的時候,我們亦可知道時間 $t=0$ 的情況,亦即 $t=1$ 的時候包含了 $t=0$ 的資訊,但 不包含 $t=2$ (未來)的資訊。

=======================

Example 1: Natural Filtration 
對於一個 連續隨機過程 $\{ X_t \}$ 而言, Natural Filtration $ \mathcal{F}_t^X $ 可以選由此隨機過程產生的 smallest $\sigma$-algebra
\[
 \mathcal{F}_t^X := \sigma(X_s, s \le t)
\]如果是離散隨機過程 $\{X_n \}$,我們可以選
\[
 \mathcal{F}_n^X := \sigma(X_1, X_2, ..., X_n)
\] 作為其  Natural Filtration。

Example 2: Natural Filtration for Random Walk 
現在考慮 $\{X_i \}_{i=1}^{\infty}$ 為 i.i.d. 隨機變數 sequence,現在令 $S_0 =0$ 且其partial sum:
\[
S_n := X_1 + X_2 + ... + X_n
\]則此隨機過程 $S_n$ 對應的 Natural Filtration 為 $\mathcal{F}_n^S := \sigma(X_1, X_2, ..., X_n) = \mathcal{F}_n^X$

=======================

有了 Filtration  (一群 $\sigma$-algebra,或者簡單說就是一群事件。) 的定義,我們便可以介紹一個隨機過程 適應(adapted) 某個 Filtration 的概念,亦即這是一類隨機過程具有 隨著時間的流逝,資訊才漸漸的被 "揭露" 出來的特性: (亦即無法預知未來的隨機過程),而 Filtration 則可以想成是這些 資訊 存放的地方。

======================
Definition: A process adapted to the filtration (or so called: non-anticipating process)
我們說一個隨機過程 $\{ X_t\}$ 是 adapted to the filtration $\{\mathcal{F}_t \}$ 如果下列條件成立:

對任意 $t \in \mathcal{T}$,若 $X_t$ 為 $\mathcal{F}_t$-measurable;亦即 對任意集合 $B \in \mathcal{B}_{\mathbb{R}}$ (Borel Set on $\mathbb{R}$),$X_t^{-1} (B) \in \mathcal{F}_t $
======================

上述的 non-anticipating process 直覺上可以想成 股票的波動 (為一種隨機過程),且今日股價的波動並無法用來預知明日股價的波動如何。 (在投資理論上稱此為效率市場假設,認為所有資訊已經充分反映在今日股價,對明日股價無任何預知作用,數學上我們用 non-anticipating process 來說明這個事情)

事實上 non-anticipating process 在定義 Ito Integral 時候會需要用到,但在此我們不贅述,
對於 Ito Integral 有興趣的讀者可以參閱BLOG 隨機分析的系列文章: [隨機分析] Ito Integral 淺談 (I) - Ito 積分的建構與Ito Isometry property

對於效率市場假設有興趣的讀者可以參閱此篇:[投資理論] 效率市場假設


========================
[延伸閱讀]

[數學] 隨機過程淺淺談(I) - 計數過程 Counting process
[數學] 隨機過程淺淺談(II) - 波松過程 Possion process
[數學] 隨機過程淺淺談(III) - 布朗運動 or 維納過程 (Brownian motion or Wiener Process)


ref:
[1] J. A. Gubner, Probability and Random Processes for Electrical and Computer Engineers.
[2] K. J. Astrom, Stochastic Control Theory