[隨機過程] 隨機過程淺淺談(II) - 波松過程 Poisson process

這是要介紹的是 波松過程 (Poisson Process)，他其實就是我們之前介紹的 計數過程(Counting process) 的一種 (詳見 隨機過程淺淺談(I) - 計數過程Counting process)

那麼我們先把定義給出

===========================
Definition: (Standard Poisson Process)
我們把一個計數過程 $\{ N_t, t \geq 0 \}$ 稱做 波松過程 如果下列三個條件滿足：

1. $N_0=0$ (with probability 1)，也就是說 $N_0$ 是一個常數 $0$ 隨機變數
2. 對任意有限時間點 $0 \leq s < t < \infty $，其計數增量(increment) $N_t- N_s$ 是一個 波松 隨機變數 (Possion random variable) 伴隨 參數為 $\lambda (t-s)$；也就是說其 機率質量函數:\[ P(N_t-N_s=k) = \frac{[\lambda(t-s)]^k e^{- \lambda (t-s)}}{k!}, k=0,1,2...\]且計數增量的期望值 $\mathbb{E}[N_t-N_s]=\lambda(t-s)$ 其 變異數為 $var(N_t-N_s)=\lambda(t-s)$上式中的 $\lambda$ 代表 波松過程的 發生率(rate) 或者 強度(intensity)
3. 如果考慮時間區間 $(t_1,t_2], (t_2,t_3],...(t_n,t_{n+1}]$ 為分離(disjoint)的區間，則其對應的增量
   $N_{t_2} - N_{t_1}$ , $N_{t_3}-N_{t_2}$,...$N_{t_{n+1}} - N_{t_n}$ 全為獨立(independent)。也就是說 波松過程 具備 獨立增量(independent increment)，也就是在分離時間區間中的發生次數互為獨立

===========================

下圖顯示了 one sample path of Poisson process (jump time $S_1, S_2,...$)

===========================
FACT: Mean and Variance of Poisson Increment
令 $0 \le s < t$ 試證 $E[N_t - N_s] = \lambda (t-s)$
===========================

Proof:
注意到由於給定 $s,t$ 故 $N_t - N_s$ 可視為隨機變數，由期望值定義出發，\[\begin{array}{l}
E[{N_t} - {N_s}] = \sum\limits_{k = 0}^\infty  {kP\left( {{N_t} - {N_s} = k} \right)} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k = 0}^\infty  {k\frac{{{{[\lambda (t - s)]}^k}{e^{ - \lambda (t - s)}}}}{{k!}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \lambda (t - s){e^{ - \lambda (t - s)}}\underbrace {\sum\limits_{k = 1}^\infty  {\frac{{{\lambda ^{k - 1}}{{(t - s)}^{k - 1}}}}{{\left( {k - 1} \right)!}}} }_{ = {e^{\lambda (t - s)}}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \lambda (t - s){e^{ - \lambda (t - s)}}{e^{\lambda (t - s)}} = \lambda (t - s)
\end{array}\]上式最後第 3 個等號利用下面的 FACT
\[{e^x} = \sum\limits_{k = 0}^\infty  {\frac{{{x^k}}}{{k!}}}  = \sum\limits_{k = 1}^\infty  {\frac{{{x^{k - 1}}}}{{\left( {k - 1} \right)!}}} \]


===========================
FACT: Second Moment of Poisson Increment
令 $0 \le s < t$，$E[(N_t - N_s)^2] = \lambda^2 (t-s)^2 + \lambda (t-s)$
且 $Var(N_t- N_s) = \lambda (t-s)$
===========================

Proof: omitted.


===========================
FACT: Martingale Property for Compensated Poisson Process
令 $N_t$ 為 Poisson process with intensity $\lambda$， 定義 compensated Poisson process $M_t := N_t - \lambda t$ 則 $M_t$ 為 Martingale
===========================

Proof (sketch):
在此只檢驗 Martingale 性質 (i.e., 要證 $E[{M_t}|{F_s}] = {M_s}$)，其餘性質留給讀者檢驗：
注意到 $N_t - N_s$ 與 $F_s$ 獨立 且 $E[N_t - N_s] = \lambda (t-s)$，故觀察
\[\begin{array}{l}
E[{M_t}|{F_s}] = E[{N_t} - \lambda t|{F_s}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[{N_t}|{F_s}] - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[\left( {{N_t} - {N_s}} \right) + \left( {{N_s} - {N_0}} \right)|{F_s}] - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[\left( {{N_t} - {N_s}} \right)|{F_s}] + E[\left( {{N_s} - {N_0}} \right)|{F_s}] - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[\left( {{N_t} - {N_s}} \right)] + {N_s} - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \lambda \left( {t - s} \right) + {N_s} - \lambda t = {N_s} - \lambda s = {M_s}
\end{array}\]

Example 1
對任意 $t>0$，試計算 $E \left[C^{N_t}\right]$，其中 $C>0$ 為固定常數 且 $\{N_t\}$ 為 standard Poisson process

Proof:
固定 $t>0$ 注意到 $N_t$ 為隨機變數，不再是 隨機過程 ；故利用期望值定義，$$\begin{array}{l}
E[{C^{{N_t}}}] = \sum\limits_{k = 0}^\infty  {{C^k}P\left( {{N_t} = k} \right)}  = \sum\limits_{k = 0}^\infty  {{C^k}{e^{ - \lambda t}}\frac{{{{\left( {\lambda t} \right)}^k}}}{{k!}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {e^{ - \lambda t}}\sum\limits_{k = 0}^\infty  {\frac{{{{\left( {C\lambda t} \right)}^k}}}{{k!}}}  = {e^{ - \lambda t}}{e^{C\lambda t}} = {e^{\left( {C - 1} \right)\lambda t}}
\end{array}$$


Example 2

現考慮一個光感測器，其光電子(photoelectrons)服從波松過程，且每分鐘以速率 $\lambda$ 從光感測器射出。現在試問 在對任意 兩個連續分鐘間隔，有超過5個光電子被射出的機率是多少?

Sol

第一步先把文字轉為數學機率問題

令 $N_t$ 表在時間 $t$ 時，光電子被射出的個數 (此 $N_t$為 Random Variable)

現在考慮 兩個 連續分鐘時間間隔分別為 $t_0$ ~ $t_1$, $t_1$ ~ $t_2$，

則 在任意兩個連續分鐘時間間隔 有超過五個光電子被射出的機率可寫成

$P(\{N_{t_1}-N_{t_2} >5\} \cap \{N_{t_2 }- N_{t_1} >5\})$

接著，由於其服從波松過程，故可知 時間間隔為獨立 且 $N_t - N_s$ 為波松隨機變數，故上式改寫為

\[
P(\{N_{t_1}-N_{t_2} >5\})P(\{N_{t_2} - N_{t_1} >5\}) \]

其中 \[\begin{array}{l}
P(\{ {N_{{t_1}}} - {N_{{t_2}}} > 5\} ) = 1 - P(\{ {N_{{t_1}}} - {N_{{t_2}}} \le 5\} )\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = 1 - \sum\limits_{i = 0}^5 {\frac{{{{[\lambda ({t_2} - {t_1})]}^k}{e^{ - \lambda ({t_2} - {t_1})}}}}{{k!}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = 1 - \sum\limits_{i = 0}^5 {\frac{{{{[\lambda  \times 1]}^k}{e^{ - \lambda  \times 1}}}}{{k!}}}
\end{array}\]最後一行等式成立是因為間隔一分鐘，所以 $N_t - N_s =1$ 最後將兩個機率寫出來，可知
$$P(\{N_{t_1}-N_{t_2} >5\} \cap \{N_{t_2} - N_{t_1 }>5\})=\left( 1-\sum_{i=0}^{5}\frac{[\lambda]^k e^{- \lambda}}{k!} \right)^2$$

====
[數學] 隨機過程淺淺談(0)-先備概念
[數學] 隨機過程淺淺談(I) - 計數過程Counting process
[數學] 隨機過程淺淺談(III) - 布朗運動 or 維納過程 (Brownian motion or Wiener Process)