跳到主要內容

[隨機過程] 隨機過程淺淺談(II) - 波松過程 Poisson process

這是要介紹的是 波松過程 (Poisson Process),他其實就是我們之前介紹的 計數過程(Counting process) 的一種 (詳見 隨機過程淺淺談(I) - 計數過程Counting process)

那麼我們先把定義給出

===========================
Definition: (Standard Poisson Process)
我們把一個計數過程 $\{ N_t, t \geq 0 \}$ 稱做 波松過程 如果下列三個條件滿足:
  1. $N_0=0$ (with probability 1),也就是說 $N_0$ 是一個常數 $0$ 隨機變數
  2. 對任意有限時間點 $0 \leq s < t < \infty $,其計數增量(increment) $N_t- N_s$ 是一個 波松 隨機變數 (Possion random variable) 伴隨 參數為 $\lambda (t-s)$;也就是說其 機率質量函數:\[ P(N_t-N_s=k) = \frac{[\lambda(t-s)]^k e^{- \lambda (t-s)}}{k!}, k=0,1,2...\]且計數增量的期望值 $\mathbb{E}[N_t-N_s]=\lambda(t-s)$ 其 變異數為 $var(N_t-N_s)=\lambda(t-s)$上式中的 $\lambda$ 代表 波松過程的 發生率(rate) 或者 強度(intensity)
  3. 如果考慮時間區間 $(t_1,t_2], (t_2,t_3],...(t_n,t_{n+1}]$ 為分離(disjoint)的區間,則其對應的增量
    $N_{t_2} - N_{t_1}$ , $N_{t_3}-N_{t_2}$,...$N_{t_{n+1}} - N_{t_n}$ 全為獨立(independent)。也就是說 波松過程 具備 獨立增量(independent increment),也就是在分離時間區間中的發生次數互為獨立
===========================

下圖顯示了 one sample path of Poisson process (jump time $S_1, S_2,...$)


===========================
FACT: Mean and Variance of Poisson Increment
令 $0 \le s < t$ 試證 $E[N_t - N_s] = \lambda (t-s)$
===========================

Proof:
注意到由於給定 $s,t$ 故 $N_t - N_s$ 可視為隨機變數,由期望值定義出發,\[\begin{array}{l}
E[{N_t} - {N_s}] = \sum\limits_{k = 0}^\infty  {kP\left( {{N_t} - {N_s} = k} \right)} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k = 0}^\infty  {k\frac{{{{[\lambda (t - s)]}^k}{e^{ - \lambda (t - s)}}}}{{k!}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \lambda (t - s){e^{ - \lambda (t - s)}}\underbrace {\sum\limits_{k = 1}^\infty  {\frac{{{\lambda ^{k - 1}}{{(t - s)}^{k - 1}}}}{{\left( {k - 1} \right)!}}} }_{ = {e^{\lambda (t - s)}}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \lambda (t - s){e^{ - \lambda (t - s)}}{e^{\lambda (t - s)}} = \lambda (t - s)
\end{array}\]上式最後第 3 個等號利用下面的 FACT
\[{e^x} = \sum\limits_{k = 0}^\infty  {\frac{{{x^k}}}{{k!}}}  = \sum\limits_{k = 1}^\infty  {\frac{{{x^{k - 1}}}}{{\left( {k - 1} \right)!}}} \]


===========================
FACT: Second Moment of Poisson Increment
令 $0 \le s < t$,$E[(N_t - N_s)^2] = \lambda^2 (t-s)^2 + \lambda (t-s)$
且 $Var(N_t- N_s) = \lambda (t-s)$
===========================

Proof: omitted.


===========================
FACT: Martingale Property for Compensated Poisson Process
令 $N_t$ 為 Poisson process with intensity $\lambda$, 定義 compensated Poisson process $M_t := N_t - \lambda t$ 則 $M_t$ 為 Martingale
===========================

Proof (sketch):
在此只檢驗 Martingale 性質 (i.e., 要證 $E[{M_t}|{F_s}] = {M_s}$),其餘性質留給讀者檢驗:
注意到 $N_t - N_s$ 與 $F_s$ 獨立 且 $E[N_t - N_s] = \lambda (t-s)$,故觀察
\[\begin{array}{l}
E[{M_t}|{F_s}] = E[{N_t} - \lambda t|{F_s}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[{N_t}|{F_s}] - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[\left( {{N_t} - {N_s}} \right) + \left( {{N_s} - {N_0}} \right)|{F_s}] - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[\left( {{N_t} - {N_s}} \right)|{F_s}] + E[\left( {{N_s} - {N_0}} \right)|{F_s}] - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[\left( {{N_t} - {N_s}} \right)] + {N_s} - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \lambda \left( {t - s} \right) + {N_s} - \lambda t = {N_s} - \lambda s = {M_s}
\end{array}\]


Example 1
對任意 $t>0$,試計算 $E \left[C^{N_t}\right]$,其中 $C>0$ 為固定常數 且 $\{N_t\}$ 為 standard Poisson process

Proof:
固定 $t>0$ 注意到 $N_t$ 為隨機變數,不再是 隨機過程 ;故利用期望值定義,$$\begin{array}{l}
E[{C^{{N_t}}}] = \sum\limits_{k = 0}^\infty  {{C^k}P\left( {{N_t} = k} \right)}  = \sum\limits_{k = 0}^\infty  {{C^k}{e^{ - \lambda t}}\frac{{{{\left( {\lambda t} \right)}^k}}}{{k!}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {e^{ - \lambda t}}\sum\limits_{k = 0}^\infty  {\frac{{{{\left( {C\lambda t} \right)}^k}}}{{k!}}}  = {e^{ - \lambda t}}{e^{C\lambda t}} = {e^{\left( {C - 1} \right)\lambda t}}
\end{array}$$


Example 2
現考慮一個光感測器,其光電子(photoelectrons)服從波松過程,且每分鐘以速率 $\lambda$ 從光感測器射出。現在試問 在對任意 兩個連續分鐘間隔,有超過5個光電子被射出的機率是多少?

Sol
第一步先把文字轉為數學機率問題
令 $N_t$ 表在時間 $t$ 時,光電子被射出的個數 (此 $N_t$為 Random Variable)

現在考慮 兩個 連續分鐘時間間隔分別為 $t_0$ ~ $t_1$, $t_1$ ~ $t_2$,
則 在任意兩個連續分鐘時間間隔 有超過五個光電子被射出的機率可寫成
$P(\{N_{t_1}-N_{t_2} >5\} \cap \{N_{t_2 }- N_{t_1} >5\})$

接著,由於其服從波松過程,故可知 時間間隔為獨立 且 $N_t - N_s$ 為波松隨機變數,故上式改寫為
\[
P(\{N_{t_1}-N_{t_2} >5\})P(\{N_{t_2} - N_{t_1} >5\}) \]
其中 \[\begin{array}{l}
P(\{ {N_{{t_1}}} - {N_{{t_2}}} > 5\} ) = 1 - P(\{ {N_{{t_1}}} - {N_{{t_2}}} \le 5\} )\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = 1 - \sum\limits_{i = 0}^5 {\frac{{{{[\lambda ({t_2} - {t_1})]}^k}{e^{ - \lambda ({t_2} - {t_1})}}}}{{k!}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = 1 - \sum\limits_{i = 0}^5 {\frac{{{{[\lambda  \times 1]}^k}{e^{ - \lambda  \times 1}}}}{{k!}}}
\end{array}\]最後一行等式成立是因為間隔一分鐘,所以 $N_t - N_s =1$ 最後將兩個機率寫出來,可知
$$P(\{N_{t_1}-N_{t_2} >5\} \cap \{N_{t_2} - N_{t_1 }>5\})=\left( 1-\sum_{i=0}^{5}\frac{[\lambda]^k e^{- \lambda}}{k!} \right)^2$$

====
[數學] 隨機過程淺淺談(0)-先備概念
[數學] 隨機過程淺淺談(I) - 計數過程Counting process
[數學] 隨機過程淺淺談(III) - 布朗運動 or 維納過程 (Brownian motion or Wiener Process)

留言

這個網誌中的熱門文章

[分享] 台灣國內免費開放式課程推薦

近幾年由MIT開啟的開放式課程風潮 (MIT-OCW),可以說是讓國內外各大學都開始思考未來教育方式與開放式課程的之間的連結。也使得許多大型開放式課程(Massive open online course, Mooc)聯盟建立起各自的一片天地,比如個人最為推薦的 CourseraedX (目前世界最具規模的跨校大型開放式課程,由全球各個頂尖大學提供線上課程供學生免費學習的網路平台,具備線上評分/繳交作業/考試/表現完整可以得到修業證書的系統)。

不過慶幸的是,其實台灣也提供了非常多相當相當棒的開放式課程(OCW/Mooc),可以讓大家自由而且免費的線上學習,除了免除了語言上的隔閡,也讓以往沒有機會好好學習的人 (ex: 我),有機會透過網路重拾書本,進入大學殿堂再次充電。在這邊跟大家介紹幾個,我個人常去瀏覽的國內開放式課程,
交大開放式課程 (理/工/電資學院課程豐富完整,且有豐富的產/官/學/界各領域人士演講)台大開放式課程 (大量通識類/文史哲課程)清大開放式課程 (自然科學/工程科學課程豐富)台灣開放式課程聯盟 (統合各校開放式課程的總站)ewant 育網開放教育平台 (台灣/大陸交大與台灣其他學校合開課程)台灣均一教育平台 (參考國外可汗學院 (Khan Academy) 設計的互動學習網站,有許多豐富的國小/國中高中/的數理科課程:尤其以數學最為完整。)
另外在此推薦自己上過的幾門課程,因為個人是理工背景,推薦的課程多偏向理工科,但也有相當多文史哲課程都非常豐富且有趣,老師們也都教得很棒,收穫很多,在此分享給大家

==============
數理類 大學部課程:

微積分 
交大OCW: 微積分 I, II - 莊重 教授 清大OCW: 微積分 I, II - 高淑蓉 教授 (高老師的微積分風格嚴謹,整體課程頗有高微的味道,個人非常欣賞)清大OCW: 高等微積分 I - 高淑蓉 教授 ewant :  微積分 - 政大 蔡炎龍 教授 (適合微積分初學者,課程採用 互動數學軟體 Geogebra )台大OCW: 高等微積分 - 陳金次 教授台大OCW: 微積分I ,II  - 齊震宇 教授 ( 適合主修數學的學生,適合微積分初學者)台大OCW: 分析 I, II - 齊震宇 教授線性代數 交大OCW: 線性代數 I, II -莊重 教授
(莊老師講授非常清楚,…

[數學分析] 淺談各種基本範數 (Norm)

這次要介紹的是數學上一個重要的概念:

Norm:一般翻譯成範數
(在英語中 norm 有規範的意思,比如我們說normalization就是把某種東西/物品/事件 做 正規化,也就是加上規範使其正常化),不過個人認為其實翻譯成 範數 也是看不懂的...這邊建議把 Norm 想成長度就好 (事實上norm是長度的抽象推廣),

也許讀者會認為好端端的長度不用,為何又要發明一個 norm 來自討苦吃?? 既抽象又艱澀。

事實上想法是這樣的:
比如說現在想要比較兩個數字 $3$ , $5$ 之間的大小,則我們可以馬上知道 $ 3 < 5 $;同樣的,如果再考慮小數與無理數如 $1.8753$ 與 $\pi$,我們仍然可以比較大小 $1.8753 < \pi = 3.1415...$ 故可以發現我們有辦法對 "純量" 做明確的比大小,WHY? 因為前述例子中 $3$, $5$, $1.8753$ or $\pi$ 其各自的大小有辦法被 "measure "!

但是如果是現在考慮的是一組數字 我們如何去measure 其大小呢?? 比如說
\[x:=[1, -2, 0.1, 0 ]^T
\]上式的大小該是多少? 是 $1$? $-2$? $0.1$???
再者如果更過分一點,我們考慮一個矩陣
\[A = \left[ {\begin{array}{*{20}{c}}
1&2\\
3&4
\end{array}} \right]
\],想要知道這個矩陣的大小又該怎麼辦?? 是 $1$ ? $2$ 還是 $4$ ?..其實現階段我們說不清楚。

也正是如此,可以發現我們確實需要新的 "長度" 的定義來幫助我們如何去 measure 矩陣/向量/甚至是函數的大小。

故此,我們首先定義甚麼是Norm,(也就是把 "長度" or "大小" 的本質抽離出來)

==================
Definition: Norm
考慮 $V$ 為一個向量空間(Vector space),則我們說  Norm 為一個函數 $||\cdot|| : V \rightarrow \mathbb{R}$ 且滿足下列性質:

(a) $||v|| \geq 0$, $||v||=…