[機率論] Martingale (2)- Martingale Convergence Theorem

假設 $X_n, n\ge 0 $ 為 submartingale。令 $a<b$ 且 $N_0 := -1$ 與 對任意 $k \ge 1$ 我們定義 stopping time 如下：
\[\begin{array}{l}
{N_{2k - 1}}: = \inf \left\{ {m > {N_{2k - 2}}:{X_m} \le a} \right\}\\
{N_{2k}}: = \inf \left\{ {m > {N_{2k - 1}}:{X_m} \ge b} \right\}
\end{array}
\] 且我們觀察以下事件
\[\begin{array}{l}
\{ {N_{2k - 1}} < m \le {N_{2k}}\}  = \{ {N_{2k - 1}} < m\}  \cap \{ m \le {N_{2k}}\} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \underbrace {\{ {N_{2k - 1}} \le m - 1\} }_{ \in {F_{m - 1}}} \cap \underbrace {{{\{ {N_{2k}} \le m - 1\} }^c}}_{ \in {F_{m - 1}}} \in {F_{m - 1}}
\end{array}\]

==============
Fact: 若 $X_m, m\ge 0$ 為 submartingale 則
\[
(b-a)EU_n \le E(X_n -a)^+ - E(X_0 - a)^+
\]其中 ${U_n}: = \sup \left\{ {k:{N_{2k}} \le n} \right\}$ 表示在 時間$n$ 之前 往上穿越的個數
==============
Proof: omitted.

==========
Theorem: Martingale Convergence Theorem
若 $X_n$ 為 submartingale 滿足 $\sup E[X_n^+] < \infty$ 則存在 $X$ 使得 $X_n \to X$ almost surely 且 $E|X| < \infty$
===========

Proof: 先證存在 $X$ 使得 $X_n \to X$ almost surely
首先考慮 $(X-a)$ 正的部分記做 $(X-a)^+$ 且注意到 $(X -a)^+ \le X^+ + |a|$。

由於  $X_n$ 為 submartingale 故由前述的 FACT 可知
\[\begin{array}{l}
(b - a)E{U_n} \le E{({X_n} - a)^ + } - E{({X_0} - a)^ + } \le E{({X_n} - a)^ + } \le EX_n^ +  + |a|\\
 \Rightarrow E{U_n} \le \frac{{EX_n^ +  + |a|}}{{b - a}}
\end{array}\]由於 $U_n \to U \; \text{as $n \to \infty$}$ (整個 $U_n$ 往上穿越過 $[a,b]$ 範圍的個數)

由假設 $\sup_n EX_n^+ < \infty$，故上式可推知 $EU < \infty$ 且 $U< \infty $ almost surely。亦即 表示在 時間 $\infty$ 之前 往上穿越 $[a,b]$ 的個數為有限次( $\Rightarrow$ 必定收斂!)

注意到上述結果對任意有理數 $a,b \in \mathbb{Q}$ 皆成立，故
\[P\left( {\bigcup\limits_{a,b \in Q}^{} {\left\{ {\lim \inf {X_n} < a < b < \lim \sup {X_n}} \right\}} } \right) = 0
\]故 $\lim\sup X_n = \lim\inf X_n$ almost surely。因此 $\lim X_n$ 存在 almost surely。

接著證明  $E|X| < \infty$
利用 Fatou Lemma 可得 $EX^+ \le \lim \inf EX_n^+ <\infty$ 故 $X<\infty $ almost surely。接著我們證明 $X > -\infty$，觀察下式
\[
EX_n^- = EX_n^+ - EX_n \le EX_n^+ - EX_0
\]利用 $X_n$ 為 submartingale ($E({X_n}|{{\cal F}_0}) \ge {X_0} \Rightarrow \underbrace {E[E[{X_n}|{{\cal F}_0}]]}_{E{X_n}} \ge E{X_0}$ )。
故再度使用 Fatou Lemma 可知
\[
EX^- \le \liminf_{n \to \infty} EX_n^- \le \sup_n EX_n^+ - EX_0 < \infty
\]

以下我們看個 上述定理所衍生的重要結果：

==============
Theorem 2: 若 $X_n \ge 0$ 為 supermartingale，則 存在 $X$ 使得 $X_n \to X$ almost surely 且 $EX \le EX_0$
==============
Proof: 先證 存在 $X$ 使得 $X_n \to X$ almost surely：

令 $Y_n := - X_n$ 則 $Y_n $為 submartingale 且 $Y_n \le 0$。

利用  Martingale Convergence Theorem ：如果我們可以證明 $Y_n$ 為 submartingale 滿足 $EY_n^+ < \infty$ 則存在 $Y$ 使得 $Y_n \to Y$ almost surely

由於 $Y_n \le 0 \Rightarrow Y_n^+ =0$ 故 $EY_n^+ <\infty$。由 Martingale Convergence Theorem 可知 存在 $Y$ 使得 $Y_n \to Y$ almost surely ；亦即存在 $X$ 使得 $X_n \to X$ almost surely。


接著我們證明 $EX \le EX_0$
由於 $X_n \ge 0$ ，利用 Fatuou Lemma 可知
\[EX \le \mathop {\lim \inf }\limits_{n \to \infty } E{X_n}
\]且 $E\left[ {E\left[ {X|{F_0}} \right]} \right] = E\left[ X \right]$ 故可推知

\[\begin{array}{l}
EX \le \mathop {\lim \inf }\limits_{n \to \infty } E{X_n}\\
 \Rightarrow \underbrace {E\left[ {E\left[ {X|{F_0}} \right]} \right]}_{ = EX} \le \mathop {\lim \inf }\limits_{n \to \infty } E\left[ {E\left[ {{X_{n + 1}}|{F_0}} \right]} \right] \le E{X_0}
\end{array}\]

前面兩個 Theorem 的假設並不保證 $L^1$ 收斂。以下我們看個例子：
==================
Example: 
令 $S_n$ 為 symmetric simple random walk 且 $S_0 = 1$，亦即
\[{S_n}: = \sum\limits_{m = 1}^n {{\xi _m}}  = {S_{n - 1}} + {\xi _n}\]其中 $\xi_1,\xi_2,...$ 為 i.i.d. 且 $P(\xi_i =1) = P(\xi_i = -1) =1/2$，現在令 stopping time $N:= \inf \{n:S_n=0\}$ 且定義  $X_n:=S_{N \wedge n}$。試回答下列問題
(0): 試判斷 $S_n$ 是否為 martingale。)
(1): 試判斷 $X_n:=S_{N \wedge n}$ 是否為 martingale?
(2): $X_n$ 是否存在對應的 極限隨機過程 $X$  使得 $X_n \to X$ almost surely?
(3): $E[X_n] =?$
(4): 試證 $X_n \to X$ 並無 $L^1$-convergence
==================

Solution:

對於 (0)：留給讀者證明 ( symmetric simple random walk $S_n$ 為 martingale。)

對於 (1)：由於 stopping time $N:= \inf \{n:S_n=0\}$ 且  $X_n:=S_{N \wedge n}$ 故我們可推論以下兩件事實：
1. 停止後的隨機過程 $X_n$ 仍為 martingale。(留給讀者證明或者參閱：[機率論] Martingale (3) - Example  )
2. 由於停止時間定義為 $N:= \inf \{n:S_n=0\}$，故 停止後的隨機過程 $X_n \ge 0$

對於 (2)：
故我們利用 Theorem 2 可知 存在 $X$ 使得 $X_n \to X$ almost surely 且 $EX_n \le EX_0 = 1$。
另外注意到收斂的隨機過程 $X \equiv 0$ (因為若不為 $0$，則 $X_{n+1} = k \pm 1$ 會震盪!! (no convergence))

對於 (3)：利用 $X_n$ 為 Martingale 性質
\[E{X_n} = E\underbrace {{S_{n \wedge N}}}_{martingale} = E{S_0} = 1\]

對於 (4)：由 $L^1$ convergence 定義可知條件為 $E\left| {{X_n} - X} \right| \to 0$ 且注意到
\[E\left| {{X_n} - X} \right| \to 0 \Rightarrow E{X_n} \to EX\]由前述題目可知， $EX_n = 1$ 但 $EX =0$ 故 $EX_n \nrightarrow EX$ 故 $E|X_n- X| \nrightarrow 0$ 亦即 NO $L^1$-convergence