[機率論] 淺論 Martingale (1) - 何時能 贏 or 輸掉賭局?

(NOTE: 此文為數學機率論相關文章，並無任何介紹任何賭博手法/訣竅...)

回憶前篇文章 [機率論] 淺論 Martingale (0) - 定義與性質 提及的

考慮一個硬派賭徒參加一場丟擲硬幣賭錢的遊戲，且若硬幣正面向上，則賭徒會贏得下注金並且停止遊戲 (take money and run)，反之，若硬幣反面向上，則賭徒輸掉下注金但此時因為賭徒並不甘心..所以會將 賭注加倍 再繼續玩。持續 $n$ 次這樣的遊戲。那麼這位賭徒宣稱靠這套 "必勝法" 最後可以贏得一筆大錢 (至少不賠本)；因為只要過程中贏得一場就可以獲得相對的加倍下注金!!

此套賭徒所宣稱的 必勝法在數學上稱做 Martingale System；我們將會在此篇文章檢驗此 Martingale 加倍賭注策略，看看之前賭徒宣稱的必勝法是否有效。

不過介紹之前需要再引入一些術語：

===========
Definition: Predictable Sequence
令 $\mathcal{F}_n, n \ge 0$ 為 Filtration ， 我們稱 $H_n, n\ge 1$ 為 Predictable sequence 若下列條件成立： 若 $H_n \in \mathcal{F}_{n-1}, \; \forall n \ge 1$ (亦即 $H_n$ 為 $\mathcal{F}_{n-1}$ measurable)
===========

現在我們再次考慮 投擲銅板的賭博：若銅板正面則賭徒贏得 1元，若顯示為銅板背面則賭徒輸掉 1元。令 $X_n$ 為在 $n$ 次時賭徒的 淨收入/損失。則我們可以定義 在第 $n$ 次賭博時賭徒 "總" 贏/輸錢的量
\[{\left( {H \cdot X} \right)_n}: = \sum\limits_{m = 1}^n {{H_m}\left( {{X_m} - {X_{m - 1}}} \right)}  = \sum\limits_{m = 1}^n {{H_m}{\xi _m}}
\]其中 $\xi_n := X_n - X_{n-1}$ 表示第 $n$ 次賭博到底是贏 或者 輸 的單次金額； $H_n$ 則表示成 第 $n$ 次賭博 時候 賭徒所下注的賭金量。

Comment:
上式 $(H \cdot X)_n$ 可看為離散時間的 Ito integral。


現在我們看個例子：

Example: Martingale Strategy
考慮 $H_1 = 1$ 且 對 $n \ge 2,$ 我們使用 " 如果輸錢就加倍賭注" 的策略；亦即我們定義 $H_n$ 為 \[{H_n} = \left\{ {\begin{array}{*{20}{l}}
{2{H_{n - 1}}\begin{array}{*{20}{c}}
{}&{}
\end{array}if\begin{array}{*{20}{c}}
{}
\end{array}{\xi _{n - 1}} =  - 1}\\
{1\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array}if\begin{array}{*{20}{c}}
{}
\end{array}{\xi _{n - 1}} = 1}
\end{array}} \right.\]現在考慮若 輸 $k$ 次 之後才贏錢，試計算 $(H \cdot X)_n=?$ (此時 $n=k+1$)

Solution:
由於我們的策略是輸錢就加倍賭注：
故賭輸第一次的時候賠掉 $1$元；亦即  $(H \cdot X)_1 = -1$ 元；故下次賭注金會加倍 變成 $2$元繼續賭下一次

賭輸第二次的時候，單單這次賭徒賠掉的賭金為 $-2$ 元；故如果我們計算總輸錢量為 $(H \cdot X)_2 = -1 -2 = -3$；接著加倍賭注金 (變成 $2^2 = 4$ 元)繼續賭下一次

賭輸第三次的時候，單單這次賠掉賭金為 $-2^2$ 元；故此時 $(H \cdot X)_3 = -1 -2 -2^2 = -7$；接著加倍賭注金 (變成 $2^3 = 8$ 元)繼續賭下一次

依此類推，賭輸到第 $k$ 次 單單這次會賠掉賭金為 $-2^{k-1}$元。此時的 $(H \cdot X)_k = -1-2-...-2^{k-1}$ 接著加倍賭注金 (變成 $2^{k} $ 元)繼續賭下一次

但最後一次 $(k+1)$次 我們贏了，故最後的賭金總輸贏量為
\[{(H \cdot X)_{k + 1}} =  - 1 - 2 - ... - {2^{k - 1}} + {2^k} =  - \underbrace {\left( {1 + 2 + ... + {2^{k - 1}}} \right)}_{ = \left( {\frac{{1 \cdot \left( {{2^k} - 1} \right)}}{{2 - 1}}} \right) = \left( {{2^k} - 1} \right)} + {2^k} = 1\]
也就是說最後我們至少贏回了最初投資的 $1$ 元! $\square$

Comment:
此例子也告訴我們 "似乎" $P(\xi_m=1) > 0 $ (贏錢的機率為正值!! Really??)。但是下面的定理告訴我們：如果賭徒參與的賭局為 supermartingale，則"沒有" 任何策略可以贏錢。


==============
Theorem 1: 令 $X_n, n \ge 0$ 為 supermartingale，若 $H_n \ge 0$ 為 predictable 且對任意 $n,$ $H_n$ 有界，則 $(H \cdot X)_n$ 為 supermartingale。
==============

Proof:
要證  $(H \cdot X)_n$ 為 supermartingale；亦即
\[E\left[ {{{(H \cdot X)}_{n + 1}}|{F_n}} \right] \le {(H \cdot X)_n}
\]故我們需檢驗其滿足supmartingale三個條件：首先關於可積條件，由於 $X_n$ 為 supermartingale 且 $(H \cdot X)_n$ 為有限項 summation 故可積條件滿足；接著檢驗可測條件：注意到 $H_n$ 為 predictable (亦即 $H_n$ 為 $\mathcal{F}_{n-1}$ -measurable) ，故可推知
\[{(H \cdot X)_n} = \sum\limits_{m = 1}^n {{H_m}\left( {{X_m} - {X_{m - 1}}} \right)}  \in {F_n}\]
最後檢驗 supmartingale property：觀察
\[\begin{array}{l}
E\left[ {{{(H \cdot X)}_{n + 1}}|{F_n}} \right] = E\left[ {\sum\limits_{m = 1}^{n + 1} {{H_m}\left( {{X_m} - {X_{m - 1}}} \right)} |{F_n}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \sum\limits_{m = 1}^n {{H_m}\left( {{X_m} - {X_{m - 1}}} \right)}  + {H_{n + 1}}E\left[ {\left( {{X_{n + 1}} - {X_n}} \right)|{F_n}} \right]
\end{array}\]已知 $E\left[ {{X_{n + 1}}|{F_n}} \right] \le {X_n} \Rightarrow E\left[ {{X_{n + 1}} - {X_n}|{F_n}} \right] \le 0$ 故
\[\begin{array}{l}
E\left[ {{{(H \cdot X)}_{n + 1}}|{F_n}} \right] = \underbrace {\sum\limits_{m = 1}^n {{H_m}\left( {{X_m} - {X_{m - 1}}} \right)} }_{ = {{(H \cdot X)}_n}} + \underbrace {{H_{n + 1}}}_{ \ge 0}\underbrace {E\left[ {\left( {{X_{n + 1}} - {X_n}} \right)|{F_n}} \right]}_{ \le 0}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} \le {(H \cdot X)_n}. \ \ \ \ \ \ \square
\end{array}\]

上述定理告訴我們 如果賭局呈現 supermartingale 則 沒有任何必勝法可以從中贏錢。但我們的硬派賭徒認為：如果可以考慮在賭局當中任何時間停手，那麼至少應該有 "止損" 的作用吧? 也就是說透過額外考慮 "停止" 的機制是否可以幫助我們對抗 supermartingale呢? 在回答這個問題之前我們必須先回答數學上該如何針對 "何時停止" 進行嚴格描述：

======================
Definition: Stopping Time
我們說 隨機變數 $N$ 為 停止時間 (Stopping Time) 若下列條件成立：
對任意 $N < \infty$，$\{N=n\} \in \mathcal{F}_n$ (亦即 $N$ 為 $\mathcal{F}_n$-measurable)。
======================

Comment:
我們可以已將停止時間 $N$ 視為 賭徒何時抽手不玩的時間，那麼上述條件可以視為：在時間$n$ 賭徒認為是時候該停手不玩的決定 必定是基於當時賭局所能獲得的資訊 $(\mathcal{F}_n)$ 而定


那麼現在我們可以回答原本賭徒提出的問題，也就是假設 $X_n$ 為 supermartingale 則停止機制之後的隨機過程 $X_{N \wedge n}$ 是否仍為 supermartingale (因為如果是，則上述 Theorem 1 告訴我們儘管加入停止時間，仍然沒有任何必勝法能夠獲勝。)

此問題的答案記做以下定理：
======================
Theorem 2: 若 $N$ 為 Stopping time 且 $X_n$ 為 supermartingale 則停止後的隨機過程 $X_{n \wedge N}$ 亦為 supermartingale。
======================

Proof:
我們要證明停止後的隨機過程 $X_{n \wedge N}$ 亦為 supermartingale。現在取 $H_n:= 1_{ \{N \ge n \} }$ 則觀察事件 $\{N \ge n\} = \{ N \le n-1 \}^c \in \mathcal{F}_{n-1}$ 故 $H_n$ 為 predictable。

接著觀察
\[\begin{array}{l}
{\left( {H \cdot X} \right)_n} = \sum\limits_{m = 1}^n {{H_m}\left( {{X_m} - {X_{m - 1}}} \right)} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{m = 1}^n {{1_{\left\{ {N \ge m} \right\}}}\left( {{X_m} - {X_{m - 1}}} \right)} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {1_{\left\{ {N \ge 1} \right\}}}\left( {{X_1} - {X_0}} \right) + {1_{\left\{ {N \ge 2} \right\}}}\left( {{X_2} - {X_1}} \right) + ...  + {1_{\left\{ {N \ge n} \right\}}}\left( {{X_n} - {X_{n - 1}}} \right)
\end{array}\]注意到由於 $X_n$ 為 supermartingale 且  $H_n$ 為 predictable，由 Theorem 1 可知 $(H \cdot X)_n$ 為 supermartingale，故
\[\begin{array}{l}
{\left( {H \cdot X} \right)_n} = {X_{n \wedge N}} - {X_0}\\
 \Rightarrow {X_{n \wedge N}} = \underbrace {{{\left( {H \cdot X} \right)}_n}}_{{\rm{supermartingale}}} + \underbrace {{X_0}}_{{\rm{constant}}}
\end{array}\]上式右方： supermartingale $(H \cdot X)_n$ 加上常數隨機過程 $X_0$ 仍為 supermartingale，亦即 ${X_{n \wedge N}}$ 為 supermartingale。 $\square$

Comment:
若 $X_n$ 為 martingale 則 $X_{n \wedge N}$ 亦為 martingale。有興趣的讀者可參閱
[機率論] Martingale (3) - Example

Ref: Durrett, Probability Theory and Examples, Cambridge