現在回頭再看看 Ito Formula 給我們的 Martingale 判別定理：
==============================
Theorem (Martingale PDE condition)
考慮 $t \in [0,T]$，若 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，且
\[
\frac{{\partial f}}{{\partial t}} + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}} =0
\]則 $X_t = f(t, B_t)$ 為一個 Local Martingale。
再者，若 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)}\in \mathcal{H}^2$，亦即
\[
E \left[\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds \right] < \infty
\]則 $X_t$ 為一個 Martingale
==============================
現在再看個例子看看 Ito Formula 怎麼幫助我們獲得 Martingale
Example 1
令 $B_1(t), B_2(t), B_3 (t),...$ 互為獨立 Standard Brownian Motion。對 $k \in \mathbb{N}$ 定義函數 $g_k$ 與
\[
A_k(t) = \int_0^t g_k(B_1(s), B_2(s), ..., B_k(s))ds
\] 現在試求 $A_2$ 使得
\[
B_1(t)^2 B_2(t)^2 - A_2(t)
\]為 Martingale。 Hint: 利用 上述 PDE Martingale Condition。
Proof
我們要找
\[
{A_2}(t) = \int_0^t {{g_2}} ({B_1}(s),{B_2}(s))ds
\] 使得 $B_1(t)^2 B_2(t)^2 - A_2(t)$ 為 Martingale。
現在定義
\[f\left( {x,y} \right) = {x^2}{y^2}
\] 則我們首先計算其偏導數： ${f_x} = 2x{y^2}{,_{}}{f_{xx}} = 2{y^2}{,_{}}{f_y} = 2{x^2}y{,_{}}{f_{yy}} = 2{x^2}$ 現在由 Ito Formula：
\[
\begin{array}{l}
df\left( {{B_1}(t),{B_2}(t)} \right) = \frac{{\partial f}}{{\partial x}}\left( {{B_1}(t),{B_2}(t)} \right)d{B_1}(t)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} + \frac{{\partial f}}{{\partial y}}\left( {{B_1}(t),{B_2}(t)} \right)d{B_2}(t) + \frac{1}{2}\left[ \begin{array}{l}
\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {{B_1}(t),{B_2}(t)} \right)dt\\
+ \frac{{{\partial ^2}f}}{{\partial {y^2}}}\left( {{B_1}(t),{B_2}(t)} \right)dt\\
+ \frac{{{\partial ^2}f}}{{\partial x\partial y}}\left( {{B_1}(t),{B_2}(t)} \right)d\left\langle {{B_1},{B_2}} \right\rangle
\end{array} \right]\\
\Rightarrow df\left( {{B_1}(t),{B_2}(t)} \right) = \frac{{\partial f}}{{\partial x}}\left( {{B_1}(t),{B_2}(t)} \right)d{B_1}(t) + \frac{{\partial f}}{{\partial y}}\left( {{B_1}(t),{B_2}(t)} \right)d{B_2}(t)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + \frac{1}{2}\left[ {\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {{B_1}(t),{B_2}(t)} \right) + \frac{{{\partial ^2}f}}{{\partial {y^2}}}\left( {{B_1}(t),{B_2}(t)} \right)} \right]dt
\end{array}
\] 注意到上式中的 Cross Variation term: $ d\left\langle {{B_1},{B_2}} \right\rangle = 0$；另外為了形式簡潔起見，我們把 函數中的 時間 $t$ 先移除不寫，則上式變成：
\[\begin{array}{l}
df\left( {{B_1},{B_2}} \right) = 2{B_1}{B_2}^2d{B_1} + 2{B_1}^2{B_2}d{B_2} + \frac{1}{2}\left[ {2{B_2}^2dt + 2{B_1}^2dt} \right]\\
\Rightarrow df\left( {{B_1},{B_2}} \right) = 2{B_1}{B_2}^2d{B_1} + 2{B_1}^2{B_2}d{B_2} + {B_2}^2dt + {B_1}^2dt
\end{array}
\] 現在將其轉換回 積分形式：
\[\begin{array}{l}
\underbrace {f\left( {{B_1},{B_2}} \right)}_{ = {B_1}{{(t)}^2}{B_2}{{(t)}^2}} = 2\int_0^t {{B_1}{B_2}^2d{B_1}} + 2\int_0^t {{B_1}^2{B_2}d{B_2}} + \int_0^t {\left( {{B_2}^2 + {B_1}^2} \right)dt} \\
\Rightarrow {B_1}^2{B_2}^2 - \int_0^t {\left( {{B_2}^2 + {B_1}^2} \right)dt} = 2\int_0^t {{B_1}{B_2}^2d{B_1}} + 2\int_0^t {{B_1}^2{B_2}d{B_2}}
\end{array}
\]注意到上式等號右邊為 Local Martingale。現在檢驗 積分變數 是否落在 $\cal{H}^2$ 中，如果是的話，我們即得到 Martingale：故
\[\begin{array}{l}
E\left[ {\int_0^T {{{\left( {{B_1}{B_2}^2} \right)}^2}ds} } \right] = E\left[ {\int_0^T {{B_1}^2{B_2}^4ds} } \right] = \int_0^T {E\left[ {{B_1}^2{B_2}^4} \right]ds} \\
= \int_0^T {E\left[ {{B_1}^2} \right]E\left[ {{B_2}^4} \right]ds} = \int_0^T {s\left( {3{s^2}} \right)ds} = 3\int_0^T {{s^3}ds} = \frac{3}{4}{T^4} < \infty
\end{array}\] 故可知 ${{B_1}{B_2}^2} \in \cal{H}^2$
同理可證 ${{B_1}^2{B_2}} \in \cal{H}^2$，故我們得到
\[{B_1}{(t)^2}{B_2}{(t)^2} - \int_0^t {\left( {{B_2}^2 + {B_1}^2} \right)dt} \]為 Martingale。亦即
\[
{A_2}(t) = \int_0^t {\left( {{B_2}^2 + {B_1}^2} \right)dt} \ \ \ \ \square
\]
現在我們接續前述的例子，我們看看 $k=3$ 的情況：
Example 2
令 $B_1(t), B_2(t), B_3 (t),...$ 互為獨立 Standard Brownian Motion。對 $k \in \mathbb{N}$ 定義函數 $g_k$ 與
\[
A_k(t) = \int_0^t g_k(B_1(s), B_2(s), ..., B_k(s))ds
\] 現在試求 $A_3$ 使得
\[
B_1(t)^2 B_2(t)^2 B_3(t)^2 - A_3(t)
\]為 Martingale。 Hint: 利用 上述 PDE Martingale Condition。
Proof
如前例，令 $f\left( {x,y,z} \right) = {x^2}{y^2}{z^2}{,_{}} $ ，
\[\left\{ \begin{array}{l}
{f_x} = 2x{y^2}{z^2},\begin{array}{*{20}{c}}
{}
\end{array}{f_{xx}} = 2{y^2}{z^2},\\
{f_y} = 2{x^2}y{z^2},\begin{array}{*{20}{c}}
{}
\end{array}{f_{yy}} = 2{x^2}{z^2},\\
{f_z} = 2{x^2}{y^2}z,\begin{array}{*{20}{c}}
{}
\end{array}{f_{zz}} = 2{x^2}{y^2},
\end{array} \right.
\] 利用 Ito Formula 我們可得
\[\begin{array}{l}
df\left( {{B_1},{B_2},{B_3}} \right) = \frac{{\partial f}}{{\partial x}}\left( {{B_1},{B_2},{B_3}} \right)d{B_1} + \frac{{\partial f}}{{\partial y}}\left( {{B_1},{B_2},{B_3}} \right)d{B_2}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + \frac{{\partial f}}{{\partial z}}\left( {{B_1},{B_2},{B_3}} \right)d{B_3} + \frac{1}{2}\left[ \begin{array}{l}
\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {{B_1},{B_2},{B_3}} \right)dt\\
\begin{array}{*{20}{c}}
{}
\end{array} + \frac{{{\partial ^2}f}}{{\partial {y^2}}}\left( {{B_1},{B_2},{B_3}} \right)dt\\
\begin{array}{*{20}{c}}
{}
\end{array} + \frac{{{\partial ^2}f}}{{\partial {z^2}}}\left( {{B_1},{B_2},{B_3}} \right)dt
\end{array} \right]\\
\Rightarrow df\left( {{B_1},{B_2},{B_3}} \right) = \frac{{\partial f}}{{\partial x}}\left( {{B_1},{B_2},{B_3}} \right)d{B_1}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + \frac{{\partial f}}{{\partial y}}\left( {{B_1},{B_2},{B_3}} \right)d{B_2} + \frac{{\partial f}}{{\partial z}}\left( {{B_1},{B_2},{B_3}} \right)d{B_3}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + \frac{1}{2}\left[ {\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {{B_1},{B_2},{B_3}} \right) + \frac{{{\partial ^2}f}}{{\partial {y^2}}}\left( {{B_1},{B_2},{B_3}} \right) + \frac{{{\partial ^2}f}}{{\partial {z^2}}}\left( {{B_1},{B_2},{B_3}} \right)} \right]dt
\end{array}
\] 故
\[\begin{array}{l}
df\left( {{B_1},{B_2},{B_3}} \right) = 2{B_1}{B_2}^2{B_3}^2d{B_1} + 2{B_1}^2{B_2}{B_3}^2d{B_2} + 2{B_1}^2{B_2}^2{B_3}d{B_3}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + \frac{1}{2}\left[ {2{B_2}^2{B_3}^2 + 2{B_1}^2{B_3}^2 + 2{B_1}^2{B_2}^2} \right]dt
\end{array}
\]現在轉換回積分形式：
\[\begin{array}{l}
\Rightarrow \underbrace {f\left( {{B_1},{B_2},{B_3}} \right)}_{ = {B_1}^2{B_2}^2{B_3}^2} = 2\left[ \begin{array}{l}
\int_0^t {{B_1}{B_2}^2{B_3}^2d{B_1}} + \int_0^t {{B_1}^2{B_2}{B_3}^2d{B_2}} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + \int_0^t {{B_1}^2{B_2}^2{B_3}d{B_3}}
\end{array} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} + \int_0^t {\left( {{B_2}^2{B_3}^2 + {B_1}^2{B_3}^2 + {B_1}^2{B_2}^2} \right)} ds\\
\Rightarrow {B_1}^2{B_2}^2{B_3}^2 - \int_0^t {\left( {{B_2}^2{B_3}^2 + {B_1}^2{B_3}^2 + {B_1}^2{B_2}^2} \right)} ds\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = 2\left[ \begin{array}{l}
\int_0^t {{B_1}{B_2}^2{B_3}^2d{B_1}} + \int_0^t {{B_1}^2{B_2}{B_3}^2d{B_2}} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + \int_0^t {{B_1}^2{B_2}^2{B_3}d{B_3}}
\end{array} \right]
\end{array}\] 故上式等號右邊 為 Local Martingale。(讀者可自行驗證其 $\int (\cdot) dB$ 積分的 積分變數全部都落在 $\cal{H}^2$)，故為 Martingale，亦即
\[{B_1}^2{B_2}^2{B_3}^2 - \int_0^t {\left( {{B_2}^2{B_3}^2 + {B_1}^2{B_3}^2 + {B_1}^2{B_2}^2} \right)} ds\]為 Martingale。
且
\[{A_3}(t) = \int_0^t {\left( {{B_2}^2{B_3}^2 + {B_1}^2{B_3}^2 + {B_1}^2{B_2}^2} \right)} ds\]
2014年3月29日 星期六
2014年3月28日 星期五
[隨機分析] Ito-formula 與其應用 (3) - Differential form of the Ito formula and the Standard stochastic process
延續前篇，回憶我們手上有的雙變數 Ito formula for standard Brownian motion $B_t$ 。
若 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，則我們有 Ito formula
\[ \small
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)d{s} + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)d{B_s} + \frac{1}{2} \int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)d{s}
\]
一般而言上述形式過於冗長，文獻中多半將上式改寫為微分形式如下
\[
df(t,B_t) = \frac{{\partial f}}{{\partial t}}\left( {t,{B_t}} \right)d{t} + \frac{{\partial f}}{{\partial x}}\left( {t,{B_t}} \right)d{B_t} + \frac{1}{2}\frac{{\partial^2 f}}{{\partial x^2}}\left( {t,{B_t}} \right)d{t}
\]
Comments:
上式微分形式僅為積分縮寫，亦即微分形式的Ito formula是 書寫上較為方便，但並無實質定義。注意到當初在定義隨機積分 (Ito integral) 的時候，只有積分有嚴格定義 ( 用approximating sequence of step function in $\mathcal{H}_0^2$ 定義隨機積分，接著用 Density Lemma 拓展隨機積分到$\mathcal{H}^2$ space。)，故並無微分的定義。
WHY? 因為 注意到微分形式需要 $dB_t$ 但是回憶標準布朗運動，我們知道$B_t$ 為連續函數但處處不可微分( but quadratic variation is finite in probability)。故無法定義布朗運動的"微分"。
現在如果我們考慮一個隨機過程 $X_t $ 具有下列形式：
對 $t \in [0,T]$
\[
X_t(\omega) := X_0(\omega) + \int_0^t a(\omega, s) ds + \int_0^t b(\omega, s) dB_s \ \ \ \ (\star)
\]且為了讓上式是well-defined (也就是說可以討論積分後的值是多少而不是積分後會爆掉或者根本不存在此積分)，我們需要$X_0$為 $\mathcal{F}_0$-measurable，且$a, b$為 adapted, measurable 的隨機過程且滿足對 almost every $\omega$，
\[
\int_0^T |a(\omega, s)| ds + \int_0^T |b(\omega,s)| ^2 d s < \infty \ \text{almost surely}
\]亦即，$a(\omega, s) \in L^1$ 對所有的$\omega$ 與 $b(\omega,s) \in L_{LOC}^2$
則我們可將 $ (\star)$ 寫為微分形式如下
\[
dX_t = a(\omega,t)dt + b(\omega, t) dB_t \ \ \ \ (*)
\]
Comments:
1. $(\star)$ 與 $(*)$ 稱為 標準隨機過程(Standard Process) 或者稱為伊藤過程 Ito process
那麼現在有個簡單的問題：
我們手上有的Ito formula現在對標準布朗運動可以定義，那麼我們想知道是否可以把Ito formula拓展到對標準隨機過程也能成立呢?
答案是肯定的；我們將其寫作下面的定理
============================
Theorem ( Ito formula for Standard process )
對 $t \in [0,T]$，考慮 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$ 且 $\{ X_t 0 \leq t \leq T\}$ 為一個標準隨機過程符合下式：
\[
X_t(\omega) := X_0(\omega) + \int_0^t a(\omega, s) ds + \int_0^t b(\omega, s) dB_s
\]則我們有 Ito formula
\[ \small
f(t,X_t) = f(0,X_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{X_s}} \right)d{s} + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{X_s}} \right)d{X_s} \\
\ \ \ \ \ \ \ \ \ \ \ + \frac{1}{2}\int_0^t {\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{X_s}} \right)\underbrace {{b^2}(\omega ,s)ds}_{d{{\left\langle X \right\rangle }_s}}}
\]============================
Proof: omitted.
Comment:
1. 上式中 ${{{\left\langle X \right\rangle }_t}}$ 稱為 Quadratic variation of $X_t$
\[
{{{\left\langle X \right\rangle }_t}} := \displaystyle \lim_{||\Delta|| \rightarrow 0} \sum_i (X_{t_i} - X_{t_{i-1}}) \ \text{in Probability}
\]其中 $\Delta := \{ 0 =t_0 < t_1 < ... < t_n = t\}$
2. 上式 Ito formula 可改寫為微分形式 (only for shorthand, no real definition on such differential form)
\[
df(t,X_t) = \frac{{\partial f}}{{\partial t}}\left( {t,{X_t}} \right) dt + \frac{{\partial f}}{{\partial x}}\left( {t,{X_t}} \right) dX_t + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {t,{X_t}} \right)d{X_t} \cdot d{X_t}
\]
ref: J. M. Steele, Stochastic Calculus and Financial Applications, Chapter 8, Springer
若 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，則我們有 Ito formula
\[ \small
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)d{s} + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)d{B_s} + \frac{1}{2} \int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)d{s}
\]
一般而言上述形式過於冗長，文獻中多半將上式改寫為微分形式如下
\[
df(t,B_t) = \frac{{\partial f}}{{\partial t}}\left( {t,{B_t}} \right)d{t} + \frac{{\partial f}}{{\partial x}}\left( {t,{B_t}} \right)d{B_t} + \frac{1}{2}\frac{{\partial^2 f}}{{\partial x^2}}\left( {t,{B_t}} \right)d{t}
\]
Comments:
上式微分形式僅為積分縮寫，亦即微分形式的Ito formula是 書寫上較為方便，但並無實質定義。注意到當初在定義隨機積分 (Ito integral) 的時候，只有積分有嚴格定義 ( 用approximating sequence of step function in $\mathcal{H}_0^2$ 定義隨機積分，接著用 Density Lemma 拓展隨機積分到$\mathcal{H}^2$ space。)，故並無微分的定義。
WHY? 因為 注意到微分形式需要 $dB_t$ 但是回憶標準布朗運動，我們知道$B_t$ 為連續函數但處處不可微分( but quadratic variation is finite in probability)。故無法定義布朗運動的"微分"。
現在如果我們考慮一個隨機過程 $X_t $ 具有下列形式：
對 $t \in [0,T]$
\[
X_t(\omega) := X_0(\omega) + \int_0^t a(\omega, s) ds + \int_0^t b(\omega, s) dB_s \ \ \ \ (\star)
\]且為了讓上式是well-defined (也就是說可以討論積分後的值是多少而不是積分後會爆掉或者根本不存在此積分)，我們需要$X_0$為 $\mathcal{F}_0$-measurable，且$a, b$為 adapted, measurable 的隨機過程且滿足對 almost every $\omega$，
\[
\int_0^T |a(\omega, s)| ds + \int_0^T |b(\omega,s)| ^2 d s < \infty \ \text{almost surely}
\]亦即，$a(\omega, s) \in L^1$ 對所有的$\omega$ 與 $b(\omega,s) \in L_{LOC}^2$
則我們可將 $ (\star)$ 寫為微分形式如下
\[
dX_t = a(\omega,t)dt + b(\omega, t) dB_t \ \ \ \ (*)
\]
Comments:
1. $(\star)$ 與 $(*)$ 稱為 標準隨機過程(Standard Process) 或者稱為伊藤過程 Ito process
那麼現在有個簡單的問題：
我們手上有的Ito formula現在對標準布朗運動可以定義，那麼我們想知道是否可以把Ito formula拓展到對標準隨機過程也能成立呢?
答案是肯定的；我們將其寫作下面的定理
============================
Theorem ( Ito formula for Standard process )
對 $t \in [0,T]$，考慮 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$ 且 $\{ X_t 0 \leq t \leq T\}$ 為一個標準隨機過程符合下式：
\[
X_t(\omega) := X_0(\omega) + \int_0^t a(\omega, s) ds + \int_0^t b(\omega, s) dB_s
\]則我們有 Ito formula
\[ \small
f(t,X_t) = f(0,X_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{X_s}} \right)d{s} + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{X_s}} \right)d{X_s} \\
\ \ \ \ \ \ \ \ \ \ \ + \frac{1}{2}\int_0^t {\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{X_s}} \right)\underbrace {{b^2}(\omega ,s)ds}_{d{{\left\langle X \right\rangle }_s}}}
\]============================
Proof: omitted.
Comment:
1. 上式中 ${{{\left\langle X \right\rangle }_t}}$ 稱為 Quadratic variation of $X_t$
\[
{{{\left\langle X \right\rangle }_t}} := \displaystyle \lim_{||\Delta|| \rightarrow 0} \sum_i (X_{t_i} - X_{t_{i-1}}) \ \text{in Probability}
\]其中 $\Delta := \{ 0 =t_0 < t_1 < ... < t_n = t\}$
2. 上式 Ito formula 可改寫為微分形式 (only for shorthand, no real definition on such differential form)
\[
df(t,X_t) = \frac{{\partial f}}{{\partial t}}\left( {t,{X_t}} \right) dt + \frac{{\partial f}}{{\partial x}}\left( {t,{X_t}} \right) dX_t + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {t,{X_t}} \right)d{X_t} \cdot d{X_t}
\]
ref: J. M. Steele, Stochastic Calculus and Financial Applications, Chapter 8, Springer
2014年3月26日 星期三
[隨機分析] Ito-formula 與其應用 (2) - Martingale PDE condtion
回憶先前提及的 Ito Integral 有下列重要結果：Ito-integral 為一個隨機過程，且若積分變數 $f \in \mathcal{H}^2$，則隨機積分為一個 Martingale。若 $f \in L_{LOC}^2$，則隨機積分為一個 Local martingale。我們把此結果記做 $(\star)$
現在我們來看看 Ito formula 可以幫助我們判別是否為 Martingale or Local Martingale。
現在考慮 $t \in [0,T]$，回憶雙變數的 Ito formula
\[
\small{
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)ds + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right) dB_s + \frac{1}{2}\int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)ds }
\]
現在將上式 $\int ds$ 項合併，可得
\[
\small{ f(t,{B_t}) = f(0,{B_0}) + \int_0^t {\left( {\frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right) + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{B_s}} \right)} \right)} ds + \int_0^t {\frac{{\partial f}}{{\partial x}}} \left( {s,{B_s}} \right)d{B_s}}
\]觀察上式，如果 $\int ds$ 項為零，亦即
\[
{\frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right) + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{B_s}} \right)}=0
\]，則 Ito formula剩餘的最後一項 為 Ito integral ，由我們剛剛提過的 $(\star)$ 可知，此 Ito integral
\[\int_0^t {\frac{{\partial f}}{{\partial x}}} \left( {s,{B_s}} \right)d{B_s}
\]為 Local martingale。 WHY!? 因為Ito formula假設 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，也就是說 Ito integral 項的積分變數 (對 $f$ 取一階偏導數) 為 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \in \mathcal{C}^1$，又因為 $t \in [0,T]$為compact domain，連續函數必定有界，也就是說積分變數是落在 $L_{LOC}^2$，亦即滿足下式
\[
\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds < \infty
\]
另外，如果 Ito integral的 積分變數 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \in \mathcal{H}^2$，亦即滿足下式
\[
E \left [\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds \right] < \infty
\]
，則我們可得到 Martingale。
我們現在將上述結果寫成下面這個定理：
Theorem (Martingale PDE condition)
考慮 $t \in [0,T]$，若 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，且
\[
\frac{{\partial f}}{{\partial t}} + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}} =0\ \ \ \ (1)
\]則 $X_t = f(t, B_t)$ 為一個 Local Martingale。
再者，若 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)}\in \mathcal{H}^2$，亦即
\[
E \left[\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds \right] < \infty \ \ \ \ (2)
\]則 $X_t$ 為一個 Martingale
Proof
其實證明已經於前面討論寫完，但我們這邊把前述討論再稍作整理。
給定任意 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$ 滿足雙變數 Ito formula：
\[
\small{ f(t,{B_t}) = f(0,{B_0}) + \int_0^t {\left( {\frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right) + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{B_s}} \right)} \right)} ds + \int_0^t {\frac{{\partial f}}{{\partial x}}} \left( {s,{B_s}} \right)d{B_s}}
\]
由假設 $(1)$，上式變成
\[f(t,{B_t}) = f(0,{B_0}) + \int_0^t {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} d{B_s}\]
由於 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R}) \Rightarrow {\frac{{\partial f}}{{\partial x}}} \in \mathcal{C}^1$，故 ${\frac{{\partial f}}{{\partial x}}}$為連續函數，又因為 $t \in [0,T]$為compact domain，連續函數必定有界，也就是說積分變數 ${\frac{{\partial f}}{{\partial x}}}$ 是落在 $L_{LOC}^2$，亦即滿足下式
\[
\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds < \infty
\]
故 Ito integral $\int_0^t {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} d{B_s}$為一個Local Martingale。
另外如果假設 $(2)$ 成立；亦即
\[
E \left[\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds \right] < \infty
\]則積分變數 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)}\in \mathcal{H}^2$，故
Ito integral $\int_0^t {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} d{B_s}$為一個 Martingale。 $\square$
Example (Ruin Problem)
令 $B_t$ 為 標準布朗運動，定義一個隨機過程 $X_t$符合下式
\[
X_t := \mu t + \sigma B_t
\]
其中 $\mu \in \mathbb{R}$； $\sigma>0$；$A,B >0$。且定義停止時間
\[
\tau := \inf\{ t>0 : X_t = A \ or \ X_t = -B\}
\]計算 $P(X_{\tau} = A ) =?$
Comment:
上述隨機過程 $X_t := \mu t + \sigma B_t $ 一般稱之為 Arithmetic Brownian Motion。
Solution:
想法如下：
如果我們可以找到一個函數 $h(X_t)$ 使其為 Martingale (透過滿足 Martingale PDE condtion Theorem)，則利用 Martingale的性質我們知道
\[
E[h(X_0)] = E[h(X_{\tau})]
\]又因為 $E[h(X_{\tau})] = h(A)P(X_{\tau} = A) + h(-B) P(X_{\tau}=-B)$，故
\[
E[h(X_0)] = E[h(X_{\tau})] = h(A)P(X_{\tau} = A) + h(-B) P(X_{\tau}=-B)
\]又我們可以知道$h(A)$ 與 $h(-B)$，故即可解得 $P(X_{\tau} = A) $。
以下開始逐步求解：
為了要找出$h(X_t)$，我們令
$f(t,x):=h( \mu t + \sigma x)$，則 $f(t,B_t) = h( \mu t + \sigma B_t) = h(X_t)$
現在透過 Martingale PDE condition $(1)$：
\[
\frac{{\partial f}}{{\partial t}} + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}} =0 \ \ \ \ (**)
\]為了求解簡便起見，令 $z := \mu t + \sigma x $，則
\[\left\{ \begin{array}{l}
\frac{{\partial f}}{{\partial t}} = \frac{{\partial h}}{{\partial z}}\frac{{\partial z}}{{\partial t}} = \frac{{dh}}{{dz}}\mu \\
\frac{{\partial f}}{{\partial x}} = \frac{{\partial h}}{{\partial z}}\frac{{\partial z}}{{\partial x}} = \frac{{dh}}{{dz}}\sigma \\
\frac{{{\partial ^2}f}}{{\partial {x^2}}} = {\sigma ^2}\frac{{{d^2}h}}{{d{z^2}}}
\end{array} \right.\]則我們的 $(**)$ 變成
\[\begin{array}{l}
\frac{{dh}}{{dz}}\mu + \frac{1}{2}{\sigma ^2}\frac{{{d^2}h}}{{d{z^2}}} = 0\\
\Rightarrow h''\left( z \right) = \frac{{ - 2\mu }}{{{\sigma ^2}}}h'\left( z \right) \\
\Rightarrow \frac{{h''}}{{h'}}\left( z \right) = \frac{{ - 2\mu }}{{{\sigma ^2}}}\\
\Rightarrow {\left( {\ln \left( {h'\left( z \right)} \right)} \right)^\prime } = \frac{{ - 2\mu }}{{{\sigma ^2}}}\\
\Rightarrow \ln \left( {h'\left( z \right)} \right) = \frac{{ - 2\mu }}{{{\sigma ^2}}}z + C\\
\Rightarrow h'\left( z \right) = {C_1}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}z}}\\
\Rightarrow h\left( z \right) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}z}} + {C_3}\\
\Rightarrow f\left( {t,x} \right) = h\left( {\mu t + \sigma x} \right) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( {\mu t + \sigma x} \right)}} + {C_3} \ \ \ \ (\star \star)
\end{array}
\]再來我們透過 Martingale PDE condition $(2)$，計算 $L^2$-norm
\[\begin{array}{l}
E\left[ {\int_0^t {{{\left( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)}^2}} ds} \right] \\
\Rightarrow E\left[ {\int_0^t {{{\left( {\frac{{dh}}{{dz}}\sigma } \right)}^2}} ds} \right]= {\sigma ^2}E\left[ {{{\int_0^t {\left( {\frac{{dh}}{{dz}}} \right)} }^2}ds} \right]
\end{array}
\]由 $(\star \star)$，我們知道
\[
h\left( z \right) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} + {C_3} \Rightarrow \frac{{dh}}{{dz}} = {C_4}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}}
\]，故我們可得到
\[
\begin{array}{l}
\Rightarrow E\left[ {\int_0^t {{{\left( {\frac{{dh}}{{dz}}\sigma } \right)}^2}} ds} \right] = {\sigma ^2}E\left[ {{{\int_0^t {\left( {{C_4}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}}} \right)} }^2}ds} \right]\\
\Rightarrow {C_5}E\left[ {\int_0^t {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s + \sigma {B_s}} \right)}}ds} } \right] = {C_5}E\left[ {\int_0^t {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s} \right)}}{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\sigma {B_s}} \right)}}ds} } \right]\\
\Rightarrow {C_5}E\left[ {\int_0^t {\underbrace {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s} \right)}}}_{ \le 1}{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}ds} } \right] \le {C_5}E\left[ {\int_0^t {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}ds} } \right]\\
\Rightarrow {C_5}E\left[ {\int_0^t {\underbrace {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s} \right)}}}_{ \le 1}{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}ds} } \right] \le {C_5}\int_0^t {E\left[ {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}} \right]ds}
\end{array}
\]注意到 ${E\left[ {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}} \right]}$ 為 Gaussian Random Variable的 Moment Generating Function，亦即
\[
E\left[ {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}} \right] = {e^{\frac{1}{2}{{\left( {\frac{{ - 4\mu }}{\sigma }} \right)}^2}s}}
\]故，
\[
E\left[ {\int_0^t {{{\left( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)}^2}} ds} \right] \leq {C_5}\int_0^t {{e^{\frac{1}{2}{{\left( {\frac{{ - 4\mu }}{\sigma }} \right)}^2}s}}ds} < \infty
\]，至此我們知道
\[
f\left( {t,{B_t}} \right) = h\left( {\mu t + \sigma {B_t}} \right) = h(X_t)= {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( {\mu t + \sigma {B_t}} \right)}} + {C_3}
\] 為Martingale。
由於 $ h(X_t) $ 為Martingale $\Rightarrow$ $h(X_{t \wedge \tau})$亦為 Martingale。
\[
E[h(X_0)] = E[h(X_{t \wedge \tau})]
\]且因為$h(X_t)$有界 (bounded by A or -B)；亦即
\[
|h(X_{t \wedge \tau}) | \leq \max_{-B \leq x \leq A} h(x)
\]
，故由Dominated Convergence Theorem，我們知道當 $t \rightarrow \infty$，
\[
E[h(X_0)] = E[h(X_{t \wedge \tau})] \rightarrow E[h(X_{\tau})]
\]也就是說
\[
E[h(X_0)] = E[h(X_{\tau})] \ \ \ \ (**)
\]
且我們知道 $E[h(X_{\tau})] = h(A) P(X_{\tau} =A) + h(-B) P(X_{\tau} = -B)$，又
$X_0 = 0$ 故 $ h (X_0) = h(0) \Rightarrow E[h(X_0)] = E[h(0)] =h(0) $
現在我們可以求解 $(**)$如下
\[
E[h(X_0)] = E[h(X_{\tau})] \Rightarrow h(0) =h(A) P(X_{\tau} =A) + h(-B) P(X_{\tau} = -B)
\]
因為我們要求 $P(X_{\tau}=A)$故令邊界條件 $h(A) =1, h(-B)=0$；故上式改寫
\[
E[h(X_0)] = E[h(X_{\tau})] \Rightarrow h(0) =1 \cdot P(X_{\tau} =A) \ \ \ \ (\star \star)
\]且由先前計算得到的
\[
h(z) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} + {C_3}
\]
透過邊界條件 $h(A) =1, h(-B)=0$，我們可解 $C_2, C_3$如下
\[\begin{array}{l}
h(z) = \frac{1}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} + \frac{{ - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}} = \frac{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}\\
\Rightarrow h(0) = \frac{{1 - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}
\end{array}\]
現在比較上式與 $(\star \star)$，我們得到
\[\begin{array}{l}
h(0) = 1 \cdot P({X_\tau } = A)\\
\Rightarrow \;\frac{{1 - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}} = P({X_\tau } = A)
\end{array}\]
即為所求。 $\square$
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
現在我們來看看 Ito formula 可以幫助我們判別是否為 Martingale or Local Martingale。
現在考慮 $t \in [0,T]$，回憶雙變數的 Ito formula
\[
\small{
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)ds + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right) dB_s + \frac{1}{2}\int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)ds }
\]
現在將上式 $\int ds$ 項合併，可得
\[
\small{ f(t,{B_t}) = f(0,{B_0}) + \int_0^t {\left( {\frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right) + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{B_s}} \right)} \right)} ds + \int_0^t {\frac{{\partial f}}{{\partial x}}} \left( {s,{B_s}} \right)d{B_s}}
\]觀察上式，如果 $\int ds$ 項為零，亦即
\[
{\frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right) + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{B_s}} \right)}=0
\]，則 Ito formula剩餘的最後一項 為 Ito integral ，由我們剛剛提過的 $(\star)$ 可知，此 Ito integral
\[\int_0^t {\frac{{\partial f}}{{\partial x}}} \left( {s,{B_s}} \right)d{B_s}
\]為 Local martingale。 WHY!? 因為Ito formula假設 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，也就是說 Ito integral 項的積分變數 (對 $f$ 取一階偏導數) 為 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \in \mathcal{C}^1$，又因為 $t \in [0,T]$為compact domain，連續函數必定有界，也就是說積分變數是落在 $L_{LOC}^2$，亦即滿足下式
\[
\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds < \infty
\]
另外，如果 Ito integral的 積分變數 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \in \mathcal{H}^2$，亦即滿足下式
\[
E \left [\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds \right] < \infty
\]
，則我們可得到 Martingale。
我們現在將上述結果寫成下面這個定理：
Theorem (Martingale PDE condition)
考慮 $t \in [0,T]$，若 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，且
\[
\frac{{\partial f}}{{\partial t}} + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}} =0\ \ \ \ (1)
\]則 $X_t = f(t, B_t)$ 為一個 Local Martingale。
再者，若 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)}\in \mathcal{H}^2$，亦即
\[
E \left[\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds \right] < \infty \ \ \ \ (2)
\]則 $X_t$ 為一個 Martingale
Proof
其實證明已經於前面討論寫完，但我們這邊把前述討論再稍作整理。
給定任意 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$ 滿足雙變數 Ito formula：
\[
\small{ f(t,{B_t}) = f(0,{B_0}) + \int_0^t {\left( {\frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right) + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{B_s}} \right)} \right)} ds + \int_0^t {\frac{{\partial f}}{{\partial x}}} \left( {s,{B_s}} \right)d{B_s}}
\]
由假設 $(1)$，上式變成
\[f(t,{B_t}) = f(0,{B_0}) + \int_0^t {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} d{B_s}\]
由於 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R}) \Rightarrow {\frac{{\partial f}}{{\partial x}}} \in \mathcal{C}^1$，故 ${\frac{{\partial f}}{{\partial x}}}$為連續函數，又因為 $t \in [0,T]$為compact domain，連續函數必定有界，也就是說積分變數 ${\frac{{\partial f}}{{\partial x}}}$ 是落在 $L_{LOC}^2$，亦即滿足下式
\[
\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds < \infty
\]
故 Ito integral $\int_0^t {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} d{B_s}$為一個Local Martingale。
另外如果假設 $(2)$ 成立；亦即
\[
E \left[\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds \right] < \infty
\]則積分變數 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)}\in \mathcal{H}^2$，故
Ito integral $\int_0^t {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} d{B_s}$為一個 Martingale。 $\square$
Example (Ruin Problem)
令 $B_t$ 為 標準布朗運動，定義一個隨機過程 $X_t$符合下式
\[
X_t := \mu t + \sigma B_t
\]
其中 $\mu \in \mathbb{R}$； $\sigma>0$；$A,B >0$。且定義停止時間
\[
\tau := \inf\{ t>0 : X_t = A \ or \ X_t = -B\}
\]計算 $P(X_{\tau} = A ) =?$
Comment:
上述隨機過程 $X_t := \mu t + \sigma B_t $ 一般稱之為 Arithmetic Brownian Motion。
Solution:
想法如下：
如果我們可以找到一個函數 $h(X_t)$ 使其為 Martingale (透過滿足 Martingale PDE condtion Theorem)，則利用 Martingale的性質我們知道
\[
E[h(X_0)] = E[h(X_{\tau})]
\]又因為 $E[h(X_{\tau})] = h(A)P(X_{\tau} = A) + h(-B) P(X_{\tau}=-B)$，故
\[
E[h(X_0)] = E[h(X_{\tau})] = h(A)P(X_{\tau} = A) + h(-B) P(X_{\tau}=-B)
\]又我們可以知道$h(A)$ 與 $h(-B)$，故即可解得 $P(X_{\tau} = A) $。
以下開始逐步求解：
為了要找出$h(X_t)$，我們令
$f(t,x):=h( \mu t + \sigma x)$，則 $f(t,B_t) = h( \mu t + \sigma B_t) = h(X_t)$
現在透過 Martingale PDE condition $(1)$：
\[
\frac{{\partial f}}{{\partial t}} + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}} =0 \ \ \ \ (**)
\]為了求解簡便起見，令 $z := \mu t + \sigma x $，則
\[\left\{ \begin{array}{l}
\frac{{\partial f}}{{\partial t}} = \frac{{\partial h}}{{\partial z}}\frac{{\partial z}}{{\partial t}} = \frac{{dh}}{{dz}}\mu \\
\frac{{\partial f}}{{\partial x}} = \frac{{\partial h}}{{\partial z}}\frac{{\partial z}}{{\partial x}} = \frac{{dh}}{{dz}}\sigma \\
\frac{{{\partial ^2}f}}{{\partial {x^2}}} = {\sigma ^2}\frac{{{d^2}h}}{{d{z^2}}}
\end{array} \right.\]則我們的 $(**)$ 變成
\[\begin{array}{l}
\frac{{dh}}{{dz}}\mu + \frac{1}{2}{\sigma ^2}\frac{{{d^2}h}}{{d{z^2}}} = 0\\
\Rightarrow h''\left( z \right) = \frac{{ - 2\mu }}{{{\sigma ^2}}}h'\left( z \right) \\
\Rightarrow \frac{{h''}}{{h'}}\left( z \right) = \frac{{ - 2\mu }}{{{\sigma ^2}}}\\
\Rightarrow {\left( {\ln \left( {h'\left( z \right)} \right)} \right)^\prime } = \frac{{ - 2\mu }}{{{\sigma ^2}}}\\
\Rightarrow \ln \left( {h'\left( z \right)} \right) = \frac{{ - 2\mu }}{{{\sigma ^2}}}z + C\\
\Rightarrow h'\left( z \right) = {C_1}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}z}}\\
\Rightarrow h\left( z \right) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}z}} + {C_3}\\
\Rightarrow f\left( {t,x} \right) = h\left( {\mu t + \sigma x} \right) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( {\mu t + \sigma x} \right)}} + {C_3} \ \ \ \ (\star \star)
\end{array}
\]再來我們透過 Martingale PDE condition $(2)$，計算 $L^2$-norm
\[\begin{array}{l}
E\left[ {\int_0^t {{{\left( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)}^2}} ds} \right] \\
\Rightarrow E\left[ {\int_0^t {{{\left( {\frac{{dh}}{{dz}}\sigma } \right)}^2}} ds} \right]= {\sigma ^2}E\left[ {{{\int_0^t {\left( {\frac{{dh}}{{dz}}} \right)} }^2}ds} \right]
\end{array}
\]由 $(\star \star)$，我們知道
\[
h\left( z \right) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} + {C_3} \Rightarrow \frac{{dh}}{{dz}} = {C_4}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}}
\]，故我們可得到
\[
\begin{array}{l}
\Rightarrow E\left[ {\int_0^t {{{\left( {\frac{{dh}}{{dz}}\sigma } \right)}^2}} ds} \right] = {\sigma ^2}E\left[ {{{\int_0^t {\left( {{C_4}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}}} \right)} }^2}ds} \right]\\
\Rightarrow {C_5}E\left[ {\int_0^t {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s + \sigma {B_s}} \right)}}ds} } \right] = {C_5}E\left[ {\int_0^t {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s} \right)}}{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\sigma {B_s}} \right)}}ds} } \right]\\
\Rightarrow {C_5}E\left[ {\int_0^t {\underbrace {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s} \right)}}}_{ \le 1}{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}ds} } \right] \le {C_5}E\left[ {\int_0^t {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}ds} } \right]\\
\Rightarrow {C_5}E\left[ {\int_0^t {\underbrace {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s} \right)}}}_{ \le 1}{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}ds} } \right] \le {C_5}\int_0^t {E\left[ {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}} \right]ds}
\end{array}
\]注意到 ${E\left[ {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}} \right]}$ 為 Gaussian Random Variable的 Moment Generating Function，亦即
\[
E\left[ {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}} \right] = {e^{\frac{1}{2}{{\left( {\frac{{ - 4\mu }}{\sigma }} \right)}^2}s}}
\]故，
\[
E\left[ {\int_0^t {{{\left( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)}^2}} ds} \right] \leq {C_5}\int_0^t {{e^{\frac{1}{2}{{\left( {\frac{{ - 4\mu }}{\sigma }} \right)}^2}s}}ds} < \infty
\]，至此我們知道
\[
f\left( {t,{B_t}} \right) = h\left( {\mu t + \sigma {B_t}} \right) = h(X_t)= {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( {\mu t + \sigma {B_t}} \right)}} + {C_3}
\] 為Martingale。
由於 $ h(X_t) $ 為Martingale $\Rightarrow$ $h(X_{t \wedge \tau})$亦為 Martingale。
\[
E[h(X_0)] = E[h(X_{t \wedge \tau})]
\]且因為$h(X_t)$有界 (bounded by A or -B)；亦即
\[
|h(X_{t \wedge \tau}) | \leq \max_{-B \leq x \leq A} h(x)
\]
，故由Dominated Convergence Theorem，我們知道當 $t \rightarrow \infty$，
\[
E[h(X_0)] = E[h(X_{t \wedge \tau})] \rightarrow E[h(X_{\tau})]
\]也就是說
\[
E[h(X_0)] = E[h(X_{\tau})] \ \ \ \ (**)
\]
且我們知道 $E[h(X_{\tau})] = h(A) P(X_{\tau} =A) + h(-B) P(X_{\tau} = -B)$，又
$X_0 = 0$ 故 $ h (X_0) = h(0) \Rightarrow E[h(X_0)] = E[h(0)] =h(0) $
現在我們可以求解 $(**)$如下
\[
E[h(X_0)] = E[h(X_{\tau})] \Rightarrow h(0) =h(A) P(X_{\tau} =A) + h(-B) P(X_{\tau} = -B)
\]
因為我們要求 $P(X_{\tau}=A)$故令邊界條件 $h(A) =1, h(-B)=0$；故上式改寫
\[
E[h(X_0)] = E[h(X_{\tau})] \Rightarrow h(0) =1 \cdot P(X_{\tau} =A) \ \ \ \ (\star \star)
\]且由先前計算得到的
\[
h(z) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} + {C_3}
\]
透過邊界條件 $h(A) =1, h(-B)=0$，我們可解 $C_2, C_3$如下
\[\begin{array}{l}
h(z) = \frac{1}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} + \frac{{ - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}} = \frac{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}\\
\Rightarrow h(0) = \frac{{1 - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}
\end{array}\]
現在比較上式與 $(\star \star)$，我們得到
\[\begin{array}{l}
h(0) = 1 \cdot P({X_\tau } = A)\\
\Rightarrow \;\frac{{1 - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}} = P({X_\tau } = A)
\end{array}\]
即為所求。 $\square$
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
B. Øksendal, Stochastic Differential Equations: An Introduction with Applications 6th, Springer
2014年3月25日 星期二
[隨機分析] Ito-formula 與其應用 (1) - Two variables case
回憶我們在上一篇
[隨機分析] Ito-formula 與其應用 (0) -Simplest Case
所提出的問題先前問題，考慮
\[
M_t := \exp(\alpha B_t - \alpha^2 t/2)
\]我們想要計算此Ito Integral
\[
\int_0^t M_s dB_s =?
\]注意到上式隨機積分中的積分變數 $M_t$ 不只是 $B_t$ 的函數，亦為 $t$的函數(亦即 $M_t = f(t, B_t)$ 為雙變數函數) 故原本的 simplest form of Ito formula 沒辦法直接應用，我們需要進一步修正Ito formula來讓我們可以對付 這種情況。
在修正Ito Formula 之前我們先定義下列函數
Definition: ($f \in \mathcal{C}^{m,n}(\mathbb{R^+} \times \mathbb{R})$)
考慮函數 $(t,x) \mapsto f(t,x) \in \mathbb{R}$，且其對 $t$ 存在 $m$ 階導數且連續，對 $x$ 存在 $n$ 階導數且連續，則我們稱此函數 $f \in \mathcal{C}^{m,n}(\mathbb{R^+} \times \mathbb{R})$
有了上面的定義，我們可以著手拓展Ito formula到雙變數函數 如下
=================
Theorem (Ito's Formula with Space and Time Variables)
對任意函數 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，則對應的 Ito's formula 為
\[
\small{
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)ds + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right) dB_s + \frac{1}{2}\int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)ds }
\]=================
Proof: omitted.
有了上面的定理，我們現在可以再回頭瞧瞧原本無法解決的例子：
Example
考慮 $M_t := \exp(\alpha B_t - \alpha^2 t/2)$，試求 $\int_0^t M_s dB_s=?$
Solution
首先定義函數
\[
f\left( {t,x} \right): = \exp (\alpha x - {\alpha ^2}t/2)
\] 且
\[\begin{array}{l}
\frac{\partial }{{\partial t}}f\left( {t,x} \right) = {e^{\alpha x}}{e^{ - {\alpha ^2}t/2}}\left( {\frac{{ - {\alpha ^2}}}{2}} \right)\\
\frac{\partial }{{\partial x}}f\left( {t,x} \right) = {e^{ - {\alpha ^2}t/2}}{e^{\alpha x}}\alpha \\
\frac{{{\partial ^2}}}{{\partial {x^2}}}f\left( {t,x} \right) = {\alpha ^2}{e^{ - {\alpha ^2}t/2}}{e^{\alpha x}}
\end{array}
\] 由 "Ito's Formula with Space and Time Variables"，
\[
\small{
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)ds + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right) dB_s + \frac{1}{2}\int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)ds }
\]可知
\[\begin{array}{*{20}{l}}
{\exp (\alpha {B_t} - {\alpha ^2}t/2) = 1 + \left( {\frac{{ - {\alpha ^2}}}{2}} \right)\int_0^t {{e^{\alpha {B_s}}}{e^{ - {\alpha ^2}s/2}}} ds}\\
{\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; + \alpha \int_0^t {{e^{ - {\alpha ^2}s/2}}{e^{\alpha {B_s}}}} d{B_s} + \frac{{{\alpha ^2}}}{2}\int_0^t {{e^{ - {\alpha ^2}s/2}}{e^{\alpha {B_s}}}} ds}\\
{ \Rightarrow \frac{1}{\alpha }\left( {\exp (\alpha {B_t} - {\alpha ^2}t/2) - 1} \right) = \int_0^t {{e^{\alpha {B_s}}}{e^{ - {\alpha ^2}s/2}}} d{B_s}}\\
{ \Rightarrow {M_t} = 1 + \alpha \int_0^t {{M_t}} d{B_s}}
\end{array}\]
故
\[{\int_0^t {{M_t}} d{B_s} = \frac{1}{\alpha }\left( {{M_t} - 1} \right)} \ \ \ \ \square
\]
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
[隨機分析] Ito-formula 與其應用 (0) -Simplest Case
所提出的問題先前問題，考慮
\[
M_t := \exp(\alpha B_t - \alpha^2 t/2)
\]我們想要計算此Ito Integral
\[
\int_0^t M_s dB_s =?
\]注意到上式隨機積分中的積分變數 $M_t$ 不只是 $B_t$ 的函數，亦為 $t$的函數(亦即 $M_t = f(t, B_t)$ 為雙變數函數) 故原本的 simplest form of Ito formula 沒辦法直接應用，我們需要進一步修正Ito formula來讓我們可以對付 這種情況。
在修正Ito Formula 之前我們先定義下列函數
Definition: ($f \in \mathcal{C}^{m,n}(\mathbb{R^+} \times \mathbb{R})$)
考慮函數 $(t,x) \mapsto f(t,x) \in \mathbb{R}$，且其對 $t$ 存在 $m$ 階導數且連續，對 $x$ 存在 $n$ 階導數且連續，則我們稱此函數 $f \in \mathcal{C}^{m,n}(\mathbb{R^+} \times \mathbb{R})$
有了上面的定義，我們可以著手拓展Ito formula到雙變數函數 如下
=================
Theorem (Ito's Formula with Space and Time Variables)
對任意函數 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，則對應的 Ito's formula 為
\[
\small{
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)ds + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right) dB_s + \frac{1}{2}\int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)ds }
\]=================
Proof: omitted.
有了上面的定理，我們現在可以再回頭瞧瞧原本無法解決的例子：
Example
考慮 $M_t := \exp(\alpha B_t - \alpha^2 t/2)$，試求 $\int_0^t M_s dB_s=?$
Solution
首先定義函數
\[
f\left( {t,x} \right): = \exp (\alpha x - {\alpha ^2}t/2)
\] 且
\[\begin{array}{l}
\frac{\partial }{{\partial t}}f\left( {t,x} \right) = {e^{\alpha x}}{e^{ - {\alpha ^2}t/2}}\left( {\frac{{ - {\alpha ^2}}}{2}} \right)\\
\frac{\partial }{{\partial x}}f\left( {t,x} \right) = {e^{ - {\alpha ^2}t/2}}{e^{\alpha x}}\alpha \\
\frac{{{\partial ^2}}}{{\partial {x^2}}}f\left( {t,x} \right) = {\alpha ^2}{e^{ - {\alpha ^2}t/2}}{e^{\alpha x}}
\end{array}
\] 由 "Ito's Formula with Space and Time Variables"，
\[
\small{
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)ds + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right) dB_s + \frac{1}{2}\int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)ds }
\]可知
\[\begin{array}{*{20}{l}}
{\exp (\alpha {B_t} - {\alpha ^2}t/2) = 1 + \left( {\frac{{ - {\alpha ^2}}}{2}} \right)\int_0^t {{e^{\alpha {B_s}}}{e^{ - {\alpha ^2}s/2}}} ds}\\
{\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; + \alpha \int_0^t {{e^{ - {\alpha ^2}s/2}}{e^{\alpha {B_s}}}} d{B_s} + \frac{{{\alpha ^2}}}{2}\int_0^t {{e^{ - {\alpha ^2}s/2}}{e^{\alpha {B_s}}}} ds}\\
{ \Rightarrow \frac{1}{\alpha }\left( {\exp (\alpha {B_t} - {\alpha ^2}t/2) - 1} \right) = \int_0^t {{e^{\alpha {B_s}}}{e^{ - {\alpha ^2}s/2}}} d{B_s}}\\
{ \Rightarrow {M_t} = 1 + \alpha \int_0^t {{M_t}} d{B_s}}
\end{array}\]
故
\[{\int_0^t {{M_t}} d{B_s} = \frac{1}{\alpha }\left( {{M_t} - 1} \right)} \ \ \ \ \square
\]
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
[隨機分析] Ito-formula 與其應用 (0) -Simplest Case
在微積分中，我們計算的時候大多仰賴 微積分基本定理(Fundamental Theorem of Calculus)。那麼我們想問在建立隨機分析之後，是否也有類似的結果呢?
答案是肯定的。在隨機分析中這樣的結果稱作Ito formula 或者 Ito Lemma
Theorem (Ito Formula - simplest Case)
若 $f : \mathbb{R} \rightarrow \mathbb{R}$ 且 $f \in \mathcal{C}^2$則
\[
f(B_t) = f(B_0) + \int_0^t f'(B_s) dB_s + \frac{1}{2}\int_0^t f''(B_t) ds \ \ \ \ (*)
\]
Comments:
1. 注意到如果上式 第二個積分 $\frac{1}{2}\int_0^t f''(B_t) ds=0$ (NOT Ito integral, but Lebesgue integral)的話，則我們確實回到的微積分基本定理。故第二項積分又稱 Ito correction term。
2. 注意到 第一個積分 $\int_0^t f'(B_s) dB_s $ (Ito integral) 為 zero mean，故此暗示了後方第二個積分必須要包含所有關於函數 $f(B_t)$ 漂移(drift)程度的資訊。
3. 注意到函數必須二階可微連續，亦即 $f \in \mathcal{C}^2$
4. 注意到 Ito Integral 有下列重要結果：Ito-integral 為一個隨機過程，且若 $f \in \mathcal{H}^2$，則隨機積分為一個 Martingale。若 $f \in L_{LOC}^2$，則隨機積分為一個 Local martingale。
這邊我們先不證明，先舉幾個例子看看這個Ito formula 在計算Ito Integral的威力。
Example 1
令 $B_t$為標準布朗運動，試求 $\int_0^t B_s dB_s = ?$
Solution
因為我們想要求 $ \int_0^t B_s dB_s$，故想法是希望透過應用 Ito formula 來為我們產生出此隨機積分項。此積分項出現在Ito formula 等號右邊的第二項 (一階導數的積分項)，故我們令 函數 $f(x) := x^2$，則 $f'(x)=2x, f''(x)=2$，故由Ito formula $(*)$ 可知
\[
B_t^2 = B_0^2 + \int_0^t 2B_s dB_s + \frac{1}{2}\int_0^t 2 ds
\]
又因為 $B_t$ 為標準布朗運動 $B_0 =0$，我們可將上式整理如下
\[
2 \int_0^t B_s dB_s = B_t^2 - \int_0^t ds
\]
亦即
\[
\int_0^t B_s dB_s = \frac{1}{2}B_t^2 - \frac{1}{2}t. \ \ \ \ \square
\]
再看看這個例子。
Example 2
令 $B_t$為標準布朗運動，試求 $\int_0^t B_s^2 dB_s = ?$
Solution
令 函數 $f(x) := x^3$，則 $f'(x)=3x^2, f''(x)=6x$，故由Ito formula $(*)$ 可知
\[
B_t^3 = B_0^3 + \int_0^t 3B_s^2 dB_s + \frac{1}{2}\int_0^t 6 B_s ds
\]
又因為 $B_t$ 為標準布朗運動 $B_0 =0$，我們可將上式整理如下
\[
3 \int_0^t B_s^2 dB_s = B_t^3 -3 \int_0^t B_s ds
\]
亦即
\[
\int_0^t B_s^2 dB_s = \frac{1}{3}B_t^3 - \int_0^t B_s ds \ \ \ \ \square
\]
注意到上式已經是最簡狀態，$\int_0^t B_s ds$ 是path-wise Lebesgue integral 無法更進一步化簡。
Example 3
令 $B_t$為標準布朗運動，試求 $\int_0^t e^{B_s}dB_s = ?$
Solution
令 函數 $f(x) :=e^x$，則 $f'(x)= f''(x)= e^x$，故由Ito formula $(*)$ 可知
\[
e^{B_t} = e^{B_0} + \int_0^t e^{B_s} dB_s + \frac{1}{2}\int_0^t e^{B_s} ds
\]
又因為 $B_t$ 為標準布朗運動 $B_0 =0$，我們可將上式整理如下
\[
\int_0^t e^{B_s} dB_s = e^{B_t}- e^{B_0} - \frac{1}{2}\int_0^t e^{B_s} ds
\]
亦即
\[
\int_0^t e^{B_s} dB_s = e^{B_t}- 1 - \frac{1}{2}\int_0^t e^{B_s} ds \ \ \ \ \square
\]
現在我們考慮一個稍微複雜一點的情況，定義
\[
M_t := \exp(\alpha B_t - \alpha^2 t/2)
\]如果我們想要計算 $\int_0^t M_s dB_s$ 是多少呢?
注意到上式子$M_t$ 不只是 $B_t$ 的函數，亦為 $t$的函數(亦即 $M_t = f(t, B_t)$) 故Ito fomula $(*)$ 沒辦法直接應用，我們需要進一步修正Ito formula來讓我們可以對付 這種情況。這我們會在下一篇再作介紹
==================
延伸閱讀
[隨機分析] Ito-formula 與其應用 (1) - Two variables case
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
2014年3月24日 星期一
[衍生商品] 常見的選擇權交易策略(0) - 牛/熊市策略
基本選擇權策略可分為下列三類：
現在我們先介紹第1種策略：
牛市策略(Bullish Strategy)
-牛市價差 (Bull Spread) 組合 (透過Call option)：
由 買入 一份 call option 與 賣出 一份(其他規格完全相同) 但 執行價格 $K$ 較高的 call option 。所組成，下面考慮兩個執行價格 $K_1$ 與 $K_2$ 且 $K_2 > K_1$，則我們 Long a call @ $K_1$+ Short a call @ $K_2$，則此時 在到期時的收益 (不考慮 權利金( premium)的情況)，可得到如下圖 (點圖放大)
2. 此法可用在認為股票會漲但可能漲幅有限，且自己不想付太多手續費時採用。WHY? 因為如果如果只有購入 一份 Call option @ $K_1$，則我們需在當日支付 $C(K_1)$ 的權利金，但是 如果採用 Bull Spread的策略，我們只在當日需支付
\[
C(K_2) - C(K_1)
\]
注意到由comment 1可知， $C(K_2) < C(K_1) \Rightarrow C(K_2) - C(K_1) < 0$，上式為負值 表示支付。
=====================
接著我們先介紹第2種策略：
熊市策略(Bearish Strategy)
-熊市價差 (Bear Spread) 組合 (透過Call option)：
此法與牛市價差組合相反，由 賣出 一份 call option 與 買入 一份(其他規格完全相同) 但 執行價格 $K$ 較高的 call option 。所組成，下面考慮兩個執行價格 $K_1$ 與 $K_2$ 且 $K_2 > K_1$，則我們 Short a call @ $K_1$+ Long a call @ $K_2$，則此時 在到期時的收益 (不考慮 權利金( premium)的情況)，可得到如下圖 (點圖放大)
ref: John C. Hull, Options, Futures and Other Derivatives 7th.
- 牛市策略(Bullish Strategy) : 牛市價差組合
認為股票會漲所使用的選擇權策略 - 熊市策略(Bearish Strategy) : 熊市價差組合
認為股票會跌所使用的選擇權策略 - 無方向策略 (Neutral or non-directional Strategy) : 其他各種組合 (Straddle, Strap, ...)
不確定漲跌時，但大約知道股票波動程度 (高 or 低)時所使用的選擇權策略)
現在我們先介紹第1種策略：
牛市策略(Bullish Strategy)
-牛市價差 (Bull Spread) 組合 (透過Call option)：
由 買入 一份 call option 與 賣出 一份(其他規格完全相同) 但 執行價格 $K$ 較高的 call option 。所組成，下面考慮兩個執行價格 $K_1$ 與 $K_2$ 且 $K_2 > K_1$，則我們 Long a call @ $K_1$+ Short a call @ $K_2$，則此時 在到期時的收益 (不考慮 權利金( premium)的情況)，可得到如下圖 (點圖放大)
現在如果我們考慮更實際的情況，也就是考慮要支付權利金 (premium) (也就是選擇權的價格)，則此時 在到期時的收益變成 (點圖放大)
上圖中灰線代表未支付權利金時的情況。且 $FV(\cdot)$ 表示計算Future Value
另外 執行價格 $K_1$ 對應的 選擇權價格 $C(K_1)$。執行價格 $K_2$ 對應的 選擇權價格 $C(K_2)$。
Comments:
1. 由 選擇權定義可知，執行價格 $K_2 > K_1$ ，則 對應的選擇權價格 $C(K_2) < C(K_1)$。也就是說較低的執行價格較吸引人，因為表示可以較低的 $K_1$ 價格就購入股票。2. 此法可用在認為股票會漲但可能漲幅有限，且自己不想付太多手續費時採用。WHY? 因為如果如果只有購入 一份 Call option @ $K_1$，則我們需在當日支付 $C(K_1)$ 的權利金，但是 如果採用 Bull Spread的策略，我們只在當日需支付
\[
C(K_2) - C(K_1)
\]
注意到由comment 1可知， $C(K_2) < C(K_1) \Rightarrow C(K_2) - C(K_1) < 0$，上式為負值 表示支付。
=====================
接著我們先介紹第2種策略：
熊市策略(Bearish Strategy)
-熊市價差 (Bear Spread) 組合 (透過Call option)：
此法與牛市價差組合相反，由 賣出 一份 call option 與 買入 一份(其他規格完全相同) 但 執行價格 $K$ 較高的 call option 。所組成，下面考慮兩個執行價格 $K_1$ 與 $K_2$ 且 $K_2 > K_1$，則我們 Short a call @ $K_1$+ Long a call @ $K_2$，則此時 在到期時的收益 (不考慮 權利金( premium)的情況)，可得到如下圖 (點圖放大)
現在如果我們考慮更實際的情況，也就是考慮要支付權利金 (premium) (也就是選擇權的價格)，則此時 在到期時的收益變成 (點圖放大)
上圖中灰線代表未支付權利金時的情況。且 $FV(\cdot)$ 表示計算Future Value
另外 執行價格 $K_1$ 對應的 選擇權價格 $C(K_1)$。執行價格 $K_2$ 對應的 選擇權價格 $C(K_2)$。
Comments:
同牛市價差組合，此法可用在認為股票會跌但可能跌幅有限
延伸閱讀
[隨機分析] Ito Integral 淺談 (V) - Ito Integral on L^2 Local space and the connection with Gaussian process
這次要介紹的是 Ito integral on L^2 Local space 的另外一個重要結果：
如果我們考慮 積分變數 $f$ 不再是隨機過程，亦即 $f$ 為一非隨機函數, e.g., $f(t)$ (不再是 $f(t,\omega)$)，則對此函數的 Ito integral：
\[
\int_0^t f(s) dB_s
\]為一個 Gaussian Process with zero mean 與 variance $\int_0^t f(s)^2 ds$。我們將此結果計做以下定理
Theorem (Nonrandom integrand of Ito integral yields a Gaussian process)
若 $f \in \mathcal{C}[0,T]$ 為非隨機 連續函數，則由 Ito integral 所定義的 隨機過程 $X_t$
\[
X_t := \int_0^t f(s) dB_s \ , \ t \in [0,T]
\]為 mean zero Gaussian process 且有互相獨立增量與 covariance function
\[
Cov(X_s,S_t) = \int_0^{s \wedge t} f^2(u) du
\]除此之外，如果我們取在 $[0,T]$ 上 Partition 定義如下
\[
t_i := iT/n, \ 0 \leq i \leq n
\] ，且選擇 $t_i^*$ 滿足 $t_{i-1} \leq t_i^* \leq t_i \ , \forall 1 \leq i \leq n$，則我們有 Riemann Representation 如下:
\[
\lim_{n \rightarrow \infty} \sum_{i=1}^{n} f(t_i^*) (B_{t_i} - B_{t_{i-1}}) = \int_0^T f(s) dB_s
\]其中上述 Limit 表 convergence in probability.
Proof
此處的 Riemann Representation proof 可視為 之前 我們討論過的 對隨機函數 $f(B_s)$ 的 Riemann Representation 的特例， 詳細證明請參閱之前文章
[隨機分析] Ito Integral 淺談 (IV) - Ito Integral on L^2 Local space and its Riemann Representation
我們只需證明第一部分：
首先證明 $X_t$ 由獨立增量 (independent increments)。
由 Riemann Representation，我們可知
\[
\lim_{n \rightarrow \infty} \sum_{i=1}^{n} f(t_i^*) (B_{t_i} - B_{t_{i-1}}) = \int_0^T f(s) dB_s
\]因為 $B_{t_i}$ 為標準布朗運動，故由標準布朗運動定義可知 對 $0 \leq i \leq n$$B_{t_i} - B_{t_{i-1}}$ 為獨立增量，$X_t$ 確實具有獨立增量，且標準布朗運動可視為 Gaussian Process，故 $X_t$ 亦為 Gaussian Process。
再者由 Riemann Representation 我們可計算其 mean
\[
E[X_t] = 0
\] 與 Variance (利用 Ito Isometry)
\[
Var[X_t] = E \left[ \left( \int_0^t f(s) dB_s \right )^2 \right ] = \int_0^t f(s)^2 ds
\] 上式可用 Ito isometry 是因為積分變數為 $f \in \mathcal{C} \Rightarrow f \in L_{LOC}^2 [0,T]$，故為平方可積。Ito isometry 可以使用!。
最後，Covariance function 可由上述 Variance formula 與 獨立增量求得。 $\square$
對於非隨機積分變數的 Ito Integral 為 Gaussian Process 這點可以很大的程度上幫助我們計算 distribution。下面我們看幾個定理的應用：
Example 1
試求一確定 (deterministic) 函數 $\tau : [0, \infty) \rightarrow [0, \infty)$ 使得
\[
X_t = \int_0^t e^s dB_s \ \ \text{and} \ \ Y_t = B_{\tau(t)}
\]具有相同的 distribution。 Hint: 使用上述定理。
Proof
首先觀察 $X_t = \int_0^t e^s dB_s$，由於 積分變數 $e^s$ 為確定 (非隨機) 函數，故由上述定理可知，$X_t$ 為 Gaussian process with zero mean 與 covariance： 對 $s<t$
\[
Cov(X_t,X_s) = \int_0^s e^{2u} du =\frac{1}{2}\left( {{e^{2s}} - 1} \right)
\]
現在回頭觀察 $Y_t= B_{\tau(t)}$ ，由於其為標準布朗運動，故亦為 Gaussian process with zero mean，且其 Covariance ： 對 $s<t$
\[\begin{array}{l}
Cov\left( {{Y_t},{Y_s}} \right) = Cov\left( {{B_{\tau (t)}},{B_{\tau (s)}}} \right) = E\left[ {{B_{\tau (t)}}{B_{\tau (s)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{\rm{ = }}
\end{array}E\left[ {\left( {\left( {{B_{\tau (t)}} - {B_{\tau (s)}}} \right) + {B_{\tau (s)}}} \right){B_{\tau (s)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{\rm{ = }}
\end{array}E\left[ {\left( {{B_{\tau (t)}} - {B_{\tau (s)}}} \right){B_{\tau (s)}}} \right] + E\left[ {{B_{\tau (s)}}{B_{\tau (s)}}} \right]\\
by\begin{array}{*{20}{c}}
{}
\end{array}independence\\
\begin{array}{*{20}{c}}
{}&{}&{}&{{\rm{ = }}E\left[ {{B_{\tau (t)}} - {B_{\tau (s)}}} \right]}
\end{array}E\left[ {{B_{\tau (s)}}} \right] + E\left[ {{B_{\tau (s)}}{B_{\tau (s)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{\rm{ = }}
\end{array}\tau (s)
\end{array}
\] 由於 Gaussian process 完全由 mean function 與 covariance function 決定，故令
\[
\tau (s)=\frac{1}{2}\left( {{e^{2s}} - 1} \right)
\]則 $X_t$ 與 $Y_t$ 的 即有相同 distribution 。
Example 2
令 $f \in L^1 [0,T]$ 且 $B_t$ 為在機率空間 $(\Omega, \cal{F}, P)$ Standard Brownian Motion。現在定義
\[
Y_f(\omega) = \int_0^T f(s) B_s ds
\] (a) 試求此積分
(b) 基於結果 (a)，現在對任意兩函數 $f, g \in L^1[0,T]$，試求其 Joint distribution of
\[ \left[ {\begin{array}{*{20}{c}}
{{Y_f}}\\
{{Y_g}}
\end{array}} \right]\]
Comment: 此積分 $Y_f(\omega) = \int_0^T f(s) B_s ds$ 結果為 random variable ，因為是積分到 "固定"大 $T$ (而非任意時刻 $t$)，另外此積分不是 Ito Integral 因為其為對 $ds$ 積分。
Proof
利用積分形式的 Integration by part
\[\begin{array}{l}
d\left( {{U_t}{V_t}} \right) = {U_t}d{V_t} + {V_t}d{U_t} + d\left\langle {{U_t},{V_t}} \right\rangle \\
\Rightarrow {U_t}{V_t} - {U_0}{V_0} = \int_0^t {{U_s}d{V_s}} + \int_0^t {{V_s}d{U_s}} + \left\langle {{U_t},{V_t}} \right\rangle
\end{array}
\]選 $U_t := f(t), V_t := B_t$，則我們有
\[\begin{array}{l}
F\left( t \right){B_t} = \int_0^t {F\left( s \right)d{B_s}} + \int_0^t {{B_s}dF\left( s \right)} + 0\\
\Rightarrow F\left( t \right){B_t} = \int_0^t {F\left( s \right)d{B_t}} + \int_0^t {{B_t}f\left( s \right)ds} \\
\Rightarrow \int_0^t {{B_s}f\left( s \right)ds} = F\left( t \right){B_t} - \int_0^t {F\left( s \right)d{B_t}}
\end{array}
\]注意到 $F\left( t \right){B_t} = F\left( t \right)\int_0^t {d{B_s}} = \int_0^t {F\left( t \right)d{B_s}}$，故我們可以改寫上面的結果:
\[\begin{array}{l}
\int_0^t {f\left( s \right){B_s}ds} = F\left( t \right){B_t} - \int_0^t {F\left( s \right)d{B_t}} \\
\Rightarrow \int_0^t {f\left( s \right){B_s}ds} = \int_0^t {\left[ {F\left( t \right) - F\left( s \right)} \right]d{B_s}} = \int_0^t {\left[ {\int_s^t {f\left( u \right)du} } \right]d{B_s}}
\end{array}\]故
\[
\int_0^T {f\left( s \right){B_s}ds} = \int_0^T {\left[ {\int_s^T {f\left( u \right)du} } \right]d{B_s}}
\] 且由於積分變數 ${\int_s^T {f\left( u \right)du} }$ 為非隨機。故由 上述定理可知其為 Gaussian random variable (因為 $T$ fixed，積分不在是 stochastic process，而是一個 random variable) with zero mean 且 Variance 為
\[
\int_0^T {{{\left[ {\int_s^T {f\left( u \right)du} } \right]}^2}ds}
\]亦即
\[\int_0^T {f\left( s \right){B_s}ds} \sim \mathcal{N}(0, \int_0^T {{{\left[ {\int_s^T {f\left( u \right)du} } \right]}^2}ds})
\]
由 Gaussian random variable 定義可知：若
\[\left[ {\begin{array}{*{20}{c}}
X\\
Y
\end{array}} \right]
\] 為 normal 若且為若 (if and only if) 對所有的 $\alpha, \beta \in \mathbb{R}$, $\alpha X + \beta Y $為 Normal；且若 $\left[ {\begin{array}{*{20}{c}}
X\\
Y
\end{array}} \right]
$ 為 mean zero，則我們有
\[\left[ {\begin{array}{*{20}{c}}
X\\
Y
\end{array}} \right]{{\sim}}\left( {{\rm{0}},\left[ {\begin{array}{*{20}{c}}
{\sigma _X^2}&{{\mathop{\rm cov}} \left( {X,Y} \right)}\\
{{\mathop{\rm cov}} \left( {Y,X} \right)}&{\sigma _Y^2}
\end{array}} \right]} \right)
\]則應用 part(a) 類似方法讀者可計算上述 Covariance 與 Variance 求得答案。
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
如果我們考慮 積分變數 $f$ 不再是隨機過程，亦即 $f$ 為一非隨機函數, e.g., $f(t)$ (不再是 $f(t,\omega)$)，則對此函數的 Ito integral：
\[
\int_0^t f(s) dB_s
\]為一個 Gaussian Process with zero mean 與 variance $\int_0^t f(s)^2 ds$。我們將此結果計做以下定理
Theorem (Nonrandom integrand of Ito integral yields a Gaussian process)
若 $f \in \mathcal{C}[0,T]$ 為非隨機 連續函數，則由 Ito integral 所定義的 隨機過程 $X_t$
\[
X_t := \int_0^t f(s) dB_s \ , \ t \in [0,T]
\]為 mean zero Gaussian process 且有互相獨立增量與 covariance function
\[
Cov(X_s,S_t) = \int_0^{s \wedge t} f^2(u) du
\]除此之外，如果我們取在 $[0,T]$ 上 Partition 定義如下
\[
t_i := iT/n, \ 0 \leq i \leq n
\] ，且選擇 $t_i^*$ 滿足 $t_{i-1} \leq t_i^* \leq t_i \ , \forall 1 \leq i \leq n$，則我們有 Riemann Representation 如下:
\[
\lim_{n \rightarrow \infty} \sum_{i=1}^{n} f(t_i^*) (B_{t_i} - B_{t_{i-1}}) = \int_0^T f(s) dB_s
\]其中上述 Limit 表 convergence in probability.
Proof
此處的 Riemann Representation proof 可視為 之前 我們討論過的 對隨機函數 $f(B_s)$ 的 Riemann Representation 的特例， 詳細證明請參閱之前文章
[隨機分析] Ito Integral 淺談 (IV) - Ito Integral on L^2 Local space and its Riemann Representation
我們只需證明第一部分：
首先證明 $X_t$ 由獨立增量 (independent increments)。
由 Riemann Representation，我們可知
\[
\lim_{n \rightarrow \infty} \sum_{i=1}^{n} f(t_i^*) (B_{t_i} - B_{t_{i-1}}) = \int_0^T f(s) dB_s
\]因為 $B_{t_i}$ 為標準布朗運動，故由標準布朗運動定義可知 對 $0 \leq i \leq n$$B_{t_i} - B_{t_{i-1}}$ 為獨立增量，$X_t$ 確實具有獨立增量，且標準布朗運動可視為 Gaussian Process，故 $X_t$ 亦為 Gaussian Process。
再者由 Riemann Representation 我們可計算其 mean
\[
E[X_t] = 0
\] 與 Variance (利用 Ito Isometry)
\[
Var[X_t] = E \left[ \left( \int_0^t f(s) dB_s \right )^2 \right ] = \int_0^t f(s)^2 ds
\] 上式可用 Ito isometry 是因為積分變數為 $f \in \mathcal{C} \Rightarrow f \in L_{LOC}^2 [0,T]$，故為平方可積。Ito isometry 可以使用!。
最後，Covariance function 可由上述 Variance formula 與 獨立增量求得。 $\square$
對於非隨機積分變數的 Ito Integral 為 Gaussian Process 這點可以很大的程度上幫助我們計算 distribution。下面我們看幾個定理的應用：
Example 1
試求一確定 (deterministic) 函數 $\tau : [0, \infty) \rightarrow [0, \infty)$ 使得
\[
X_t = \int_0^t e^s dB_s \ \ \text{and} \ \ Y_t = B_{\tau(t)}
\]具有相同的 distribution。 Hint: 使用上述定理。
Proof
首先觀察 $X_t = \int_0^t e^s dB_s$，由於 積分變數 $e^s$ 為確定 (非隨機) 函數，故由上述定理可知，$X_t$ 為 Gaussian process with zero mean 與 covariance： 對 $s<t$
\[
Cov(X_t,X_s) = \int_0^s e^{2u} du =\frac{1}{2}\left( {{e^{2s}} - 1} \right)
\]
現在回頭觀察 $Y_t= B_{\tau(t)}$ ，由於其為標準布朗運動，故亦為 Gaussian process with zero mean，且其 Covariance ： 對 $s<t$
\[\begin{array}{l}
Cov\left( {{Y_t},{Y_s}} \right) = Cov\left( {{B_{\tau (t)}},{B_{\tau (s)}}} \right) = E\left[ {{B_{\tau (t)}}{B_{\tau (s)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{\rm{ = }}
\end{array}E\left[ {\left( {\left( {{B_{\tau (t)}} - {B_{\tau (s)}}} \right) + {B_{\tau (s)}}} \right){B_{\tau (s)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{\rm{ = }}
\end{array}E\left[ {\left( {{B_{\tau (t)}} - {B_{\tau (s)}}} \right){B_{\tau (s)}}} \right] + E\left[ {{B_{\tau (s)}}{B_{\tau (s)}}} \right]\\
by\begin{array}{*{20}{c}}
{}
\end{array}independence\\
\begin{array}{*{20}{c}}
{}&{}&{}&{{\rm{ = }}E\left[ {{B_{\tau (t)}} - {B_{\tau (s)}}} \right]}
\end{array}E\left[ {{B_{\tau (s)}}} \right] + E\left[ {{B_{\tau (s)}}{B_{\tau (s)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{\rm{ = }}
\end{array}\tau (s)
\end{array}
\] 由於 Gaussian process 完全由 mean function 與 covariance function 決定，故令
\[
\tau (s)=\frac{1}{2}\left( {{e^{2s}} - 1} \right)
\]則 $X_t$ 與 $Y_t$ 的 即有相同 distribution 。
Example 2
令 $f \in L^1 [0,T]$ 且 $B_t$ 為在機率空間 $(\Omega, \cal{F}, P)$ Standard Brownian Motion。現在定義
\[
Y_f(\omega) = \int_0^T f(s) B_s ds
\] (a) 試求此積分
(b) 基於結果 (a)，現在對任意兩函數 $f, g \in L^1[0,T]$，試求其 Joint distribution of
\[ \left[ {\begin{array}{*{20}{c}}
{{Y_f}}\\
{{Y_g}}
\end{array}} \right]\]
Comment: 此積分 $Y_f(\omega) = \int_0^T f(s) B_s ds$ 結果為 random variable ，因為是積分到 "固定"大 $T$ (而非任意時刻 $t$)，另外此積分不是 Ito Integral 因為其為對 $ds$ 積分。
Proof
利用積分形式的 Integration by part
\[\begin{array}{l}
d\left( {{U_t}{V_t}} \right) = {U_t}d{V_t} + {V_t}d{U_t} + d\left\langle {{U_t},{V_t}} \right\rangle \\
\Rightarrow {U_t}{V_t} - {U_0}{V_0} = \int_0^t {{U_s}d{V_s}} + \int_0^t {{V_s}d{U_s}} + \left\langle {{U_t},{V_t}} \right\rangle
\end{array}
\]選 $U_t := f(t), V_t := B_t$，則我們有
\[\begin{array}{l}
F\left( t \right){B_t} = \int_0^t {F\left( s \right)d{B_s}} + \int_0^t {{B_s}dF\left( s \right)} + 0\\
\Rightarrow F\left( t \right){B_t} = \int_0^t {F\left( s \right)d{B_t}} + \int_0^t {{B_t}f\left( s \right)ds} \\
\Rightarrow \int_0^t {{B_s}f\left( s \right)ds} = F\left( t \right){B_t} - \int_0^t {F\left( s \right)d{B_t}}
\end{array}
\]注意到 $F\left( t \right){B_t} = F\left( t \right)\int_0^t {d{B_s}} = \int_0^t {F\left( t \right)d{B_s}}$，故我們可以改寫上面的結果:
\[\begin{array}{l}
\int_0^t {f\left( s \right){B_s}ds} = F\left( t \right){B_t} - \int_0^t {F\left( s \right)d{B_t}} \\
\Rightarrow \int_0^t {f\left( s \right){B_s}ds} = \int_0^t {\left[ {F\left( t \right) - F\left( s \right)} \right]d{B_s}} = \int_0^t {\left[ {\int_s^t {f\left( u \right)du} } \right]d{B_s}}
\end{array}\]故
\[
\int_0^T {f\left( s \right){B_s}ds} = \int_0^T {\left[ {\int_s^T {f\left( u \right)du} } \right]d{B_s}}
\] 且由於積分變數 ${\int_s^T {f\left( u \right)du} }$ 為非隨機。故由 上述定理可知其為 Gaussian random variable (因為 $T$ fixed，積分不在是 stochastic process，而是一個 random variable) with zero mean 且 Variance 為
\[
\int_0^T {{{\left[ {\int_s^T {f\left( u \right)du} } \right]}^2}ds}
\]亦即
\[\int_0^T {f\left( s \right){B_s}ds} \sim \mathcal{N}(0, \int_0^T {{{\left[ {\int_s^T {f\left( u \right)du} } \right]}^2}ds})
\]
由 Gaussian random variable 定義可知：若
\[\left[ {\begin{array}{*{20}{c}}
X\\
Y
\end{array}} \right]
\] 為 normal 若且為若 (if and only if) 對所有的 $\alpha, \beta \in \mathbb{R}$, $\alpha X + \beta Y $為 Normal；且若 $\left[ {\begin{array}{*{20}{c}}
X\\
Y
\end{array}} \right]
$ 為 mean zero，則我們有
\[\left[ {\begin{array}{*{20}{c}}
X\\
Y
\end{array}} \right]{{\sim}}\left( {{\rm{0}},\left[ {\begin{array}{*{20}{c}}
{\sigma _X^2}&{{\mathop{\rm cov}} \left( {X,Y} \right)}\\
{{\mathop{\rm cov}} \left( {Y,X} \right)}&{\sigma _Y^2}
\end{array}} \right]} \right)
\]則應用 part(a) 類似方法讀者可計算上述 Covariance 與 Variance 求得答案。
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
2014年3月23日 星期日
[隨機分析] Ito Integral 淺談 (IV) - Ito Integral on L^2 Local space and its Riemann Representation
延續 第三篇，
[隨機分析] Ito Integral 淺談 (III) - Localization
我們有了 Localizing sequence $\{ \upsilon_n \}$之後，便可以開始著手拓展 Ito Integral 到 $f \in L_{LOC}^2[0, T]$。亦即
\[
\int_0^t f(\omega,s) dB_s \ \ \text{for $f \in L_{LOC}^2[0,T]$}
\]
在定義上述Ito Integral之前，我們需要先介紹一個新的概念： Local Martingale
========
Definition (Local Martingale)
考慮 $t \in [0,T]$，令 $M_t$ 為一個對 filtration $\{ \mathcal{F}_t\}$ adapted 的隨機過程，則我們說 $M_t$ 為一個 Local Martingale 若下列條件成立：
========
Comment: 上述的一組停止時間的sequence 即為我們先前所介紹的 Localizing sequence。
有了 Local Martingale 在手之後，我們便可以開始著手拓展Ito Integral 到 $f \in L_{LOC}^2[0, T]$。
=============
Definition: (Construction of the Ito Integral for $f \in L_{LOC}^2$)
考慮對所有 $n$， $X_{n,t}$ 為連續時間的 Ito Integral。
\[
X_{n,t} := \int_0^t f(\omega, s) \cdot 1_{\{s \leq \upsilon_n(\omega)\}} dB_s(\omega)\] ，則存在一組連續的 Local Martingale 使得 對 almost every $\omega$而言，下列隨機過程
\[
X_t(\omega) = X_{n,t}(\omega), \ \text{ $\forall$ n s.t. $\upsilon_n(\omega) \geq t$ }
\]且隨機過程 $X_t(\omega)$ 與 Localizing sequence $\{ \upsilon_n \}$的選取無關，故定義 Ito Integral for $f \in L_{LOC}^2$ :
\[
X_t := \int_0^t f(\omega,s) dB_s
\]
===============
事實上此定義需要進一步證明，但這邊我們先假定此定義是well-defined。然後我們想要進一步討論以下這個重要結果。
===============
Theorem (Riemann Representation)：
令 $f \in \mathcal{C}(\mathbb{R})$ (即 $f$ 為連續實數函數)，且定義 Partition
\[
\Delta_n :=\{ 0 = t_0^n<...<t_n^n=T\}
\]，並 mesh $||\Delta_n|| \rightarrow 0$，則
\[
\int_0^T f(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}) \ \text{in Probability}
\]================
Proof:
我們要證明
\[
\int_0^T f(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}) \ \text{in Probability}
\]
注意到我們現在是落在 compact $[0,T]$，且 布朗運動 $B_t$ 為連續函數，故連續函數在compact domain必定有界。這暗示了$f(B_t)$ 在 $[0,T]$亦為有界。我們把此結果稱作 $(1)$。
有了這個資訊，我們便可先定義一組 停止時間的sequence
\[
\tau_M(\omega) := \inf \{ t \geq 0: |B_t| \geq M \ or \ t=T \}
\]則由結果$(1)$我們知道 $ f(B_t) \cdot 1_{\{ t \leq \tau_M(\omega)\}} \in \mathcal{H}^2[0,T]$ 且 對almost every $\omega$與足夠大的 $n$而言，$\tau_M(\omega) =T$。故此組 停止時間sequence localized $f(B_t(\omega))$，也就是說這組停止時間seqeunce讓 $f(B_t(\omega)) \in L_{LOC}^2[0,T]$。
有了上述結果之後，我們可以開始著手進一步的證明，首先由定理的假設我們引入一個新的函數 $f_M \in \mathcal{C}_c(\mathbb{R})$； ( 其中 $\mathcal{C}_c(\mathbb{R})$ 表連續，且 compactly supported on $\mathbb{R}$ 的space) 使得
\[
f_M(x) = f(x) \ \text{for $|x| \leq M$}
\]因此， $f_M$ 為有界函數(bounded)，故取平方積分後依然有界，故我們可推知 $f_M(B_t) \in \mathcal{H}^2[0,T]$，那麼對於此 $f_M$，我們便可應用先前的 $L^2$ space的結果。
對固定 $M$，我們可以計算對 $f_M$函數的 Ito Integral ： $\int_0^T f_M(B_s) dB_s$。
由於$f_M(B_t) \in \mathcal{H}^2[0,T]$， 回憶 Density LEMMA ( $\mathcal{H}_0^2$ $\text{is Dense in}$ $\mathcal{H}^2$) 可知，我們可以找到一組 approximating sequence $\phi_n \in \mathcal{H}_0^2$ 使得當 $n \rightarrow \infty$，
\[
|| \phi_n - f_M ||_{L^2{(dP \times dt)}} \rightarrow 0 \ \ \ \ (*)
\]因為$\phi_n \in \mathcal{H}_0^2$ ，我們令
\[
\phi_n(\omega,s) = \sum_{i=1}^n f_M(B_{t_{i-1}}) \cdot 1_{\{ t_{i-1} < s \leq t_{i} \}}
\]
為了要檢驗此 $\{ \phi_n\}$ 為我們的approximating sequence to $f_M(B_t)$，故我們由 $(*)$計算其 $L^2$ norm，
\[
\begin{array}{l}
||{\phi _n}\left( {\omega ,s} \right) - {f_M}\left( {{B_s}} \right)|{|_{{L^2}(dP \times dt)}}= E\left[ {\int_0^T {{{\left( {{\phi _n}\left( {\omega ,s} \right) - {f_M}\left( {{B_s}} \right)} \right)}^2}ds} } \right]\\
= E\left[ {\int_0^T {{{\left( {\sum\limits_{i = 1}^n {{f_M}} ({B_{{t_{i - 1}}}}) \cdot {1_{\{ {t_{i - 1}} < s \le {t_i}\} }} - {f_M}\left( {{B_s}} \right)} \right)}^2}ds} } \right]\\
= E\left[ {\int_0^T {{{\left( {\sum\limits_{i = 1}^n {\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)} \cdot {1_{\{ {t_{i - 1}} < s \le {t_i}\} }}} \right)}^2}ds} } \right]\\
= E\left[ {\int_0^T {\sum\limits_{i = 1}^n {{{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \cdot {1_{\{ {t_{i - 1}} < s \le {t_i}\} }}ds} } \right]\\
= \int_{{t_{i - 1}}}^{{t_i}} {\sum\limits_{i = 1}^n {E{{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} ds} \\
\le \int_{{t_{i - 1}}}^{{t_i}} {ds} \sum\limits_{i = 1}^n {E\left( {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right)} \\
= (t_i - t_{i-1}) \sum\limits_{i = 1}^n {E\left[ {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right]}
\end{array}
\ \ \ \ (\star)\]
注意到，如果我們定義
\[
\mu(h) := \sup \{ | f_M(x) - f_M(y)|: |x-y| \leq h\}
\]則由於 $f_M$為落在Compact domain的連續函數，故其必定有界；亦即存在一個夠大的常數$B$使得
\[
\mu(h) \leq B
\]且由連續性可知，當 $h \rightarrow 0 \Rightarrow \mu(h) \rightarrow 0$
故如果我們現在定義
\[
M_i := {\displaystyle \mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{ | {({B_{{t_{i - 1}}}}) - \left( {{B_s}} \right)}} |}}
\]由上述定義，我們可推知 $(\star)$ 有如下關係：
\[
(t_i - t_{i-1}) \sum\limits_{i = 1}^n {E\left[ {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right]}
\leq E[\mu^2(M_i))] \\
\]
其中 $ \mu^2(M_i) \leq B \cdot \mu(M_i) \rightarrow 0 \text{as $n \rightarrow \infty$}$
故由 Dominated Convergence theorem，可知當 $n \rightarrow \infty$，我們有
\[
(t_i - t_{i-1}) \sum\limits_{i = 1}^n {E\left[ {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right]}
\leq E[\mu^2(M_i))] \rightarrow 0
\]
故 $\{ \phi_n\}$ 為我們的approximating sequence to $f_M(B_t)$。
故我們現在可以計算 $\phi_n$對應的 Ito Integral
\[
I(\phi_n) = \sum_i f_M(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}})
\]且由 Ito Isometry，我們知道 $I(\phi_n) \rightarrow I(f_M)$ in $L^2(dP)$，故我們有了對 $f_M$的Riemann Representation
\[
I(f_M) = \int_0^T f_M(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f_M(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}). \ \ (**)
\]
但注意到上式是對 $f_M$，我們想要定義的是 $f$，故現在我們可以開始證明convergence in probability。
首先觀察 $f$ 與 $f_M$ 的兩者間的關係如下：
對所有的 $\omega \in \{ \omega: \tau_M(\omega) =T \}$，我們有 $f(B_{t_i}) = f_M(B_{t_i}) \ \forall \ 0 \leq i \leq n$，故考慮 事件 $\{ \tau_M(\omega) = T\}$，則有如下結果
\[
\int_0^T f(B_s) dB_s = \int_0^T f(B_s) \cdot 1_{\{s \leq \tau_M(\omega) \}}dB_s
\]
定義下列事件 $A_n(\varepsilon )$
\[
A_n(\varepsilon ) := \left\{ {\omega :\left| {\sum\limits_{i = 1}^n {f\left( {{B_{{t_{i - 1}}}}} \right)\left( {{B_{{t_i}}} - {B_{{t_{i - 1}}}}} \right)} - \int_0^T {f\left( {{B_s}} \right)d{B_s}} } \right| \ge \varepsilon } \right\}
\]
故現在我們需要證明的是 對所有的 $\varepsilon >0 $，當$n \rightarrow \infty$，上述事件 $A_n(\varepsilon )$發生的機率為0
我們首先將事件 $A_n(\varepsilon )$ 分成兩部分：
\[P\left( {\left\{ {{A_n}\left( \varepsilon \right) \cap \left\{ {{\tau _M}\left( \omega \right) < T} \right\}} \right\}} \right) + P\left( {\left\{ {{A_n}\left( \varepsilon \right) \cap \left\{ {{\tau _M}\left( \omega \right) = T} \right\}} \right\}} \right)\]當 $M$夠大的時候，第一項 $P\left( {\left\{ {{A_n}\left( \varepsilon \right) \cap \left\{ {{\tau _M}\left( \omega \right) < T} \right\}} \right\}} \right) \leq P\left( {\left\{ {{\tau _M}\left( \omega \right) < T} \right\}} \right) \rightarrow 0$
現在注意第二項，利用 Chebyshev's inequality，我們可以得到下面關係：
\[\begin{array}{l}
P\left( {\left\{ {{A_n}\left( \varepsilon \right) \cap \left\{ {{\tau _M}\left( \omega \right) = T} \right\}} \right\}} \right)\\
\le P\left( {\left\{ {\omega :\left| {\sum\limits_{i = 1}^n {{f_M}\left( {{B_{{t_{i - 1}}}}} \right)\left( {{B_{{t_i}}} - {B_{{t_{i - 1}}}}} \right)} - \int_0^T {{f_M}\left( {{B_s}} \right)d{B_s}} } \right| \ge \varepsilon } \right\}} \right)\\
\le \frac{1}{{{\varepsilon ^2}}}E\left[ {{{\left| {\sum\limits_{i = 1}^n {{f_M}\left( {{B_{{t_{i - 1}}}}} \right)\left( {{B_{{t_i}}} - {B_{{t_{i - 1}}}}} \right)} - \int_0^T {{f_M}\left( {{B_s}} \right)d{B_s}} } \right|}^2}} \right] \rightarrow 0
\end{array}\]
最後式成立是來自之前 Rimenn Representation $ (**)$ 的結果。故我們得到
\[
\int_0^T f(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}) \ \text{in Probability}
\]至此證明完畢。 $\square$
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
[隨機分析] Ito Integral 淺談 (III) - Localization
我們有了 Localizing sequence $\{ \upsilon_n \}$之後，便可以開始著手拓展 Ito Integral 到 $f \in L_{LOC}^2[0, T]$。亦即
\[
\int_0^t f(\omega,s) dB_s \ \ \text{for $f \in L_{LOC}^2[0,T]$}
\]
在定義上述Ito Integral之前，我們需要先介紹一個新的概念： Local Martingale
========
Definition (Local Martingale)
考慮 $t \in [0,T]$，令 $M_t$ 為一個對 filtration $\{ \mathcal{F}_t\}$ adapted 的隨機過程，則我們說 $M_t$ 為一個 Local Martingale 若下列條件成立：
存在一組 停止時間 的sequence $\upsilon_1(\omega) \leq \upsilon_2(\omega) \leq ... \leq \upsilon_n(\omega) \leq ...$ 使得對所有的 $n$，
\[ M_{t \wedge \upsilon_n(\omega)} - M_0 \] 為一個 Martingale， 且機率 $P\left( \bigcup\limits_n {\left\{ {\upsilon_n(\omega) = T} \right\}} \right) =1$
Comment: 上述的一組停止時間的sequence 即為我們先前所介紹的 Localizing sequence。
有了 Local Martingale 在手之後，我們便可以開始著手拓展Ito Integral 到 $f \in L_{LOC}^2[0, T]$。
=============
Definition: (Construction of the Ito Integral for $f \in L_{LOC}^2$)
考慮對所有 $n$， $X_{n,t}$ 為連續時間的 Ito Integral。
\[
X_{n,t} := \int_0^t f(\omega, s) \cdot 1_{\{s \leq \upsilon_n(\omega)\}} dB_s(\omega)\] ，則存在一組連續的 Local Martingale 使得 對 almost every $\omega$而言，下列隨機過程
\[
X_t(\omega) = X_{n,t}(\omega), \ \text{ $\forall$ n s.t. $\upsilon_n(\omega) \geq t$ }
\]且隨機過程 $X_t(\omega)$ 與 Localizing sequence $\{ \upsilon_n \}$的選取無關，故定義 Ito Integral for $f \in L_{LOC}^2$ :
\[
X_t := \int_0^t f(\omega,s) dB_s
\]
===============
事實上此定義需要進一步證明，但這邊我們先假定此定義是well-defined。然後我們想要進一步討論以下這個重要結果。
===============
Theorem (Riemann Representation)：
令 $f \in \mathcal{C}(\mathbb{R})$ (即 $f$ 為連續實數函數)，且定義 Partition
\[
\Delta_n :=\{ 0 = t_0^n<...<t_n^n=T\}
\]，並 mesh $||\Delta_n|| \rightarrow 0$，則
\[
\int_0^T f(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}) \ \text{in Probability}
\]================
Proof:
我們要證明
\[
\int_0^T f(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}) \ \text{in Probability}
\]
注意到我們現在是落在 compact $[0,T]$，且 布朗運動 $B_t$ 為連續函數，故連續函數在compact domain必定有界。這暗示了$f(B_t)$ 在 $[0,T]$亦為有界。我們把此結果稱作 $(1)$。
有了這個資訊，我們便可先定義一組 停止時間的sequence
\[
\tau_M(\omega) := \inf \{ t \geq 0: |B_t| \geq M \ or \ t=T \}
\]則由結果$(1)$我們知道 $ f(B_t) \cdot 1_{\{ t \leq \tau_M(\omega)\}} \in \mathcal{H}^2[0,T]$ 且 對almost every $\omega$與足夠大的 $n$而言，$\tau_M(\omega) =T$。故此組 停止時間sequence localized $f(B_t(\omega))$，也就是說這組停止時間seqeunce讓 $f(B_t(\omega)) \in L_{LOC}^2[0,T]$。
有了上述結果之後，我們可以開始著手進一步的證明，首先由定理的假設我們引入一個新的函數 $f_M \in \mathcal{C}_c(\mathbb{R})$； ( 其中 $\mathcal{C}_c(\mathbb{R})$ 表連續，且 compactly supported on $\mathbb{R}$ 的space) 使得
\[
f_M(x) = f(x) \ \text{for $|x| \leq M$}
\]因此， $f_M$ 為有界函數(bounded)，故取平方積分後依然有界，故我們可推知 $f_M(B_t) \in \mathcal{H}^2[0,T]$，那麼對於此 $f_M$，我們便可應用先前的 $L^2$ space的結果。
對固定 $M$，我們可以計算對 $f_M$函數的 Ito Integral ： $\int_0^T f_M(B_s) dB_s$。
由於$f_M(B_t) \in \mathcal{H}^2[0,T]$， 回憶 Density LEMMA ( $\mathcal{H}_0^2$ $\text{is Dense in}$ $\mathcal{H}^2$) 可知，我們可以找到一組 approximating sequence $\phi_n \in \mathcal{H}_0^2$ 使得當 $n \rightarrow \infty$，
\[
|| \phi_n - f_M ||_{L^2{(dP \times dt)}} \rightarrow 0 \ \ \ \ (*)
\]因為$\phi_n \in \mathcal{H}_0^2$ ，我們令
\[
\phi_n(\omega,s) = \sum_{i=1}^n f_M(B_{t_{i-1}}) \cdot 1_{\{ t_{i-1} < s \leq t_{i} \}}
\]
為了要檢驗此 $\{ \phi_n\}$ 為我們的approximating sequence to $f_M(B_t)$，故我們由 $(*)$計算其 $L^2$ norm，
\[
\begin{array}{l}
||{\phi _n}\left( {\omega ,s} \right) - {f_M}\left( {{B_s}} \right)|{|_{{L^2}(dP \times dt)}}= E\left[ {\int_0^T {{{\left( {{\phi _n}\left( {\omega ,s} \right) - {f_M}\left( {{B_s}} \right)} \right)}^2}ds} } \right]\\
= E\left[ {\int_0^T {{{\left( {\sum\limits_{i = 1}^n {{f_M}} ({B_{{t_{i - 1}}}}) \cdot {1_{\{ {t_{i - 1}} < s \le {t_i}\} }} - {f_M}\left( {{B_s}} \right)} \right)}^2}ds} } \right]\\
= E\left[ {\int_0^T {{{\left( {\sum\limits_{i = 1}^n {\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)} \cdot {1_{\{ {t_{i - 1}} < s \le {t_i}\} }}} \right)}^2}ds} } \right]\\
= E\left[ {\int_0^T {\sum\limits_{i = 1}^n {{{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \cdot {1_{\{ {t_{i - 1}} < s \le {t_i}\} }}ds} } \right]\\
= \int_{{t_{i - 1}}}^{{t_i}} {\sum\limits_{i = 1}^n {E{{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} ds} \\
\le \int_{{t_{i - 1}}}^{{t_i}} {ds} \sum\limits_{i = 1}^n {E\left( {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right)} \\
= (t_i - t_{i-1}) \sum\limits_{i = 1}^n {E\left[ {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right]}
\end{array}
\ \ \ \ (\star)\]
注意到，如果我們定義
\[
\mu(h) := \sup \{ | f_M(x) - f_M(y)|: |x-y| \leq h\}
\]則由於 $f_M$為落在Compact domain的連續函數，故其必定有界；亦即存在一個夠大的常數$B$使得
\[
\mu(h) \leq B
\]且由連續性可知，當 $h \rightarrow 0 \Rightarrow \mu(h) \rightarrow 0$
故如果我們現在定義
\[
M_i := {\displaystyle \mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{ | {({B_{{t_{i - 1}}}}) - \left( {{B_s}} \right)}} |}}
\]由上述定義，我們可推知 $(\star)$ 有如下關係：
\[
(t_i - t_{i-1}) \sum\limits_{i = 1}^n {E\left[ {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right]}
\leq E[\mu^2(M_i))] \\
\]
其中 $ \mu^2(M_i) \leq B \cdot \mu(M_i) \rightarrow 0 \text{as $n \rightarrow \infty$}$
故由 Dominated Convergence theorem，可知當 $n \rightarrow \infty$，我們有
\[
(t_i - t_{i-1}) \sum\limits_{i = 1}^n {E\left[ {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right]}
\leq E[\mu^2(M_i))] \rightarrow 0
\]
故 $\{ \phi_n\}$ 為我們的approximating sequence to $f_M(B_t)$。
故我們現在可以計算 $\phi_n$對應的 Ito Integral
\[
I(\phi_n) = \sum_i f_M(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}})
\]且由 Ito Isometry，我們知道 $I(\phi_n) \rightarrow I(f_M)$ in $L^2(dP)$，故我們有了對 $f_M$的Riemann Representation
\[
I(f_M) = \int_0^T f_M(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f_M(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}). \ \ (**)
\]
但注意到上式是對 $f_M$，我們想要定義的是 $f$，故現在我們可以開始證明convergence in probability。
首先觀察 $f$ 與 $f_M$ 的兩者間的關係如下：
對所有的 $\omega \in \{ \omega: \tau_M(\omega) =T \}$，我們有 $f(B_{t_i}) = f_M(B_{t_i}) \ \forall \ 0 \leq i \leq n$，故考慮 事件 $\{ \tau_M(\omega) = T\}$，則有如下結果
\[
\int_0^T f(B_s) dB_s = \int_0^T f(B_s) \cdot 1_{\{s \leq \tau_M(\omega) \}}dB_s
\]
定義下列事件 $A_n(\varepsilon )$
\[
A_n(\varepsilon ) := \left\{ {\omega :\left| {\sum\limits_{i = 1}^n {f\left( {{B_{{t_{i - 1}}}}} \right)\left( {{B_{{t_i}}} - {B_{{t_{i - 1}}}}} \right)} - \int_0^T {f\left( {{B_s}} \right)d{B_s}} } \right| \ge \varepsilon } \right\}
\]
故現在我們需要證明的是 對所有的 $\varepsilon >0 $，當$n \rightarrow \infty$，上述事件 $A_n(\varepsilon )$發生的機率為0
我們首先將事件 $A_n(\varepsilon )$ 分成兩部分：
\[P\left( {\left\{ {{A_n}\left( \varepsilon \right) \cap \left\{ {{\tau _M}\left( \omega \right) < T} \right\}} \right\}} \right) + P\left( {\left\{ {{A_n}\left( \varepsilon \right) \cap \left\{ {{\tau _M}\left( \omega \right) = T} \right\}} \right\}} \right)\]當 $M$夠大的時候，第一項 $P\left( {\left\{ {{A_n}\left( \varepsilon \right) \cap \left\{ {{\tau _M}\left( \omega \right) < T} \right\}} \right\}} \right) \leq P\left( {\left\{ {{\tau _M}\left( \omega \right) < T} \right\}} \right) \rightarrow 0$
現在注意第二項，利用 Chebyshev's inequality，我們可以得到下面關係：
\[\begin{array}{l}
P\left( {\left\{ {{A_n}\left( \varepsilon \right) \cap \left\{ {{\tau _M}\left( \omega \right) = T} \right\}} \right\}} \right)\\
\le P\left( {\left\{ {\omega :\left| {\sum\limits_{i = 1}^n {{f_M}\left( {{B_{{t_{i - 1}}}}} \right)\left( {{B_{{t_i}}} - {B_{{t_{i - 1}}}}} \right)} - \int_0^T {{f_M}\left( {{B_s}} \right)d{B_s}} } \right| \ge \varepsilon } \right\}} \right)\\
\le \frac{1}{{{\varepsilon ^2}}}E\left[ {{{\left| {\sum\limits_{i = 1}^n {{f_M}\left( {{B_{{t_{i - 1}}}}} \right)\left( {{B_{{t_i}}} - {B_{{t_{i - 1}}}}} \right)} - \int_0^T {{f_M}\left( {{B_s}} \right)d{B_s}} } \right|}^2}} \right] \rightarrow 0
\end{array}\]
最後式成立是來自之前 Rimenn Representation $ (**)$ 的結果。故我們得到
\[
\int_0^T f(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}) \ \text{in Probability}
\]至此證明完畢。 $\square$
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
2014年3月22日 星期六
[隨機分析] Ito Integral 淺談 (III) - Localization
這次要介紹的是 Localization 的概念。
回憶之前我們所定義的 Ito Integral 都要求 我們的積分變數 $f \in \mathcal{H}^2$，亦即積分變數必須滿足如下 $L^2$ 可積性條件
\[
E \left[ \int_0^T f^2(\omega, t) dt \right] < \infty
\]
現在如果我們考慮如下 Ito Integral：
考慮 $g : \mathbb{R} \rightarrow \mathbb{R}$ 為連續函數
\[
\int_0^t g(B_s)dB_s
\]則此 連續函數的積分變數 $g$ 並無法滿足我們的可積性條件 (WHY?)：比如說如果我們選擇
\[
g(B_t) :={e^{{B_t}^4}}
\]，為一個連續函數，但如果我們現在去觀察其期望值： (by Jensen's inequality)
\[
E[{e^{{B_t}^4}}] \ge {e^{E[{B_t}^4]}} = {e^{E[{B_t}^4]}} = {e^{3{t^2}}}
\]上式透過Jensen inequality告訴我們有明確的下界，但並無上界 (隨著 $t$ 變大，下界跟著exponetially 變大)，也就是說 $E[{e^{{B_t}^4}}] \rightarrow \infty$ 還沒開始積分就爆掉了。為了解決這個問題。 我們需要進一步拓展可積分的函數範圍，我們利用 Stopping time來巧妙的幫助我們拓展Ito Integral至更廣泛的函數 (EX: 連續函數)。
------------------------
Definition: $f \in L_{LOC}^2 [0,T]$ space
令函數 $f: \Omega \times [0,T] \rightarrow \mathbb{R}$ 為 measurable 與 adapted；若存在一組 非遞減 (nondecreasing) 停止時間(stopping time) 的 sequence
\[
\upsilon_1(\omega) \leq \upsilon _2(\omega) \leq ... \leq \upsilon_n(\omega) \leq ...
\] 使得 $f_n(\omega,t) := f(\omega,t) \cdot 1_{ \{ t \leq \upsilon_n(\omega) \} } \in \mathcal{H}^2[0,T]$ 且對足夠大的 $n$而言， $\upsilon_n(\omega) = T$ for almost every $\omega$；則我們說
\[
f \in L_{LOC}^2 [0,T]
\]
Comments:
1. 上述定義中的 停止時間(stopping time) 的 sequence 稱作 Localizing sequence. 用來把增加的太快的函數用 stopping time 擋下來 使其仍然落在 $\mathcal{H}^2$ 之中。
2. 由 $f \in L_{LOC}^2$ 的定義，可知 $\mathcal{H}^2 \subset L_{LOC}^2$，故對任意連續函數 $g : \mathbb{R} \rightarrow \mathbb{R}$ 而言，我們有 $f(\omega, t) = g(B_t)$，注意到標準布朗運動 $B_t$ 為連續函數，故 $g(B_t)$亦為連續函數。現在如果我們的 $ f(\omega,t) = g(B_t) \in L_{LOC}^2$，則有一組停止時間使得我們的積分變數都落在 $\mathcal{H}^2$又因為連續函數在compact domain必為有界，故我們可以推論對任意固定 $\omega$，函數 $t \mapsto g(B_t(\omega))$ 在閉區間 $[0, T]$ 為有界，亦即 $ f(\omega,t) = g(B_t) \in L_{LOC}^2$。積分變數為連續函數的 Ito Integral 亦可被定義。
3. 上述的定義適合用於拓展Ito積分到 $L_{LOC}^2$，但並不容易用來確認函數是否落在 $L_{LOC}^2$。故下面我們給出一個等價的定義結果：
Claim: $f \in L_{LOC}^2 \Leftrightarrow \int_0^T f(\omega,t)^2 dt < \infty$ for almost every $\omega$
Proof
先證 $ ( \Rightarrow )$
假設 $f \in L_{LOC}^2$，我們要證明 $\int_0^T f(\omega,t)^2 dt < \infty$ for almost every $\omega$
由定義 $f \in L_{LOC}^2 [0,T]$ space，可知 存在一組 非遞減 (nondecreasing) 停止時間(stopping time) 的 sequence
\[
\upsilon_1(\omega) \leq \upsilon _2(\omega) \leq ... \leq \upsilon_n(\omega) \leq ...
\] 使得 $f_n(\omega,t) = f(\omega,t) \cdot 1_{ \{ t \leq \upsilon_n(\omega) \} } \in \mathcal{H}^2[0,T]$
且對足夠大的 $n$而言， $\upsilon_n(\omega) = T$ for almost every $\omega$
我們首先利用 $f_n(\omega,t) \in \mathcal{H}^2$ 可知，
\[
E \left [ \int_0^T f^2_n(\omega,t) dt \right ] < \infty
\] 亦即
\[
\Rightarrow E \left [ \int_0^T f^2(\omega,t) \cdot 1_{ \{ t \leq \upsilon_n(\omega) \} } dt \right ] < \infty \ \ \ (*)
\] 注意到其實上式已經幾乎是我們要的，如果我們能證明期望值內部的積分是有限的。故我們定義一個事件為 " $f_n(\omega,t)$ 為平方可積分的事件"，亦即定義事件 $\Gamma_n$如下
\[
\Gamma_n := \left \{ \omega: \int_0^T f^2_n(\omega,t) dt <\infty \right \}
\]
則機率 $P \{ \Gamma_n \} = 1$
現在，我們對$\Gamma_n$取交集，得到 $\Gamma = \bigcap\limits_n {{\Gamma _n}} $，且 $P \{ \Gamma \} = 1$；
現在我們使用為尚未用上的 $f \in L_{LOC}^2 [0,T]$ space 定義：對足夠大的 $n$而言， $\upsilon_n(\omega) = T$ for almost every $\omega$，
故令 $\omega \in \Gamma$ 且 $n$ 足夠大。使得$\upsilon_n(\omega) = T$；則我們觀察式 $(*)$ 的等號右邊
\[
\int_0^T f^2(\omega,t) \cdot 1_{ \{ t \leq \upsilon_n(\omega) \} } dt = \int_0^T f^2(\omega,t) \cdot 1_{ \{ t \leq T \} } dt <\infty
\]但是又注意因為上式 Indicator function 為 $1_{ \{ t \leq T \}}$ 而積分範圍是從 $0$ 到 $T$，故此$1_{ \{ t \leq T \}} =1$，亦即
\[
\int_0^T f^2(\omega,t) \cdot 1_{ \{ t \leq T \} } dt = \int_0^T f^2(\omega,t) dt <\infty
\]
故得證 $(\Rightarrow)$
接著我們證明另一個方向 $(\Leftarrow)$：
假設 $\int_0^T f(\omega,t)^2 dt < \infty$ for almost every $\omega$，我們要證明 $f \in L_{LOC}^2$。
也就是要證明："存在一組 非遞減 (nondecreasing) 停止時間(stopping time) 的 sequence
\[
\upsilon_1(\omega) \leq \upsilon _2(\omega) \leq ... \leq \upsilon_n(\omega) \leq ...
\] 使得 $f_n(\omega,t) := f(\omega,t) \cdot 1_{ \{ t \leq \upsilon_n(\omega) \} } \in \mathcal{H}^2[0,T]$ 且對足夠大的 $n$而言， $\upsilon_n(\omega) = T$ for almost every $\omega$ "
故我們現在定義一組符合上述要求 停止時間的sequence
\[
\upsilon_n(\omega) := \inf \left \{ s \geq 0 : \int_0^s f(\omega, u)^2 du \geq n \ or \ s=T \right \}
\]由基本積分理論可知 $s \mapsto \int_0^s f(\omega, s)^s du$ 為一個連續函數，故我們有下列結果
\[
\int_0^{\upsilon_n(\omega)} f^2(\omega, u) du \leq n \Rightarrow \int_0^T f^2(\omega, u) \cdot 1_{ \{u \leq \upsilon_n(\omega)\}} du \leq n
\]第二式成立是因為對時間 $(du)$ 積分 (非對 $d B_u$積分的 隨機積分)。又因為上式為小於或等於 $n$ 故 我們對其取期望值
\[
E[ \int_0^T f^2(\omega, u) \cdot 1_{\{u \leq \upsilon_n(\omega)\}} du] \leq n < \infty
\]
亦即， $f(\omega,u) \cdot 1_{\{ u \leq \upsilon_n(\omega) \} } \in \mathcal{H}^2[0,T]$. 即為所求 $\square$
==========
延伸閱讀
[隨機分析] Ito Integral 淺談 (IV) - Ito Integral on L^2 Local space
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
[隨機分析] Ito Integral 淺談 (II) - 再論 Ito 積分的建構
回憶前篇 [隨機分析] Ito Integral 淺談 (I) - Ito 積分的建構與Ito Isometry property
，我們討論了在 $\mathcal{H}^2$ 空間 且固定時刻 $T$ 的隨機積分 的建構。
\[
I_T(f)(\omega) = \int_0^T f(\omega, t) dB_t \]
，我們討論了在 $\mathcal{H}^2$ 空間 且固定時刻 $T$ 的隨機積分 的建構。
\[
I_T(f)(\omega) = \int_0^T f(\omega, t) dB_t \]
現在我們進一步放寬固定時刻 $T$ 的限制。使其拓展到 任意時刻 $t < T$
在拓展積分之前我們先介紹一個方便使用的剪切函數 (truncation function) $m_t(\omega,s)$
------------------
Definition: (Truncation function)
定義
\[{m_t}\left( {\omega ,s} \right): = \left\{ \begin{array}{l}
1{,_{}} \ \ \ s \le t\\
0{,_{}} \ \ \ s > t
\end{array} \right.\]
--------------------
有了 $m_t(\omega,s)$ 後，現在給定 $f \in \mathcal{H}^2[0,T]$，對 $t<T$ 我們可以定義被剪切過的函數 $f$ 稱作 $f^{(t)}$ 如下：
\[
f^{(t)}(\omega,s):=f(\omega,s) \cdot m_t(\omega,s)\]
接著我們說對應被剪切過函數的隨機積分 $I_t (f^{(t)}) = I_T(m_t \cdot f) $ almost surely.
Claim: $f \in \mathcal{H}^2[0,T]$, $I_t (f^{(t)}) = I_T(m_t \cdot f) $ almost surely.
Proof
首先由於 $f \in \mathcal{H}^2$，由之前在第一篇提及的 LEMMA ( $\mathcal{H}_0^2$ $\text{is Dense in}$ $\mathcal{H}^2$) 可知，我們可以找到一組 approximating sequence $f_n \in \mathcal{H}_0^2$ 使得當 $n \rightarrow \infty$，
\[
||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0 \ \ \ \ (*)\]
f_n := \displaystyle \sum_{i=0} a_i^n (\omega) 1(t_i^n < t \leq t_{i+1}^n) \]
現在我們讓之前定義的 $m_t $ 乘上 $f_n$ 可得 $f_n^{(t)}$
\[
f_n^{(t)} := m_t \cdot f_n = \displaystyle \sum_{i=0} a_i^n (\omega) 1(t_i^n \wedge t < t \leq t_{i+1}^n \wedge t ) \]
且由 $(*)$，我們知道 $||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0 $ 注意到如果將其乘上$m_t$ 對norm的結果並不影響，亦即 $||m_t f - m_t f_n ||_{L^2{(dP \times dt)}} \rightarrow 0 $；
也就是說
\[
f_n^{(t)} := m_t \cdot f_n \rightarrow m_t \cdot f := f^{(t)} \ \ \text {by definition of $m_t$}\]
另一方面，因為我們知道如何計算 $f_n$的隨機積分，亦即
\[
I_T(f_n)(\omega) := \displaystyle \sum_{i=0} a_i^n (\omega) \{B_{t_{i+1}^n} - B_{t_i}^n \} \]
故把 $f_n$剪切過後的隨機積分亦可計算如下
\[\left\{ \begin{array}{l}
{I_T}({m_t} \cdot {f_n})(\omega ) \to {I_T}({m_t} \cdot f)(\omega )\;\\
{I_t}(f_n^{(t)})(\omega ) \to {I_t}({f^{(t)}})(\omega )
\end{array} \right.\]
上述 Limit 是 in $L^2$ sense。故我們得到
\[ I_T(m_t \cdot f)(\omega) = I_t(f^{(t)})(\omega) \] 在 $L^2$-sense
又因為 $L^2$-convergence $\Rightarrow$ Probability-convergence $\Rightarrow$ 存在 subsequence 使得 almost surely convergence。再由 Limit 唯一性，可知
\[ I_T(m_t \cdot f)(\omega) = I_t(f^{(t)})(\omega) \] almost surely. $\square$
=========
延伸閱讀
[隨機分析] Ito Integral 淺談 (III) - Localization
在拓展積分之前我們先介紹一個方便使用的剪切函數 (truncation function) $m_t(\omega,s)$
------------------
Definition: (Truncation function)
定義
\[{m_t}\left( {\omega ,s} \right): = \left\{ \begin{array}{l}
1{,_{}} \ \ \ s \le t\\
0{,_{}} \ \ \ s > t
\end{array} \right.\]
--------------------
有了 $m_t(\omega,s)$ 後，現在給定 $f \in \mathcal{H}^2[0,T]$，對 $t<T$ 我們可以定義被剪切過的函數 $f$ 稱作 $f^{(t)}$ 如下：
\[
f^{(t)}(\omega,s):=f(\omega,s) \cdot m_t(\omega,s)\]
接著我們說對應被剪切過函數的隨機積分 $I_t (f^{(t)}) = I_T(m_t \cdot f) $ almost surely.
Claim: $f \in \mathcal{H}^2[0,T]$, $I_t (f^{(t)}) = I_T(m_t \cdot f) $ almost surely.
Proof
首先由於 $f \in \mathcal{H}^2$，由之前在第一篇提及的 LEMMA ( $\mathcal{H}_0^2$ $\text{is Dense in}$ $\mathcal{H}^2$) 可知，我們可以找到一組 approximating sequence $f_n \in \mathcal{H}_0^2$ 使得當 $n \rightarrow \infty$，
\[
||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0 \ \ \ \ (*)\]
又因為 $f_n \in \mathcal{H}_0^2$，由$\mathcal{H}_0^2$定義可知，此空間是由step function所構成，故 $f_n$ 為step function 並可表為下式
\[f_n := \displaystyle \sum_{i=0} a_i^n (\omega) 1(t_i^n < t \leq t_{i+1}^n) \]
現在我們讓之前定義的 $m_t $ 乘上 $f_n$ 可得 $f_n^{(t)}$
\[
f_n^{(t)} := m_t \cdot f_n = \displaystyle \sum_{i=0} a_i^n (\omega) 1(t_i^n \wedge t < t \leq t_{i+1}^n \wedge t ) \]
且由 $(*)$，我們知道 $||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0 $ 注意到如果將其乘上$m_t$ 對norm的結果並不影響，亦即 $||m_t f - m_t f_n ||_{L^2{(dP \times dt)}} \rightarrow 0 $；
也就是說
\[
f_n^{(t)} := m_t \cdot f_n \rightarrow m_t \cdot f := f^{(t)} \ \ \text {by definition of $m_t$}\]
另一方面，因為我們知道如何計算 $f_n$的隨機積分，亦即
\[
I_T(f_n)(\omega) := \displaystyle \sum_{i=0} a_i^n (\omega) \{B_{t_{i+1}^n} - B_{t_i}^n \} \]
故把 $f_n$剪切過後的隨機積分亦可計算如下
\[\left\{ \begin{array}{l}
{I_T}({m_t} \cdot {f_n})(\omega ) \to {I_T}({m_t} \cdot f)(\omega )\;\\
{I_t}(f_n^{(t)})(\omega ) \to {I_t}({f^{(t)}})(\omega )
\end{array} \right.\]
上述 Limit 是 in $L^2$ sense。故我們得到
\[ I_T(m_t \cdot f)(\omega) = I_t(f^{(t)})(\omega) \] 在 $L^2$-sense
又因為 $L^2$-convergence $\Rightarrow$ Probability-convergence $\Rightarrow$ 存在 subsequence 使得 almost surely convergence。再由 Limit 唯一性，可知
\[ I_T(m_t \cdot f)(\omega) = I_t(f^{(t)})(\omega) \] almost surely. $\square$
=========
延伸閱讀
[隨機分析] Ito Integral 淺談 (III) - Localization
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
2014年3月20日 星期四
[最佳化理論] Conjugate Direction Methods (2) - The Conjugate Gradient Algorithm for Quadratic Objective function
OK，現在接續前面兩篇
=========================
我們將 Conjugate Gradient Algorithm (for Quadratic Objective Function) 總結如下8個步驟：
下面我們將給個例子來驗證上述的方法。
=================
Example:
考慮下列二階 目標函數
\[
J({u_1},{u_2},{u_3}) = \frac{3}{2}u_1^2 + 2u_2^2 + \frac{3}{2}u_3^2 + u_1u_3 + 2u_2u_3 - 3{u_1} - {u_3}
\] 令初始值為 $u^{(0) } = [0, \ 0, \ 0]^T$ 求使用 Conjugate Gradient Method 找出最佳解。
Solution
首先觀察二階 目標函數，我們可以將其改寫成矩陣型式如下
$J(u) = \frac{1}{2} u^T Q u - u^T b$
$\Rightarrow J(u)= \frac{1}{2}\left[ {\begin{array}{*{20}{c}}{{u_1}}&{{u_2}}&{{u_3}}\end{array}} \right]\left[ {\begin{array}{*{20}{c}}3&0&1\\0&4&2\\1&2&3\end{array}} \right]\left[ {\begin{array}{*{20}{c}}{{u_1}}\\{{u_2}}\\{{u_3}}\end{array}} \right] - \left[ {\begin{array}{*{20}{c}}{{u_1}}&{{u_2}}&{{u_3}}\end{array}} \right]\left[ {\begin{array}{*{20}{c}}3\\0\\1\end{array}} \right]$
接著我們計算梯度：
$ \bigtriangledown J(u) = Q u - b = \left[ {\begin{array}{*{20}{c}}{3{u_1} + {u_3} - 3}\\{4{u_2} + 2{u_3}}\\{{u_1} + 2{u_2} + 3{u_3} - 1}\end{array}} \right]$
在使用 Conjugate Gradient Method之前我們可以先看看其最佳解落在哪裡：
由一階必要條件 $\bigtriangledown J(u^*)=0 $ 與二階充分條件 $\bigtriangledown^2 J(u^*) >0 $ 可知最佳解為
$u^* = Q^{-1}b = [1, 0, 0]^T$
現在我們開始用 Conjugate Gradient Method 來看看會
現在由步驟2可知初始梯度為
$ \bigtriangledown J(u^{(0)}) = Q u^{(0)} - b = \left[ {\begin{array}{*{20}{c}}{ - 3}\\{0}\\{ - 1}\end{array}} \right]$
故 初始Conjugate direction
$d^{(0)} = -\bigtriangledown J(u^{(0)}) =\left[ {\begin{array}{*{20}{c}}{ 3}\\{0}\\{ 1}\end{array}} \right] $
接著由步驟3 我們可以計算 初始 $\alpha_k$
$\alpha_0 = - \frac{{\bigtriangledown^T J({u^{(0)}}){d^{(0)}}}}{{{d^{(0)T}}Q{d^{(0)}}}} = \frac{10}{36} = 0.2778$
接著由步驟4 ： $ u^{(k+1)} = u^{(k)} + \alpha_k d^{(k)}$ 可以算出
$ u^{(1)} = u^{(0)} + \alpha_0 d^{(0)} = [0.8333,\ 0, \ 0.2778]^T$
接著由步驟5：計算下一個跌代的梯度： $ \bigtriangledown J(u^{(k+1)})$
$ \bigtriangledown J(u^{(1)}) = Q u^{(1)} - b = [-0.2222,\ 0.5566, \ 0.6667]^T$
接著由步驟6：計算 $\beta_k $
$\beta_0 = - \frac{{\bigtriangledown^T J({u^{(1)}}){d^{(0)}}}}{{{d^{(0)T}}Q{d^{(0)}}}} = 0.08025$
再者由步驟7 ：計算下一個Conjugate 方向 $d^{(k+1)} $
1. [最佳化理論] Conjugate Direction Methods (0) -Theory
2. [最佳化理論] Conjugate Direction Methods (1) - Basic Algorithm for Quadratic Objective function
這次要來解決如何找到 Conjugate Direction的辦法。幫助我們找到 Conjugate Direction 的方法稱作 共軛梯度演算法 (Conjugate Gradient algorithm) 。
此演算法 藉由 梯度的幫助，使得在任意跌代步驟中，Conjugate Direction 可以由 前一個跌代步的方向 與 現在的 梯度做線性組合來計算出來。且用此法所產生的 Direction 可以保證是 每個方向都是互為 Q-conjugate。故名為 Conjugate Gradient Algorithm；最後我們會給出一個以 二階具有 $n=3$ 個變數的目標函數 作為例子來展示這套方法。
===============
如前所述，考慮標準二階目標函數
\[
J(u) = \frac{1}{2} u^T Q u - u^T b, \ u \in \mathbb{R}^n
\]
其中 $Q = Q^T >0$。
現在我們來看看Conjugate Gradient Algorithm 是如何找到 Conjugate Direction：
對 初始跌代步：$k=0$。
給定任意初始值 $x^{(0)}$ ，且設定 初始方向為最陡坡度(steepest descent)方向，亦即
$d^{(0)} = - \bigtriangledown J(u^{(0)})$
因此 $ u^{(1)} = u^{(0)} + \alpha_0 d^{(0)}$
其中 $\alpha_0$ 一般而言是由line search (一般而言使用MATLAB fminsearch 指令較為簡便)得到，亦即 $\alpha_0 = \arg \min J(x^{(0)} + \alpha d^{(0)})$
不過如果是 考慮 二階目標函數中，則我們可以求得精確的 $\alpha_k$ 如下式
\[
\alpha_0 = \arg \min J(x^{(0)} + \alpha d^{(0)}) = - \frac{{\bigtriangledown^T J({u^{(k)}}){d^{(k)}}}}{{{d^{(k)T}}Q{d^{(k)}}}}
\] 在算出 $ u^{(1)} $ 之後，接著我們移動到下一個跌代步。
因為我們要找到 $d^{(1)}$ 且 此方向與 $d^{(0)}$ 互為Q-conjugate。所以如前所述我們選擇
\[
d^{(1)} = \text {linear combination of } \bigtriangledown J(u^{(1)}) \ \& \ d^{(0)}
\]亦即，對 $k+1$ 跌代步的時候 我們選
\[ d^{(k+1)} = - \bigtriangledown J(u^{(k+1)}) + \beta_k \cdot d^{(k)} \ \ \ ,k=0,1,2,... \]
其中 $\beta_k = - \frac{{\bigtriangledown^T J({u^{(k+1)}}){d^{(k)}}}}{{{d^{(k)T}}Q{d^{(k)}}}}$2. [最佳化理論] Conjugate Direction Methods (1) - Basic Algorithm for Quadratic Objective function
這次要來解決如何找到 Conjugate Direction的辦法。幫助我們找到 Conjugate Direction 的方法稱作 共軛梯度演算法 (Conjugate Gradient algorithm) 。
此演算法 藉由 梯度的幫助，使得在任意跌代步驟中，Conjugate Direction 可以由 前一個跌代步的方向 與 現在的 梯度做線性組合來計算出來。且用此法所產生的 Direction 可以保證是 每個方向都是互為 Q-conjugate。故名為 Conjugate Gradient Algorithm；最後我們會給出一個以 二階具有 $n=3$ 個變數的目標函數 作為例子來展示這套方法。
如前所述，考慮標準二階目標函數
\[
J(u) = \frac{1}{2} u^T Q u - u^T b, \ u \in \mathbb{R}^n
\]
其中 $Q = Q^T >0$。
現在我們來看看Conjugate Gradient Algorithm 是如何找到 Conjugate Direction：
對 初始跌代步：$k=0$。
給定任意初始值 $x^{(0)}$ ，且設定 初始方向為最陡坡度(steepest descent)方向，亦即
$d^{(0)} = - \bigtriangledown J(u^{(0)})$
因此 $ u^{(1)} = u^{(0)} + \alpha_0 d^{(0)}$
其中 $\alpha_0$ 一般而言是由line search (一般而言使用MATLAB fminsearch 指令較為簡便)得到，亦即 $\alpha_0 = \arg \min J(x^{(0)} + \alpha d^{(0)})$
不過如果是 考慮 二階目標函數中，則我們可以求得精確的 $\alpha_k$ 如下式
\[
\alpha_0 = \arg \min J(x^{(0)} + \alpha d^{(0)}) = - \frac{{\bigtriangledown^T J({u^{(k)}}){d^{(k)}}}}{{{d^{(k)T}}Q{d^{(k)}}}}
\] 在算出 $ u^{(1)} $ 之後，接著我們移動到下一個跌代步。
因為我們要找到 $d^{(1)}$ 且 此方向與 $d^{(0)}$ 互為Q-conjugate。所以如前所述我們選擇
\[
d^{(1)} = \text {linear combination of } \bigtriangledown J(u^{(1)}) \ \& \ d^{(0)}
\]亦即，對 $k+1$ 跌代步的時候 我們選
\[ d^{(k+1)} = - \bigtriangledown J(u^{(k+1)}) + \beta_k \cdot d^{(k)} \ \ \ ,k=0,1,2,... \]
=========================
我們將 Conjugate Gradient Algorithm (for Quadratic Objective Function) 總結如下8個步驟：
- 在 $k=0$ 時候給定初始值 $u^{(0)}$
- 計算初始梯度 $ \bigtriangledown J(u^{(0)})$ ，且設令其為初始方向 $d^{(0)} = - \bigtriangledown J(u^{(0)})$ ：注意，如果 $\bigtriangledown J(u^{(0)}) = 0$ 則跌代停止
- 決定 $\alpha_k = - \frac{{\bigtriangledown^T J({u^{(k)}}){d^{(k)}}}}{{{d^{(k)T}}Q{d^{(k)}}}}$
- 計算 $ u^{(k+1)} = u^{(k)} + \alpha_k d^{(k)}$
- 計算下一個跌代的梯度： $ \bigtriangledown J(u^{(k+1)})$；如果 $\bigtriangledown J(u^{(0)}) = 0$ 則跌代停止
- 計算 $\beta_k = - \frac{{\bigtriangledown^T J({u^{(k+1)}}){d^{(k)}}}}{{{d^{(k)T}}Q{d^{(k)}}}}$
- 計算下一個Conjugate 方向 $d^{(k+1)} = - \bigtriangledown J(u^{(k+1)}) + \beta_k \cdot d^{(k)}$
- 令 $k=k+1$ 並重覆到step 3
下面我們將給個例子來驗證上述的方法。
=================
Example:
考慮下列二階 目標函數
\[
J({u_1},{u_2},{u_3}) = \frac{3}{2}u_1^2 + 2u_2^2 + \frac{3}{2}u_3^2 + u_1u_3 + 2u_2u_3 - 3{u_1} - {u_3}
\] 令初始值為 $u^{(0) } = [0, \ 0, \ 0]^T$ 求使用 Conjugate Gradient Method 找出最佳解。
Solution
首先觀察二階 目標函數，我們可以將其改寫成矩陣型式如下
$J(u) = \frac{1}{2} u^T Q u - u^T b$
$\Rightarrow J(u)= \frac{1}{2}\left[ {\begin{array}{*{20}{c}}{{u_1}}&{{u_2}}&{{u_3}}\end{array}} \right]\left[ {\begin{array}{*{20}{c}}3&0&1\\0&4&2\\1&2&3\end{array}} \right]\left[ {\begin{array}{*{20}{c}}{{u_1}}\\{{u_2}}\\{{u_3}}\end{array}} \right] - \left[ {\begin{array}{*{20}{c}}{{u_1}}&{{u_2}}&{{u_3}}\end{array}} \right]\left[ {\begin{array}{*{20}{c}}3\\0\\1\end{array}} \right]$
接著我們計算梯度：
$ \bigtriangledown J(u) = Q u - b = \left[ {\begin{array}{*{20}{c}}{3{u_1} + {u_3} - 3}\\{4{u_2} + 2{u_3}}\\{{u_1} + 2{u_2} + 3{u_3} - 1}\end{array}} \right]$
在使用 Conjugate Gradient Method之前我們可以先看看其最佳解落在哪裡：
由一階必要條件 $\bigtriangledown J(u^*)=0 $ 與二階充分條件 $\bigtriangledown^2 J(u^*) >0 $ 可知最佳解為
$u^* = Q^{-1}b = [1, 0, 0]^T$
現在我們開始用 Conjugate Gradient Method 來看看會
現在由步驟2可知初始梯度為
$ \bigtriangledown J(u^{(0)}) = Q u^{(0)} - b = \left[ {\begin{array}{*{20}{c}}{ - 3}\\{0}\\{ - 1}\end{array}} \right]$
故 初始Conjugate direction
$d^{(0)} = -\bigtriangledown J(u^{(0)}) =\left[ {\begin{array}{*{20}{c}}{ 3}\\{0}\\{ 1}\end{array}} \right] $
接著由步驟3 我們可以計算 初始 $\alpha_k$
$\alpha_0 = - \frac{{\bigtriangledown^T J({u^{(0)}}){d^{(0)}}}}{{{d^{(0)T}}Q{d^{(0)}}}} = \frac{10}{36} = 0.2778$
接著由步驟4 ： $ u^{(k+1)} = u^{(k)} + \alpha_k d^{(k)}$ 可以算出
$ u^{(1)} = u^{(0)} + \alpha_0 d^{(0)} = [0.8333,\ 0, \ 0.2778]^T$
接著由步驟5：計算下一個跌代的梯度： $ \bigtriangledown J(u^{(k+1)})$
$ \bigtriangledown J(u^{(1)}) = Q u^{(1)} - b = [-0.2222,\ 0.5566, \ 0.6667]^T$
$\beta_0 = - \frac{{\bigtriangledown^T J({u^{(1)}}){d^{(0)}}}}{{{d^{(0)T}}Q{d^{(0)}}}} = 0.08025$
再者由步驟7 ：計算下一個Conjugate 方向 $d^{(k+1)} $
$d^{(1)} = - \bigtriangledown J(u^{(1)}) + \beta_0 \cdot d^{(0)} = [0.4630, -0.5556, -0.5864]^T$
再來回到步驟3 重複前述步驟
最後會得到 $u^{(3)} = u^{(2)} + \alpha_2 d^{(2)} = [1, \ 0, \ 0]^T$ 且 $\bigtriangledown J(u^{(3)}) = 0$
上述表示在第三步的時候收斂到最佳解。此結果確實說明了 Conjugate Direction Method 保證對二階 具有 n變數的 目標函數 能夠在 n次跌代之內收斂。此例 n=3 故在第3次跌代的時候即收斂到最佳解。
ref: E. K. P. Chong, S. H. Zak, An Introduction to Optimization 2nd.
ref: E. K. P. Chong, S. H. Zak, An Introduction to Optimization 2nd.
---
延伸閱讀
2014年3月19日 星期三
[最佳化理論] Conjugate Direction Methods (1) - Basic Algorithm for Quadratic Objective function
再接續前面介紹過的 [最佳化理論] Conjugate Direction Methods (0) -Theory
這次我們要介紹 Basic Conjugate Direction Methods 對於 標準二階目標函數的應用。現在考慮下列標準 二階 具有 n 個變數的目標函數
\[
J(u) = \frac{1}{2} u^T Q u + b^T u +c
\] 其中 $Q=Q^T >0$ 且 $u \in \mathbb{R}^n$
Comments:
注意到標準二階目標函數，我們知道 其真正的最佳解為何。 (why?)
由 一階必要條件 FONC： $\bigtriangledown J(u^*) =0$ 可知
\[
\bigtriangledown J^T(u) = \frac{1}{2} \left[ {{{\left( {Qu} \right)}^T} + {u^T}Q} \right] + {b^T} = 0
\]因為 $Q^T = Q$ ，上式可改寫
\[ \bigtriangledown J(u) = Q u + {b} = 0 \Rightarrow u^* = - {Q^{ - 1}}b \]再者檢驗二階充分條件 SOSC (Hessian Condition): ($\bigtriangledown^2 J(u^*) > 0$)
$ \bigtriangledown^2 J(u) =Q $ 又因為我們說 $Q$ 為正定矩陣。故 $ \bigtriangledown^2 J(u) =Q >0 $； 亦即 $u^* = - {Q^{ - 1}}b$ 為 Strong Local minimum (在此例中， $u^* = {Q^{ - 1}}b$ 亦為 Global minimum)。
------------------
對於上述的標準二階目標函數而言，Conjugate Direction Algorithm 設計如下
============================
Basic Conjugate Direction Algorithm
給定初始值 $u^{(0)}$ 與 Q-conjugate 方向 $d^{(0)}, d^{(1)}, ..., d^{(n-1)}$；對 $k \geq 0$
$ {{g^{(k)}}} = \bigtriangledown J(u^{(k)}) = Q u^{(k)} - b$
${\alpha _k} = - \frac{{{g^{(k)T}}{d^{(k)}}}}{{{d^{(k){{T}}}}{{Q}}{d^{(k)}}}} $
${u^{(k + 1)}} = {u^{(k)}} + {\alpha _k}{d^{(k)}}$
============================
回憶之前我們曾經提過 Conjugate Direction Method對標準二階 n變數的 目標函數可以在 n 步內找到最佳解。在此我們並不證明這個重要結果。只把它紀錄如下：
=============
Theorem: Quadratic Convergence Property
考慮 $J(u) = \frac{1}{2} u^T Q u + b^T u + c$ 其中 $Q=Q^T >0$ 且 $u \in \mathbb{R}^n$ 。那麼對任意初始值 $u^{(0)}$ ，上述 Basic Conjugate Direction Algorithm 可以最多在 $n$ 步收斂到最佳解 $u^{*} = -Q^{-1} b$
=============
Proof: Omitted.
=============
至此我們知道了基本的Basic Conjugate Direction Algorithm，也知道其確實十分有效率 (至少對二階具有 $n$ 個變數的目標函數 由前述定理可知 在 $n$ 步之內收斂 )；但問題是如果我們回頭檢查 Conjugate Direction Algorithm 會發現儘管有辦法給定初始值，其 Q-conjugate direction仍然未定。下一篇將會介紹 如何 在 跌代過程中順便把 Conjugate direction 也產生出來的演算法 (此法稱作 Conjugate Gradient Method )。
ref: E. K. P. Chong, S. H. Zak, An Introduction to Optimization 2nd.
====
延伸閱讀
[最佳化理論] Conjugate Direction Methods (2) - The Conjugate Gradient Algorithm for Quadratic Objective function
這次我們要介紹 Basic Conjugate Direction Methods 對於 標準二階目標函數的應用。現在考慮下列標準 二階 具有 n 個變數的目標函數
\[
J(u) = \frac{1}{2} u^T Q u + b^T u +c
\] 其中 $Q=Q^T >0$ 且 $u \in \mathbb{R}^n$
Comments:
注意到標準二階目標函數，我們知道 其真正的最佳解為何。 (why?)
由 一階必要條件 FONC： $\bigtriangledown J(u^*) =0$ 可知
\[
\bigtriangledown J^T(u) = \frac{1}{2} \left[ {{{\left( {Qu} \right)}^T} + {u^T}Q} \right] + {b^T} = 0
\]因為 $Q^T = Q$ ，上式可改寫
\[ \bigtriangledown J(u) = Q u + {b} = 0 \Rightarrow u^* = - {Q^{ - 1}}b \]再者檢驗二階充分條件 SOSC (Hessian Condition): ($\bigtriangledown^2 J(u^*) > 0$)
$ \bigtriangledown^2 J(u) =Q $ 又因為我們說 $Q$ 為正定矩陣。故 $ \bigtriangledown^2 J(u) =Q >0 $； 亦即 $u^* = - {Q^{ - 1}}b$ 為 Strong Local minimum (在此例中， $u^* = {Q^{ - 1}}b$ 亦為 Global minimum)。
------------------
對於上述的標準二階目標函數而言，Conjugate Direction Algorithm 設計如下
============================
Basic Conjugate Direction Algorithm
給定初始值 $u^{(0)}$ 與 Q-conjugate 方向 $d^{(0)}, d^{(1)}, ..., d^{(n-1)}$；對 $k \geq 0$
$ {{g^{(k)}}} = \bigtriangledown J(u^{(k)}) = Q u^{(k)} - b$
${\alpha _k} = - \frac{{{g^{(k)T}}{d^{(k)}}}}{{{d^{(k){{T}}}}{{Q}}{d^{(k)}}}} $
${u^{(k + 1)}} = {u^{(k)}} + {\alpha _k}{d^{(k)}}$
============================
回憶之前我們曾經提過 Conjugate Direction Method對標準二階 n變數的 目標函數可以在 n 步內找到最佳解。在此我們並不證明這個重要結果。只把它紀錄如下：
=============
Theorem: Quadratic Convergence Property
考慮 $J(u) = \frac{1}{2} u^T Q u + b^T u + c$ 其中 $Q=Q^T >0$ 且 $u \in \mathbb{R}^n$ 。那麼對任意初始值 $u^{(0)}$ ，上述 Basic Conjugate Direction Algorithm 可以最多在 $n$ 步收斂到最佳解 $u^{*} = -Q^{-1} b$
=============
Proof: Omitted.
=============
至此我們知道了基本的Basic Conjugate Direction Algorithm，也知道其確實十分有效率 (至少對二階具有 $n$ 個變數的目標函數 由前述定理可知 在 $n$ 步之內收斂 )；但問題是如果我們回頭檢查 Conjugate Direction Algorithm 會發現儘管有辦法給定初始值，其 Q-conjugate direction仍然未定。下一篇將會介紹 如何 在 跌代過程中順便把 Conjugate direction 也產生出來的演算法 (此法稱作 Conjugate Gradient Method )。
ref: E. K. P. Chong, S. H. Zak, An Introduction to Optimization 2nd.
延伸閱讀
[最佳化理論] Conjugate Direction Methods (2) - The Conjugate Gradient Algorithm for Quadratic Objective function
[最佳化理論] Conjugate Direction Methods (0) -Basic Theory
這次要跟大家介紹的是最佳化理論中的 一類 算法；叫做 Conjugate Direction Methods (共軛方向演算法)。此次我們主要focus在理論部分。實際演算法實現留待之後再介紹
(想要看算法的讀者建議直接閱讀 [最佳化理論] Conjugate Direction Methods (2) - The Conjugate Gradient Algorithm for Quadratic Objective function )
注意這邊我用 Method"s"，表示所謂的Conjugate Direction Method有很多種。所以我們稱之為這一類。在介紹之前先說說這類 計算方法 有甚麼特色
J(u) = \frac{1}{2} u^T Q u - u^T b
\]
那麼現在我們來問問，什麼叫Conjugate Direction??
本質上來說就是他是一個 方向 (也就是向量 )! 具有共軛 (Conjugate) 的性質。所以我們得先知道什麼叫做 Conjugate；以下一組向量 $ d^{(0)}, d^{(1)}, ..., d^{(m)}$ 被稱作 Conjugate 的定義
-----------------
${ \bf \text{Definition: (Q-Conjugate)}}$
令 $Q$ 為一個 real symmetric $n \times n$ 矩陣。其方向 $ d^{(0)}, d^{(1)}, ..., d^{(m)}$ 稱作 Q-conjugate 如果下列條件成立：
\[
\forall i \neq j, \ d^{(i)T} Q d^{(j)} =0
\]-----------------
知道這個Conjugate定義之後會問說要知道這個定義有甚麼用呢? 用處就是一旦有了Conjugate direction，則這些directions會彼此線性獨立。我們將此結果記做下面引理
-----------------
$\text{Lemma: (Q-Conjugate direction is linearly independent)}$
令 $Q$ 為一個 對稱 且 正定 (symmetric and positive definite) $n \times n$ 矩陣。若 下列方向 $ d^{(0)}, d^{(1)}, ..., d^{(n-1)} \in \mathbb{R}^n$ 為非零向量且 Q-conjugate ，則 這些方向互為線性獨立。
-----------------
Proof:
我們要證明 $ d^{(0)}, d^{(1)}, ..., d^{(n-1)}$ 互為線性獨立。由線性獨立定義，假設
\[
\displaystyle \sum_{i=0} ^{n-1} \alpha_i d^{(i)} =0,
\]必須證明 $\forall \alpha_i =0$
現在如果我們考慮對任意 $\alpha_k$ 的情況，將上述summation同乘 $d^{(k)T} Q$，可得
\[
d^{(k)T} Q \displaystyle \sum_{i=0} ^{n-1} \alpha_i d^{(i)} =0 \Rightarrow \displaystyle \sum_{i=0} ^{n-1} \alpha_i d^{(k)T} Q d^{(i)} =0 \ \ \ \ (*)
\]現在由於前提可知 $ d^{(0)}, d^{(1)}, ..., d^{(n-1)}$ 為 Q-conjugate，由Q-conjugate 定義可知 $\forall i \neq j$, $d^{(i)T}Qd^{(j)} =0$
(想要看算法的讀者建議直接閱讀 [最佳化理論] Conjugate Direction Methods (2) - The Conjugate Gradient Algorithm for Quadratic Objective function )
注意這邊我用 Method"s"，表示所謂的Conjugate Direction Method有很多種。所以我們稱之為這一類。在介紹之前先說說這類 計算方法 有甚麼特色
- 對於 2階 具有n個變數的 目標函數 (Quadratic Objective function with n variables) 可以在 n步驟內求解。(也就是對二階目標函數收斂性很好 (求解的計算速度夠快) )
- 一般而言常用的 Conjugate Direction Gradient Algorithm 方法不需要計算 Hessian Matrix
- Conjugate Direction Methods 不須計算反矩陣
Comments:
上述的2階 具有n個變數的 目標函數 表示如下：
對 $u \in \mathbb{R}^n$ ， $Q$ 為 對稱 且 正定矩陣 $Q=Q^T \succ 0$ ，目標函數寫為
\[對 $u \in \mathbb{R}^n$ ， $Q$ 為 對稱 且 正定矩陣 $Q=Q^T \succ 0$ ，目標函數寫為
J(u) = \frac{1}{2} u^T Q u - u^T b
\]
那麼現在我們來問問，什麼叫Conjugate Direction??
本質上來說就是他是一個 方向 (也就是向量 )! 具有共軛 (Conjugate) 的性質。所以我們得先知道什麼叫做 Conjugate；以下一組向量 $ d^{(0)}, d^{(1)}, ..., d^{(m)}$ 被稱作 Conjugate 的定義
-----------------
${ \bf \text{Definition: (Q-Conjugate)}}$
令 $Q$ 為一個 real symmetric $n \times n$ 矩陣。其方向 $ d^{(0)}, d^{(1)}, ..., d^{(m)}$ 稱作 Q-conjugate 如果下列條件成立：
\[
\forall i \neq j, \ d^{(i)T} Q d^{(j)} =0
\]-----------------
知道這個Conjugate定義之後會問說要知道這個定義有甚麼用呢? 用處就是一旦有了Conjugate direction，則這些directions會彼此線性獨立。我們將此結果記做下面引理
-----------------
$\text{Lemma: (Q-Conjugate direction is linearly independent)}$
令 $Q$ 為一個 對稱 且 正定 (symmetric and positive definite) $n \times n$ 矩陣。若 下列方向 $ d^{(0)}, d^{(1)}, ..., d^{(n-1)} \in \mathbb{R}^n$ 為非零向量且 Q-conjugate ，則 這些方向互為線性獨立。
-----------------
Proof:
我們要證明 $ d^{(0)}, d^{(1)}, ..., d^{(n-1)}$ 互為線性獨立。由線性獨立定義，假設
\[
\displaystyle \sum_{i=0} ^{n-1} \alpha_i d^{(i)} =0,
\]必須證明 $\forall \alpha_i =0$
現在如果我們考慮對任意 $\alpha_k$ 的情況，將上述summation同乘 $d^{(k)T} Q$，可得
\[
d^{(k)T} Q \displaystyle \sum_{i=0} ^{n-1} \alpha_i d^{(i)} =0 \Rightarrow \displaystyle \sum_{i=0} ^{n-1} \alpha_i d^{(k)T} Q d^{(i)} =0 \ \ \ \ (*)
\]現在由於前提可知 $ d^{(0)}, d^{(1)}, ..., d^{(n-1)}$ 為 Q-conjugate，由Q-conjugate 定義可知 $\forall i \neq j$, $d^{(i)T}Qd^{(j)} =0$
故對所有的 $i \neq k$， $d^{(k)T}Qd^{(i)} =0$ ，亦即：
\[
\displaystyle \sum_{i=0} ^{n-1} \alpha_i d^{(k)T} Q d^{(i)} =0 ; \Rightarrow \displaystyle \alpha_k d^{(k)T} Q d^{(k)} =0
\]又因為我們的前提告訴我們 $Q$ 為一個 symmetric positive definite $n \times n$ 矩陣，且方向 $ d^{(0)}, d^{(1)}, ..., d^{(n-1)} \in \mathbb{R}^n$ 為非零向量；
\displaystyle \sum_{i=0} ^{n-1} \alpha_i d^{(k)T} Q d^{(i)} =0 ; \Rightarrow \displaystyle \alpha_k d^{(k)T} Q d^{(k)} =0
\]又因為我們的前提告訴我們 $Q$ 為一個 symmetric positive definite $n \times n$ 矩陣，且方向 $ d^{(0)}, d^{(1)}, ..., d^{(n-1)} \in \mathbb{R}^n$ 為非零向量；
由正定矩陣定義： $d^{(k)T} Q d^{(k)} > 0$, $\forall d^{(k)} \neq 0$。故可知
\[
(*) \Rightarrow {\alpha _k}\underbrace {{d^{(k)T}}Q{d^{(k)}}}_{ > 0} = 0
\]亦即
\[
\Rightarrow {\alpha _k} = 0
\]現在由於 $\alpha_k$ 為任意給定。故
\[
\displaystyle \sum_{i=0} ^{n-1} \alpha_k d^{(k)} =0, \ \forall \alpha_k =0
\]即為所求。 $\square$
ref: E. K. P. Chong, S. H. Zak, An Introduction to Optimization 2nd.
\[
(*) \Rightarrow {\alpha _k}\underbrace {{d^{(k)T}}Q{d^{(k)}}}_{ > 0} = 0
\]亦即
\[
\Rightarrow {\alpha _k} = 0
\]現在由於 $\alpha_k$ 為任意給定。故
\[
\displaystyle \sum_{i=0} ^{n-1} \alpha_k d^{(k)} =0, \ \forall \alpha_k =0
\]即為所求。 $\square$
ref: E. K. P. Chong, S. H. Zak, An Introduction to Optimization 2nd.
----
延伸閱讀
[最佳化理論] Conjugate Direction Methods (1) - Basic Algorithm for Quadratic Objective function
[最佳化理論] Conjugate Direction Methods (2) - The Conjugate Gradient Algorithm for Quadratic Objective function
延伸閱讀
[最佳化理論] Conjugate Direction Methods (1) - Basic Algorithm for Quadratic Objective function
[最佳化理論] Conjugate Direction Methods (2) - The Conjugate Gradient Algorithm for Quadratic Objective function
2014年3月1日 星期六
[隨機分析] Ito Integral 淺談 (I) - Ito Integral 的建構與 Ito Isometry property
這次要介紹隨機分析中的 Ito integral 的建構：
目標：建立下面的(隨機)積分 or Ito integral
\[
{\color {red} {I(f)(\omega) = \int_0^T f(\omega, t) dB_t}} \ \ \ \ (*) \]
其中 $T$ 為固定時間， $B_t$ 是標準布朗運動(Standard Brownian motion)。 $f(\omega, t)$是一個隨機過程。
$I(f) (\omega)$ 表示積分為一個 mapping (之後會定義該從哪邊mapping到哪邊)，且積分完畢之後會是一個隨機變數 (function of $\omega$)
Comment:
你可能會問上面的積分跟一般積分有何不同!?
第一 是積分變數 $f(\omega,t)$ 不再是定數。此時的積分變數為一個隨機過程。
第二是 後方積分對象 $dB_t$ 亦為一個隨機過程 (標準布朗運動)。此時會使原本的Riemann -Stieltjes 積分無法定義(因為寫成sum之後左端點與右端點的答案不同)。 ( Ito Integral 選擇左端點因為之後會有較好的性質 ( Ito integral is (Local) martingale. )不過這是後話。)
建構 Ito 積分的想法如下：
先透過一類簡單的函數定義出上面的積分。再將其定義域擴展到更廣的函數類別。
積分變數(Integrand)需要那些條件?
為了要讓上述的積分可以make sense， $(*)$ 式子中的積分變數 $f(\omega,t)$ 必須先滿足一些基本的可測性 (measurability) 與可積分 (integrability) 的條件。
首先考慮可測性(measurability)：
令 $\mathcal{B}:=$ the smallest $\sigma$-algebra that contains all of the open subsets of $[0, T]$
$\{ \mathcal{F}_t \}:=$ be standard Brownian filtration
且對所有的 $t \geq 0$， $\mathcal{F}_t \times \mathcal{B}:=$ the smallest $\sigma$-algebra that contains all of the product sets $A \times B$；其中 $A \in \mathcal{F}_t$ 且 $B \in \mathcal{B}$
最後我們說 $f(\cdot , \cdot)$ 是 可測的 (measurable) 如果 $f(\cdot , \cdot) \in \mathcal{F}_T \times \mathcal{B}$
且 $f(\cdot , \cdot)$ 是 adapted 如果 對所有的 $t \in [0,T]$, $f(\cdot,t) \in \mathcal{F}_t$
再者考慮積分性(integrability)：
為了建構前述 Ito 積分 $(*)$，我們會先將注意力放在 積分變數 $f(w,t)$ 是落在 $\mathcal{H}^2[0,T]$ 空間 ( $\mathcal{H}^2$ is a closed linear subspace of $L^2(dP \times dt)$ )。其中 $\mathcal{H}^2[0,T]$ 表示是由所有 measurable + adapted 函數 $f$組成的集合，且滿足下列積分限制
\[
E \left [ \int_0^T f(\omega,t)^2 dt \right ]<\infty
\]
Comments:
1. 上式積分限制為 $L^2 (dP \times dt )$-norm ；
2. 上式積分限制為 一個雙重積分 ( 期望值由定義為 Lebesgue 積分；e.g., $E[X] := \int_{\Omega} X dP $ ) 注意到 $dP$ 指的是 Lebesgue 積分 對應於上式積分限制中的期望值部分， $dt$ 指的上式積分限制中 Rieman 積分的部分，亦即對應於上式的 $\int_0^T f(\omega,t)^2 dt $
現在我們可以開始定義積分。First step
回憶我們的idea：先建構 對基本函數的積分 再進一步拓展。所以在此我們先定義某一類基本函數所在的集合如下：
定義集合： $\mathcal{H}_0^2$ 為 $\mathcal{H}^2$的子集合，且此集合 $\mathcal{H}_0^2$ 由下列基本 step 函數構成
\[
f(\omega, t) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) 1(t_i < t \leq t_{i+1}) \ \ \ \ (1)
\]其中 $a_i \in \mathcal{F}_{t_i}$, $E[a_i^2 ]< \infty$ , $1(\cdot)$ 為 indicator function，且定義 partition
\[
0 = t_0 < t_1 < ... < t_{n-1} < t_n =T
\] NOTE: 關於 Indicator function $1(\cdot)$有興趣的讀者請參閱 [機率論] Indicator function
那麼，對於上式 $(1)$ ，我們定義在 $ \mathcal{H}_0^2$ 上的 Ito Integral 為
\[
I(f)(\omega) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) \{B_{t_{i+1}} - B_{t_i} \} \ \ \ \ (2)
\]
兩邊同取期望值 + 利用 Brownian motion 定義 (independent increment $\Rightarrow$ 上式的交叉項取期望值 $=0$) + $a_i \in \mathcal{F}_{t_i}$可得
$E[ I(f)^2(\omega) ]= \displaystyle \sum_{i=0}^{n-1}E[ a_i^2 (\omega) \{B_{t_{i+1}} - B_{t_i} \}^2] $
$= \displaystyle \sum_{i=0}^{n-1}E[ a_i^2 (\omega) ] E[\{B_{t_{i+1}} - B_{t_i} \}^2] = \displaystyle \sum_{i=0}^{n-1}E[ a_i^2 (\omega) ] (t_{i+1} - t_{i}) \ \ \ \ (\star \star )$
現在比較 $\star$ 與 $\star \star$ 可知兩式相等，故得証。 $\square$
------
現在我們得知 $I(f)(\omega)$ 確實從 $\mathcal{H}_0^2$ 映射到 $L^2(dP)$，且因為 $I(f)(\omega)$ 在映射過程保持 了 norm (isometry property)，這暗示了 $I(f)(\omega)$ 亦將 Cauchy sequence in $\mathcal{H}_0^2$ 映射到 a Cauchy sequence in $L^2(dP)$
故下面的引理說明了我們可以用在 $\mathcal{H}_0^2$ 中的元素來逼近 落在 $\mathcal{H}^2$中的元素。
--------
LEMMA 2 ( $\mathcal{H}_0^2$ $\text{is Dense in}$ $\mathcal{H}^2$)
對任意 $f \in \mathcal{H}^2 \subset L^2(dP \times dt)$，存在一個序列 $\{ f_n \}$ 且 $f_n \in \mathcal{H}_0^2$ 使得當 $n \rightarrow \infty$
\[
||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0
\]---
Proof: omitted.
至此我們便完成Ito 積分的第一步，用 simple step function $\in \mathcal{H}_0^2$ 逼近(取極限) 落在 $\mathcal{H}^2$的元素，並且將此極限稱為 Ito integral in $\mathcal{H}^2$
另外由於現在 Ito 積分已經被定義在 $\mathcal{H}^2$ 空間，之前的 Ito isometry 也被拓展到 $\mathcal{H}^2$，此為Ito 積分建構中的重要結果，我們將其寫為下面的定理：
--------
Theorem 3 ( $ \text{Ito Isometry in}$ $\mathcal{H}^2$)
對任意 $f \in \mathcal{H}^2 \subset L^2(dP \times dt)$，我們有下列的 Isometry 性質
\[
|| I(f)(\omega) ||_{L^2{(dP)}} = ||f ||_{L^2{(dP \times dt)}}
\]---
Proof:
因為定理陳述為對任意的 $f \in \mathcal{H}^2$，故我們令 $f\in \mathcal{H}^2 $ ；則由 LEMMA2 可知，存在一個序列 $\{ f_n \}$ 且 $f_n \in \mathcal{H}_0^2$ 使得當 $n \rightarrow \infty$
\[
||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0
\]再者，因為上述為 $L^2$-norm，(反向)三角不等式 $| \ ||X|| - ||Y|| \ | \leq ||X-Y||$告訴我們
\[
| \ ||f_n||_{L^2{(dP \times dt)}} - ||f||_{L^2{(dP \times dt)}} \ | \leq ||f_n - f ||_{L^2{(dP \times dt)}} \rightarrow 0 \\
\Rightarrow ||f_n||_{L^2{(dP \times dt)}} \rightarrow ||f||_{L^2{(dP \times dt)}}
\] 同樣的， $I(f_n) \rightarrow I(f)$ in $L^2(dP)$，由三角不等式我們可知
\[
\Rightarrow ||I(f_n)||_{L^2{(dP)}} \rightarrow ||I(f)||_{L^2{(dP)}}
\] 但由 LEMMA1，我們知道，$||f_n||_{L^2(dP \times dt)}= || I(f_n) ||_{L^2(dP)} \ \ \ \ (**)$，且由前述討論可知左右兩式的極限都存在，亦即
\[
||f_n||_{L^2{(dP \times dt)}} \rightarrow ||f||_{L^2{(dP \times dt)}}
\]\[
||I(f_n)||_{L^2{(dP)}} \rightarrow ||I(f)||_{L^2{(dP)}}
\]故對式 $(**)$ 兩邊取極限可得
\[
|| I(f)(\omega) ||_{L^2{(dP)}} = ||f ||_{L^2{(dP \times dt)}} \]
上式 即為所求。 $\square$
目標：建立下面的(隨機)積分 or Ito integral
\[
{\color {red} {I(f)(\omega) = \int_0^T f(\omega, t) dB_t}} \ \ \ \ (*) \]
其中 $T$ 為固定時間， $B_t$ 是標準布朗運動(Standard Brownian motion)。 $f(\omega, t)$是一個隨機過程。
$I(f) (\omega)$ 表示積分為一個 mapping (之後會定義該從哪邊mapping到哪邊)，且積分完畢之後會是一個隨機變數 (function of $\omega$)
Comment:
你可能會問上面的積分跟一般積分有何不同!?
第一 是積分變數 $f(\omega,t)$ 不再是定數。此時的積分變數為一個隨機過程。
第二是 後方積分對象 $dB_t$ 亦為一個隨機過程 (標準布朗運動)。此時會使原本的Riemann -Stieltjes 積分無法定義(因為寫成sum之後左端點與右端點的答案不同)。 ( Ito Integral 選擇左端點因為之後會有較好的性質 ( Ito integral is (Local) martingale. )不過這是後話。)
建構 Ito 積分的想法如下：
先透過一類簡單的函數定義出上面的積分。再將其定義域擴展到更廣的函數類別。
積分變數(Integrand)需要那些條件?
為了要讓上述的積分可以make sense， $(*)$ 式子中的積分變數 $f(\omega,t)$ 必須先滿足一些基本的可測性 (measurability) 與可積分 (integrability) 的條件。
首先考慮可測性(measurability)：
令 $\mathcal{B}:=$ the smallest $\sigma$-algebra that contains all of the open subsets of $[0, T]$
$\{ \mathcal{F}_t \}:=$ be standard Brownian filtration
且對所有的 $t \geq 0$， $\mathcal{F}_t \times \mathcal{B}:=$ the smallest $\sigma$-algebra that contains all of the product sets $A \times B$；其中 $A \in \mathcal{F}_t$ 且 $B \in \mathcal{B}$
最後我們說 $f(\cdot , \cdot)$ 是 可測的 (measurable) 如果 $f(\cdot , \cdot) \in \mathcal{F}_T \times \mathcal{B}$
且 $f(\cdot , \cdot)$ 是 adapted 如果 對所有的 $t \in [0,T]$, $f(\cdot,t) \in \mathcal{F}_t$
再者考慮積分性(integrability)：
為了建構前述 Ito 積分 $(*)$，我們會先將注意力放在 積分變數 $f(w,t)$ 是落在 $\mathcal{H}^2[0,T]$ 空間 ( $\mathcal{H}^2$ is a closed linear subspace of $L^2(dP \times dt)$ )。其中 $\mathcal{H}^2[0,T]$ 表示是由所有 measurable + adapted 函數 $f$組成的集合，且滿足下列積分限制
\[
E \left [ \int_0^T f(\omega,t)^2 dt \right ]<\infty
\]
Comments:
1. 上式積分限制為 $L^2 (dP \times dt )$-norm ；
2. 上式積分限制為 一個雙重積分 ( 期望值由定義為 Lebesgue 積分；e.g., $E[X] := \int_{\Omega} X dP $ ) 注意到 $dP$ 指的是 Lebesgue 積分 對應於上式積分限制中的期望值部分， $dt$ 指的上式積分限制中 Rieman 積分的部分，亦即對應於上式的 $\int_0^T f(\omega,t)^2 dt $
現在我們可以開始定義積分。First step
回憶我們的idea：先建構 對基本函數的積分 再進一步拓展。所以在此我們先定義某一類基本函數所在的集合如下：
定義集合： $\mathcal{H}_0^2$ 為 $\mathcal{H}^2$的子集合，且此集合 $\mathcal{H}_0^2$ 由下列基本 step 函數構成
\[
f(\omega, t) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) 1(t_i < t \leq t_{i+1}) \ \ \ \ (1)
\]其中 $a_i \in \mathcal{F}_{t_i}$, $E[a_i^2 ]< \infty$ , $1(\cdot)$ 為 indicator function，且定義 partition
\[
0 = t_0 < t_1 < ... < t_{n-1} < t_n =T
\] NOTE: 關於 Indicator function $1(\cdot)$有興趣的讀者請參閱 [機率論] Indicator function
那麼，對於上式 $(1)$ ，我們定義在 $ \mathcal{H}_0^2$ 上的 Ito Integral 為
\[
I(f)(\omega) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) \{B_{t_{i+1}} - B_{t_i} \} \ \ \ \ (2)
\]
Comment:
1. 注意到上述積分 $ I(f)(\omega)$， 並未寫成一般常用的積分符號 $\int$ 是因為要強調此積分為某種mapping，且此積分目前只建構在基本step函數所構成的空間 $\mathcal{H}_0^2$，尚未值得引入標準的積分符號。
2. 上述積分的 $a_i(\omega)$是取左端點 $i$ 的值 (Ito integral)
接著，我們要開始延伸積分的定義域從 $\mathcal{H}_0^2$ 空間 到整個 $\mathcal{H}^2$ 空間。
1. 注意到上述積分 $ I(f)(\omega)$， 並未寫成一般常用的積分符號 $\int$ 是因為要強調此積分為某種mapping，且此積分目前只建構在基本step函數所構成的空間 $\mathcal{H}_0^2$，尚未值得引入標準的積分符號。
2. 上述積分的 $a_i(\omega)$是取左端點 $i$ 的值 (Ito integral)
接著，我們要開始延伸積分的定義域從 $\mathcal{H}_0^2$ 空間 到整個 $\mathcal{H}^2$ 空間。
再延伸定義域之前，我們必須先確認 $I : \mathcal{H}_0^2 \subset L^2(dP \times dt) \rightarrow L^2 (dP)$ 是一個 continuous mapping。下列引理建立了這個continuous mapping的關係
----------------------------
LEMMA 1 (Ito Isometry on ${\bf \mathcal{H}_0^2}$)
對所有的 $f \in \mathcal{H}_0^2$，我們有如下關係
\[
|| I(f) ||_{L^2(dP)} = ||f||_{L^2(dP \times dt)}
\]-----------------------
Proof
idea: 分別計算左右兩邊的 $L^2$ norm；為了方便起見我們計算 $L^2$-norm的平方，；
給定 $f \in \mathcal{H}_0^2$; i.e., $f(\omega, t) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) 1(t_i < t \leq t_{i+1}) $
先計算右邊的 $ ||f||_{L^2(dP \times dt)}$，由 $L^2$-norm 定義：
\[
||f||_{L^2(dP \times dt)} := \left ( E \left [ \int_0^T f(\omega,t)^2 dt \right ] \right )^{1/2}
\]也就是 $||f||_{L^2(dP \times dt)} ^2$；照定義計算：
\[
f^2(\omega,t) = \left ( \displaystyle \sum_{i=0}^{n-1} a_i (\omega) 1(t_i < t \leq t_{i+1}) \right )^2\\
\Rightarrow f^2(\omega,t) = \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) 1(t_i < t \leq t_{i+1})
\]則
$||f||_{L^2(dP \times dt)} ^2 = E \left [ \int_0^T f(\omega,t)^2 dt \right ] = E \left [ \int_0^T;\displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) 1(t_i < t \leq t_{i+1}) dt \right ] $
$\Rightarrow f^2(\omega,t) = E \left [ \int_{t_i }^{t_{i+1}} \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) dt \right ] $
$\Rightarrow f^2(\omega,t) =E \left [ \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) (t_{i+1}- t_i) \right ]$
$\Rightarrow f^2(\omega,t) = \displaystyle \sum_{i=0}^{n-1} E \left [ a_i^2(\omega) \right ] (t_{i+1}- t_i)) \ \ \ \ (\star)$
LEMMA 1 (Ito Isometry on ${\bf \mathcal{H}_0^2}$)
對所有的 $f \in \mathcal{H}_0^2$，我們有如下關係
\[
|| I(f) ||_{L^2(dP)} = ||f||_{L^2(dP \times dt)}
\]-----------------------
Proof
idea: 分別計算左右兩邊的 $L^2$ norm；為了方便起見我們計算 $L^2$-norm的平方，；
給定 $f \in \mathcal{H}_0^2$; i.e., $f(\omega, t) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) 1(t_i < t \leq t_{i+1}) $
先計算右邊的 $ ||f||_{L^2(dP \times dt)}$，由 $L^2$-norm 定義：
\[
||f||_{L^2(dP \times dt)} := \left ( E \left [ \int_0^T f(\omega,t)^2 dt \right ] \right )^{1/2}
\]也就是 $||f||_{L^2(dP \times dt)} ^2$；照定義計算：
\[
f^2(\omega,t) = \left ( \displaystyle \sum_{i=0}^{n-1} a_i (\omega) 1(t_i < t \leq t_{i+1}) \right )^2\\
\Rightarrow f^2(\omega,t) = \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) 1(t_i < t \leq t_{i+1})
\]則
$||f||_{L^2(dP \times dt)} ^2 = E \left [ \int_0^T f(\omega,t)^2 dt \right ] = E \left [ \int_0^T;\displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) 1(t_i < t \leq t_{i+1}) dt \right ] $
$\Rightarrow f^2(\omega,t) = E \left [ \int_{t_i }^{t_{i+1}} \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) dt \right ] $
$\Rightarrow f^2(\omega,t) =E \left [ \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) (t_{i+1}- t_i) \right ]$
$\Rightarrow f^2(\omega,t) = \displaystyle \sum_{i=0}^{n-1} E \left [ a_i^2(\omega) \right ] (t_{i+1}- t_i)) \ \ \ \ (\star)$
接著再計算左邊的 $|| I(f) ||_{L^2(dP)}$，由定義可知：
\[ || I(f) ||_{L^2(dP)}:= E \left [ I^2(f)(\omega) \right]^{1/2} \]
\[ || I(f) ||_{L^2(dP)}:= E \left [ I^2(f)(\omega) \right]^{1/2} \]
由於我們對基本step函數定義的積分為
$ I(f)(\omega) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) \{B_{t_{i+1}} - B_{t_i} \}$
$\Rightarrow I(f)^2(\omega) = \left ( \displaystyle \sum_{i=0}^{n-1} a_i (\omega) \{B_{t_{i+1}} - B_{t_i} \} \right )^2$
$ = \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) \{B_{t_{i+1}} - B_{t_i} \}^2 + \displaystyle \sum_{i \neq j}^{n-1} a_i (\omega) a_j (\omega) \{B_{t_{i+1}} - B_{t_i} \} \{B_{t_{j+1}} - B_{t_j} \}$
兩邊同取期望值 + 利用 Brownian motion 定義 (independent increment $\Rightarrow$ 上式的交叉項取期望值 $=0$) + $a_i \in \mathcal{F}_{t_i}$可得
$E[ I(f)^2(\omega) ]= \displaystyle \sum_{i=0}^{n-1}E[ a_i^2 (\omega) \{B_{t_{i+1}} - B_{t_i} \}^2] $
$= \displaystyle \sum_{i=0}^{n-1}E[ a_i^2 (\omega) ] E[\{B_{t_{i+1}} - B_{t_i} \}^2] = \displaystyle \sum_{i=0}^{n-1}E[ a_i^2 (\omega) ] (t_{i+1} - t_{i}) \ \ \ \ (\star \star )$
現在比較 $\star$ 與 $\star \star$ 可知兩式相等，故得証。 $\square$
現在我們得知 $I(f)(\omega)$ 確實從 $\mathcal{H}_0^2$ 映射到 $L^2(dP)$，且因為 $I(f)(\omega)$ 在映射過程保持 了 norm (isometry property)，這暗示了 $I(f)(\omega)$ 亦將 Cauchy sequence in $\mathcal{H}_0^2$ 映射到 a Cauchy sequence in $L^2(dP)$
故下面的引理說明了我們可以用在 $\mathcal{H}_0^2$ 中的元素來逼近 落在 $\mathcal{H}^2$中的元素。
--------
LEMMA 2 ( $\mathcal{H}_0^2$ $\text{is Dense in}$ $\mathcal{H}^2$)
對任意 $f \in \mathcal{H}^2 \subset L^2(dP \times dt)$，存在一個序列 $\{ f_n \}$ 且 $f_n \in \mathcal{H}_0^2$ 使得當 $n \rightarrow \infty$
\[
||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0
\]---
Proof: omitted.
至此我們便完成Ito 積分的第一步，用 simple step function $\in \mathcal{H}_0^2$ 逼近(取極限) 落在 $\mathcal{H}^2$的元素，並且將此極限稱為 Ito integral in $\mathcal{H}^2$
另外由於現在 Ito 積分已經被定義在 $\mathcal{H}^2$ 空間，之前的 Ito isometry 也被拓展到 $\mathcal{H}^2$，此為Ito 積分建構中的重要結果，我們將其寫為下面的定理：
--------
Theorem 3 ( $ \text{Ito Isometry in}$ $\mathcal{H}^2$)
對任意 $f \in \mathcal{H}^2 \subset L^2(dP \times dt)$，我們有下列的 Isometry 性質
\[
|| I(f)(\omega) ||_{L^2{(dP)}} = ||f ||_{L^2{(dP \times dt)}}
\]---
Proof:
因為定理陳述為對任意的 $f \in \mathcal{H}^2$，故我們令 $f\in \mathcal{H}^2 $ ；則由 LEMMA2 可知，存在一個序列 $\{ f_n \}$ 且 $f_n \in \mathcal{H}_0^2$ 使得當 $n \rightarrow \infty$
\[
||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0
\]再者，因為上述為 $L^2$-norm，(反向)三角不等式 $| \ ||X|| - ||Y|| \ | \leq ||X-Y||$告訴我們
\[
| \ ||f_n||_{L^2{(dP \times dt)}} - ||f||_{L^2{(dP \times dt)}} \ | \leq ||f_n - f ||_{L^2{(dP \times dt)}} \rightarrow 0 \\
\Rightarrow ||f_n||_{L^2{(dP \times dt)}} \rightarrow ||f||_{L^2{(dP \times dt)}}
\] 同樣的， $I(f_n) \rightarrow I(f)$ in $L^2(dP)$，由三角不等式我們可知
\[
\Rightarrow ||I(f_n)||_{L^2{(dP)}} \rightarrow ||I(f)||_{L^2{(dP)}}
\] 但由 LEMMA1，我們知道，$||f_n||_{L^2(dP \times dt)}= || I(f_n) ||_{L^2(dP)} \ \ \ \ (**)$，且由前述討論可知左右兩式的極限都存在，亦即
\[
||f_n||_{L^2{(dP \times dt)}} \rightarrow ||f||_{L^2{(dP \times dt)}}
\]\[
||I(f_n)||_{L^2{(dP)}} \rightarrow ||I(f)||_{L^2{(dP)}}
\]故對式 $(**)$ 兩邊取極限可得
|| I(f)(\omega) ||_{L^2{(dP)}} = ||f ||_{L^2{(dP \times dt)}} \]
上式 即為所求。 $\square$
=====
延伸閱讀
[隨機分析] Ito Integral 淺談 (II) - 再論 Ito 積分的建構
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
延伸閱讀
[隨機分析] Ito Integral 淺談 (II) - 再論 Ito 積分的建構
ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer
訂閱：
文章 (Atom)