[隨機分析] How to solve SDE practically (4) - Geometric Brownian Motion

這次要介紹的是如何直接求解隨機微分方程 (SDE)? 我們這邊將以 Geometric Brownian Motion 為例：

考慮如下 SDE:
\[
dX_t = \mu X_t dt + \sigma X_t dB_t
\] 其中 $\mu, \sigma$ 為固定常數滿足 $-\infty < \mu < \infty, \ \sigma >0$ ，且給定初始條件 $X_0$

Comment: 
1. 上述 SDE 稱為 Geometric Brownian Motion (GBM)。此 process 在財務上有重要的應用：EX: GBM 為股價波動的基本模型。

2. Compare to Arithmetic Brownian Motion (ABM):
\[
dX_t = \mu dt + \sigma dB_t
\]
Sol：
首先檢驗 Uniqueness 與 Existence ：

由 SDE 的 Uniqueness 與 Existence Theorem，
考慮 $t \in [0,T]$，SDE:
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0
\]若其係數 $\mu, \sigma$滿足  Lipschitz condition
\[
|\mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]與 Growth condition
\[
|\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2)
\]則我們的 SDE 解存在且唯一。

故此 我們首先檢驗 Lipschitz Condition : 觀察 GBM 可知 $\mu(t, X_t) =\mu X_t$, $\sigma(t,X_t) = \sigma X_t $，計算
\[
 |(\mu x) - (\mu y){|^2} + |(\sigma x) - (\sigma y){|^2} = \left( {{\mu ^2} + {\sigma ^2}} \right)|x - y{|^2}
\]令 $K \geq {{\mu ^2} + {\sigma ^2}}$，則我們有如下關係：
\[|(\mu x) - (\mu y){|^2} + |(\sigma x) - (\sigma y){|^2} \le K|x - y{|^2}
\]亦即滿足 Lipschitz Condition。

接著我們檢驗 Growth Condition：
\[|\mu x{|^2} + |\sigma x{|^2} = \left( {{\mu ^2} + {\sigma ^2}} \right){x^2}
\]故我們可選與 Lipschitz condition 相同的 $K$ 滿足 $K \geq {{\mu ^2} + {\sigma ^2}}$ ，則我們有
\[|\mu x{|^2} + |\sigma x{|^2} \le K\left( {{{\left| x \right|}^2}} \right) \le K\left( {1 + {{\left| x \right|}^2}} \right)
\]亦即滿足 Growth Condition。

由於 Lipschitz 與 Growth Condition皆滿足，故由 SDE 的 Uniqueness 與 Existence Theorem 我們可知 GBM 解存在且唯一。

故現在開始求解：
改寫 GBM 如下
\[\begin{array}{l}
d{X_t} = \mu {X_t}dt + \sigma {X_t}d{B_t}\\
 \Rightarrow d{X_t} - \left( {\mu dt + \sigma d{B_t}} \right){X_t} = 0
\end{array}
\]定義積分因子：
\[{U_t}: = {e^{ - \int_0^t {\left( {\mu dt + \sigma d{B_t}} \right) + \frac{1}{2}{\sigma ^2}t} }} = {e^{ - \mu t + \frac{1}{2}{\sigma ^2}t - \sigma {B_t}}}
\] 由 Integration by part，計算
\[d\left( {{X_t}{U_t}} \right) = {X_t}d{U_t} + {U_t}d{X_t} + d\left\langle {{X_t},{U_t}} \right\rangle \ \ \ \ (*)
\]其中
\[\left\{ \begin{array}{l}
d{U_t} = \left( { - \mu  + \frac{1}{2}{\sigma ^2}} \right){U_t}dt - \sigma {U_t}d{B_t} + \frac{1}{2}\sigma {U_t}dt\\
 \Rightarrow d{U_t} = {U_t}\left[ { - \mu dt + {\sigma ^2}dt - \sigma d{B_t}} \right]\\
d\left\langle {{X_t},{U_t}} \right\rangle  = d{X_t} \cdot d{U_t}\\
 = \left( {\mu {X_t}dt + \sigma {X_t}d{B_t}} \right)\left( {{U_t}\left[ { - \mu dt + {\sigma ^2}dt - \sigma d{B_t}} \right]} \right) =  - {\sigma ^2}{X_t}{U_t}dt
\end{array} \right.
\]注意到上述結果 $dU_t$ 為利用 Ito Formula 而得。

現在將上述結果代入 $(*)$ 可得
\[\begin{array}{l}
 \Rightarrow d\left( {{X_t}{U_t}} \right) = {X_t}{U_t}\left[ { - \mu dt + {\sigma ^2}dt - \sigma d{B_t}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} + {U_t}\left( {\mu {X_t}dt + \sigma {X_t}d{B_t}} \right) - {\sigma ^2}{X_t}{U_t}dt\\
 \Rightarrow d\left( {{X_t}{U_t}} \right) = 0
\end{array}
\]現在將其轉換回積分形式：
\[\begin{array}{l}
d\left( {{X_t}{U_t}} \right) = 0\\
 \Rightarrow {X_t}{U_t} - {X_0}{U_0} = 0\\
 \Rightarrow {X_t}{U_t} = {X_0}{U_0} = {X_0}\\
 \Rightarrow {X_t}{e^{ - \mu t + \frac{1}{2}{\sigma ^2}t - \sigma {B_t}}} = {X_0}\\
 \Rightarrow {X_t} = {X_0}{e^{\mu t - \frac{1}{2}{\sigma ^2}t + \sigma {B_t}}}
\end{array}
\] 故我們得到一個 GBM 的解，現在我們檢驗此解確實滿足 GBM：
定義
\[
{X_t} = {X_0}\underbrace {{e^{\mu t - \frac{1}{2}{\sigma ^2}t + \sigma {B_t}}}}_{: = {V_t}}: = {X_0}{V_t}
\]利用 integration by part：
\[d{X_t} = d\left( {{X_0}{V_t}} \right) = {X_0}d\left( {{V_t}} \right) + {V_t}d\left( {{X_0}} \right) + d\left\langle {{X_0},{V_t}} \right\rangle  \ \ \ \ (\star)
\]其中
\[\left\{ \begin{array}{l}
d{V_t} = {V_t}\left[ {\left( {\mu  - \frac{1}{2}{\sigma ^2}} \right)dt + \sigma d{B_t} + \frac{1}{2}{\sigma ^2}dt} \right] = {V_t}\left[ {\mu dt + \sigma d{B_t}} \right]\\
d\left( {{X_0}} \right) = 0\\
d\left\langle {{X_0},{V_t}} \right\rangle  = d{X_0}d{V_t} = 0\\
\end{array} \right.
\]將上述結果代入 $\star$ 可得
\[\begin{array}{l}
d{X_t} = {X_0}d\left( {{V_t}} \right) + {V_t}d\left( {{X_0}} \right) + d\left\langle {{X_0},{V_t}} \right\rangle \\
 \Rightarrow d{X_t} = {X_0}{V_t}\left[ {\mu dt + \sigma d{B_t}} \right] = {X_0}{e^{\mu t - \frac{1}{2}{\sigma ^2}t + \sigma {B_t}}}\left[ {\mu dt + \sigma d{B_t}} \right]
\end{array}
\] 又因為我們之前定義 $X_t := X_0 V_t$，故 ${X_t}{e^{ - \mu t + \frac{1}{2}{\sigma ^2}t - \sigma {B_t}}} = {X_0}$，將此結果也代入上式中的 $X_0$ 我們得到
\[\begin{array}{l}
d{X_t} = {X_t}{e^{ - \mu t + \frac{1}{2}{\sigma ^2}t - \sigma {B_t}}}{e^{\mu t - \frac{1}{2}{\sigma ^2}t + \sigma {B_t}}}\left[ {\mu dt + \sigma d{B_t}} \right]\\
 \Rightarrow d{X_t} = \mu {X_t}dt + \sigma {X_t}d{B_t}
\end{array}
\]此為 GBM ，故 ${X_t} = {X_0}{e^{\mu t - \frac{1}{2}{\sigma ^2}t + \sigma {B_t}}}$ 確實為 GBM 的 (唯一) 解。 $\square$

Comments:
關於上述的 GBM 的解可寫作下列形式
\[{X_t} = {X_0}{e^{\mu t - \frac{1}{2}{\sigma ^2}t + \sigma {B_t}}} = {X_0}{e^{t\left( {\mu  - \frac{1}{2}{\sigma ^2} + \sigma \frac{{{B_t}}}{t}} \right)}}
\]注意到上式中的 $\frac{B_t}{t} \rightarrow 0 \ \text{almost surely}$ 當 $t \rightarrow \infty$ ，(此結果可利用 Strong Law of Large number 證明，在此略過)，故現在觀察上式，當 $t \rightarrow \infty$ 我們得到以下的結果：
\[{X_t} = \left\{ \begin{array}{l}
\infty ,\begin{array}{*{20}{c}}
{}&{}
\end{array}\text{if}\begin{array}{*{20}{c}}
{}
\end{array}\mu  > \frac{1}{2}{\sigma ^2}\\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\text{if}\begin{array}{*{20}{c}}
{}
\end{array}\mu  < \frac{1}{2}{\sigma ^2}\\
{X_0}{e^{\sigma {B_t}}},\begin{array}{*{20}{c}}
{}&{}
\end{array}\text{if}\begin{array}{*{20}{c}}
{}
\end{array}\mu  = \frac{1}{2}{\sigma ^2}
\end{array} \right.
\]

[隨機分析] How to solve SDE practically (3) - Ornstein-Uhlenbeck process

這次要介紹的是如何直接求解隨機微分方程 (SDE)? 我們這邊將以 Ornstein-Uhlenbeck process 為例：

考慮如下SDE ：
令 $\alpha, \sigma >0$，考慮如下 SDE
\[
dX_t = - \alpha X_t dt + \sigma dB_t
\]且給定初始條件 $X_0$ ，此 $X_0$ 與 $B_{\cdot}$ 互相獨立

Comment: 
上述 SDE 稱為 Ornstein-Uhlenbeck process。

Sol：
首先檢驗 Uniqueness 與 Existence ：

由 SDE 的 Uniqueness 與 Existence Theorem，
考慮 $t \in [0,T]$，SDE:
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0
\]若其係數 $\mu, \sigma$滿足  Lipschitz condition
\[
|\mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]與 Growth condition
\[
|\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2)
\]則我們的 SDE 解存在且唯一。故此 我們首先檢驗 Lipschitz Condition : 觀察 Ornstein-Uhlenbeck process 可知 $\mu(t, X_t) = - \alpha X_t, \ \sigma(t, X_t) = \sigma$
\[
|(-\alpha x) - (-\alpha y)|^2 + |\sigma - \sigma|^2 =(\alpha)^2 | x - y|^2
\]令 $K \geq \alpha^2$，則我們有如下關係：
\[
|(-\alpha x) - (-\alpha y)|^2 + |\sigma - \sigma|^2 \leq K | x - y|^2
\]亦即滿足 Lipschitz Condition。

接著我們檢驗 Growth Condition：
\[
|-\alpha x|^2 + |\sigma|^2 = \alpha^2 x^2 + \sigma^2
\]令 $K \geq \max\{\alpha^2, \sigma^2\}$ 則我們有
\[{\alpha ^2}{\left| x \right|^2} + {\sigma ^2} \le K\left( {1 + {{\left| x \right|}^2}} \right)
\]亦即滿足 Growth Condition。

由於 Lipschitz 與 Growth Condition皆滿足，故由 SDE 的 Uniqueness 與 Existence Theorem 我們可知 Ornstein-Uhlenbeck Process 解存在且唯一。

故現在開始求解：
由 Ornstein-Uhlenbeck Process 定義
\[
\begin{array}{l}
d{X_t} =  - \alpha {X_t}dt + \sigma d{B_t}\\
 \Rightarrow d{X_t} + \left( {\alpha dt} \right){X_t} = \sigma d{B_t} \ \ \ \ (*)
\end{array}
\]定義積分因子
\[{U_t}: = {e^{\int_0^t {\alpha dt} }} = {e^{\alpha t}}
\]將上式 $(*)$ 兩邊同乘積分因子，並且我們計算 (由 integration by part)
\[
d\left( {{X_t}{U_t}} \right) = {X_t}d{U_t} + {U_t}d{X_t} + d\left\langle {{X_t},{U_t}} \right\rangle \ \ \ \ (\star)
\]其中 $dU_t$ 與 cross variation: $d\left\langle {{X_t},{U_t}} \right\rangle $ 由 box calculation 計算如下：
\[\begin{array}{l}
d{U_t} = \alpha {e^{\alpha t}}dt  = \alpha {U_t}dt\\
d\left\langle {{X_t},{U_t}} \right\rangle  = d{X_t}d{U_t} = \left( { - \alpha {X_t}dt + \sigma d{B_t}} \right)\alpha {e^{\alpha t}}dt = 0
\end{array}
\]，將上述結果代回 $(\star)$ 故我們可得
\[\begin{array}{l}
d\left( {{X_t}{U_t}} \right) = {X_t}\alpha {U_t}dt + {U_t}\left( { - \alpha {X_t}dt + \sigma d{B_t}} \right)\\
 \Rightarrow d\left( {{X_t}{U_t}} \right) = {U_t}\sigma d{B_t}
\end{array}
\]現在將上式轉換回積分形式
\[\begin{array}{l}
 \Rightarrow {X_t}{U_t} - {X_0}{U_0} = \sigma \int_0^t {{U_t}d{B_t}}  = \sigma \int_0^t {{e^{\alpha s}}d{B_s}} \\
 \Rightarrow {X_t}{e^{\alpha t}} = {X_0} + \sigma \int_0^t {{e^{\alpha s}}d{B_s}} \\
 \Rightarrow {X_t} = {X_0}{e^{ - \alpha t}} + \sigma {e^{ - \alpha t}}\int_0^t {{e^{\alpha s}}d{B_s}}
\end{array}
\]至此我們找到了一個 Ornstein-Uhlenbeck process 的解，現在我們必須檢驗此解確實滿足 我們的 Ornstein-Uhlenbeck SDE，故我們計算 $dX_t$，步驟如下：
首先改寫\[\begin{array}{l}
{X_t} = {X_0}{e^{ - \alpha t}} + \sigma {e^{ - \alpha t}}\int_0^t {{e^{\alpha s}}d{B_s}} \\
 \Rightarrow {X_t} = {e^{ - \alpha t}}\underbrace {\left[ {{X_0} + \sigma \int_0^t {{e^{\alpha s}}d{B_s}} } \right]}_{: = {V_t}}: = {e^{ - \alpha t}}{V_t}
\end{array}
\]現在 利用 Integration by part，可得
\[d{X_t} = d\left( {{e^{ - \alpha t}}{V_t}} \right) = {e^{ - \alpha t}}d{V_t} + {V_t}d\left( {{e^{ - \alpha t}}} \right) + d\left\langle {{U_t},{V_t}} \right\rangle
\]其中
\[\left\{ \begin{array}{l}
d{V_t} = \sigma {e^{\alpha t}}d{B_t}\\
d\left( {{e^{ - \alpha t}}} \right) =  - \alpha {e^{ - \alpha t}}dt\\
d\left\langle {{U_t},{V_t}} \right\rangle  = d{V_t} \cdot d{U_t} = 0
\end{array} \right.
\]將上述結果帶入 $dX_t$ 中可得
\[\begin{array}{l}
d{X_t} = {e^{ - \alpha t}}d{V_t} + {V_t}d\left( {{e^{ - \alpha t}}} \right) + d\left\langle {{U_t},{V_t}} \right\rangle \\
 \Rightarrow d{X_t} = {e^{ - \alpha t}}\sigma {e^{\alpha t}}d{B_t} - \alpha {V_t}{e^{ - \alpha t}}dt\\
 \Rightarrow d{X_t} = \sigma d{B_t} - \alpha {V_t}{e^{ - \alpha t}}dt
\end{array}
\] 又因為 ${X_t} = {e^{ - \alpha t}}{V_t} \Rightarrow {e^{\alpha t}}{X_t} = {V_t}$，將此代入上式我們得到
\[\begin{array}{l}
d{X_t} = \sigma d{B_t} - \alpha {V_t}{e^{ - \alpha t}}dt\\
 \Rightarrow d{X_t} = \sigma d{B_t} - \alpha {e^{\alpha t}}{X_t}{e^{ - \alpha t}}dt\\
 \Rightarrow d{X_t} = \sigma d{B_t} - \alpha {X_t}dt
\end{array}
\]上式即為 Ornstein-Uhlenbeck process ， 亦即 $X_t = {X_0}{e^{ - \alpha t}} + \sigma {e^{ - \alpha t}}\int_0^t {{e^{\alpha s}}d{B_s}} $ 確實為 Ornstein-Uhlenbeck process 的 (唯一)解。 $\square$


Comments:
1. 注意到 Ornstein-Uhlenbeck process 的解：
\[
X_t = {X_0}{e^{ - \alpha t}} + \sigma {e^{ - \alpha t}}\int_0^t {{e^{\alpha s}}d{B_s}}
\] 現在觀察上式的第二項 (Ito integral term)，亦即 $\sigma {e^{ - \alpha t}}\int_0^t {{e^{\alpha s}}d{B_s}} $ 此項的 積分變數為 $f(s) := {{e^{\alpha s}}}$ 亦即不是隨機過程 (為確定 (determinstic) 函數)。故由 FACT: 可知 對任意非隨機連續函數 $f(t)$，其 Ito integral 為一個 Gaussian Process with zero mean 且 variance 為 $\int_0^t f(s)^2 ds$。故我們可知此項為 Gaussian Process：亦即
\[\begin{array}{l}
\sigma {e^{ - \alpha t}}\int_0^t {{e^{\alpha s}}d{B_s}} \sim N\left( {0,{\sigma ^2}{e^{ - 2\alpha t}}\left( {\frac{1}{{2\alpha }}\left( {{e^{2\alpha t}} - 1} \right)} \right)} \right)\\
 \Rightarrow \sigma {e^{ - \alpha t}}\int_0^t {{e^{\alpha s}}d{B_s}} \sim N\left( {0,\frac{{{\sigma ^2}}}{{2\alpha }}\left( { 1- {e^{- 2\alpha t}}} \right)} \right)
\end{array}
\]
2. 再者，如果當 $t \rightarrow \infty$，此解
\[{{X_t} = \underbrace {{X_0}{e^{ - \alpha t}}}_{ \to 0} + \underbrace {\sigma {e^{ - \alpha t}}\int_0^t {{e^{\alpha s}}d{B_s}} }_{ \to N\left( {0,\frac{{{\sigma ^2}}}{{2\alpha }}} \right)}}
\]上述極限為 Convergence in distribution。且注意到由於 $X_0$ 與 $B_{\cdot}$ 互相獨立，故兩個獨立的 Gaussian random variable 相加，亦即：
\[
{X_t} \to N\left( {0 + 0,\frac{{{\sigma ^2}}}{{2\alpha }}} \right) = N\left( {0,\frac{{{\sigma ^2}}}{{2\alpha }}} \right)
\] in distribution

[聖經查考] 箴言第一章

Question:
為何此書卷 叫做 箴言 ?
箴言的目的?
箴言的功用?

[經文] 箴言的價值
大衛的兒子，以色列王所羅門的箴言。這些箴言會使你認識智慧和訓誨，明白格言深奧的含義。它們會教導你怎樣過明智的生活，怎樣作誠實、公正、正直的人。它們會使無知的人精明，教導年輕人處事有方。這些箴言也能使才智的人增長學問，使明達的人獲得開導，明白箴言中的隱喻，以及明智的人所提出的問題。

Comment:
箴言一詞在英文中為 Proverbs，此字可譯作 格言，比如說：不入虎穴，焉得虎子，或者英文中的 No pain no gain。但聖經中的箴言更加強調 "訓誡、教導" 。其寫作方法，採用「對照/類比」、「比喻」、「訓誡」等方式來表達。

箴言的目的：

1. 認識智慧和訓誨，
2. 明白格言深奧的含義。
3. 教導你怎樣過 明智 的生活，
4. 怎樣作 誠實、公正、正直 的人。

箴言的功用：

1. 使無知的人精明，
2. 教導年輕人處事有方。
3. 使才智的人增長學問，
4. 使明達的人獲得開導，明白箴言中的隱喻，以及明智的人所提出的問題。 

==================
Question:
智慧的來自哪裡?
聖經中描述愚蠢的人具有何種特質?
父母的勸戒與訓誨於我有益嗎?
惡人的行為 與 行惡之人的結局為何?

[經文] 勸告年輕人 
敬畏上主是智慧的開端。愚蠢的人輕視智慧，也不願意學習。年輕人哪，要聽從你父親的訓誨，不可忘記你母親的教導。他們的教導，像戴上華冠，更顯出你的品格；像帶上項鍊，使你更俊美。年輕人哪，如果壞人來勾引你，不要隨從他們。如果他們說：「來吧，我們去殺人，找幾個無辜的人打一頓，當作消遣；我們要像冥府把他們活生生地吞下，叫健康的人跌進深坑；我們會獲得各種財物，屋裏裝滿了搶來的東西。一起來幹吧，讓我們分享奪來的贓物。」年輕人哪，不要跟從這種人，要遠遠地避開他們。他們急著要做壞事，隨時隨地想殺人。鳥兒警戒著的時候，你想抓牠是徒然的；可是壞人正是為自己張下羅網，要害死自己。打家劫舍的人往往自己喪命；以竊奪為生的人所遭遇的道路正是這樣。

Comment

• 敬畏上主 $\Rightarrow$ (真)智慧的開端
• 愚蠢的人的特質：輕視智慧，也不願意學習。
• 父母親的訓誨與教導：像戴上華冠，更顯出你的品格；像帶上項鍊，使你更俊美。在此可進一步衍伸成 "神的訓誨" 可使你 像戴上華冠，更顯出品格；像帶上項鍊，使你更俊美
• 竊奪/殺人 的人 的道路：為自己張下羅網，要害死自己。打家劫舍的人往往自己喪命。啟21:8 惟有膽怯的、不信的、可憎的、殺人的、淫亂的、行邪術的、拜偶像的，和一切說謊話的，他們的分就在燒著硫磺的火湖裡；這是第二次的死。

詩119:9 少年人用什麼潔淨他的行為呢？是要遵行你的話！
傳4:13 貧窮而有智慧的少年人勝過年老不肯納諫的愚昧王。
傳11:9 少年人哪，你在幼年時當快樂。在幼年的日子，使你的心歡暢，行你心所願行的，看你眼所愛看的；卻要知道，為這一切的事，神必審問你。
提後2:22 你要逃避少年的私慾，同那清心禱告主的人追求公義、信德、仁愛、和平。



===============
Question:
人在何時才會主動尋求智慧? 順境還是逆境


[經文] 智慧的呼聲 
聽吧，智慧在街市和廣場上呼喚，在城門邊和人群擁擠的地方高聲吶喊：「愚蠢的人哪，你們這樣愚蠢要到幾時呢？你們輕蔑知識要到幾時呢？你們始終不覺悟嗎？要聽我的勸告；我要指導你們，把我所懂得的告訴你們。我在呼喚，你們不聽；我邀請你們，你們全不理會。你們蔑視我的一切勸告，不願意我糾正你們。因此，你們災禍臨頭，我要譏嘲；你們遭遇不幸，恐怖像風暴襲擊你們，帶來災難，使你們悲愁痛苦，我要嗤笑你們。那時，你們要呼求我，我必不理會；要尋找我，必找不到。你們一向不要知識，也不敬畏上主。你們從來不尊重我的勸告，藐視我的責備。因此，你們要自食其果，為自己的行為所傷害。無知的人因拒絕智慧而喪命。愚蠢的人因逍遙自得而毀滅。但那聽從我的人必然安全；他要享受康寧，不怕災害。」

Comment:
第一句即為擬人化的智慧在 "廣場" 呼喊；表示是 智慧 主動尋找人

愚蠢人的特質：

1. 輕蔑知識，也不敬畏上主
2. 始終不覺悟
3. 蔑視一切勸告，不願意被糾正。
4. 災禍臨頭，遭遇不幸，恐怖像風暴襲擊你們，帶來災難，使你們悲愁痛苦，才開始尋求智慧

愚蠢人的結局：

1. 自食其果，為自己的行為所傷害。
2. 無知的人因拒絕智慧而喪命。
3. 愚蠢的人因逍遙自得而毀滅。

聖經其他地方關於愚蠢人、愚妄人、愚頑人的特質：
詩107:17 愚妄人因自己的過犯和自己的罪孽便受苦楚。
詩14:1 愚頑人心裡說：沒有神。
賽32:6 因為愚頑人必說愚頑話，心裡想作罪孽，慣行褻瀆的事，說錯謬的話攻擊耶和華，使飢餓的人無食可吃，使口渴的人無水可喝。
耶4:22 耶和華說：我的百性愚頑，不認識我；他們是愚昧無知的兒女，有智慧行惡，沒有知識行善。

在此段最後提及的 "聽從智慧的人必然安全；他要享受康寧，不怕災害。" 有幾點值得注意

1. "不怕" 災害的原因來自 聽從智慧(的訓誡)。
2. 聽從智慧的人不怕災害，但沒說一定 "沒有" 災害

[線性規劃] Discrete Time Dynamic System Linear Programming

這次要介紹的是如何把一個 有拘束條件 離散時間的動態系統
透過 線性規劃問題來求解。

考慮 離散時間系統的狀態空間表示(state space representation)：
\[
x(k+1) = A x(k) + B u(k), \ \ \ \ \text{given $x(0)$}
\]其中 $x(k) \in \mathbb{R}^n$ 表系統狀態， $u(k)$ 表控制力。

接著我們考慮一些實際的情況：

1. 我們希望系統狀態 隨著時間流逝 與 控制力的幫助，可以在某個時間點達到某個 指定的目標狀態 $x^1$，亦即考慮 終止狀態 $x(N) := x^1$
2. 由於我們是透過控制力來幫助我們讓系統狀態逐步移動到 指定的目標狀態，考量到一班情況，控制力的出力大小須受到一定程度拘束(不可以有無限大的控制力)，亦即
 \[
|u(k)| \leq M \Leftrightarrow -M \leq u(k) \leq M
\]

現在我們定義目標成本函數 (cost function)
\[
J(u) = \displaystyle \sum_{k=0}^{N-1} | u(k)|
\]

Comments:
1. 上述目標為 讓 控制力最小。簡單來說就是要 可以達到目標狀態的情況下 盡可能省力 (可以想像成要要開車 從 A 到 B地點，且盡可能省油。)

2. 上述cost function 最多只能是 取絕對值 (儘管是非線性但可透過一些技巧將其轉換成LP問題)，超過  一般 2階 (or 以上)的 cost function，比如
\[
J(u) = \displaystyle \sum_{k=0}^{N-1} | u(k)|^2
\]不可使用 Linear Programming。因為上述cost function 不再是線性! 。Forget LP in this case..

故我們手上有了一個標準的最佳化問題：
\[\begin{array}{l}
\min J\left( u \right) = \sum\limits_{k = 0}^{N - 1} {\left| {u\left( k \right)} \right|} \\
s.t.\\
\begin{array}{*{20}{c}}
{}
\end{array}x(k + 1) = Ax(k) + Bu(k)\\
\begin{array}{*{20}{c}}
{}
\end{array}x(N): = {x^1}\\
\begin{array}{*{20}{c}}
{}
\end{array}|u(k)| \le M
\end{array}
\]

首先注意到因為我們的成本函數是對 $u(k)$ 最小化，故上式中的拘束應改寫成由 $u(k)$表示：
故我們先改寫 目標狀態拘束 $x(N) = x^1$ 用 $u(k)$ 表示：

怎麼做呢!? 由 離散時間系統的狀態方程
\[
x(k+1) = A x(k) + B u(k), \ \ \ \ \text{given $x(0)$}
\]我們可以進行 跌代求解如下：
\[\begin{array}{l}
x(1) = Ax(0) + Bu(0)\\
x(2) = Ax(1) + Bu(1) = A\left[ {Ax(0) + Bu(0)} \right] + Bu(1)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {A^2}x(0) + ABu(0) + Bu(1)\\
x(3) = Ax(2) + Bu(2) = A\left[ {{A^2}x(0) + ABu(0) + Bu(1)} \right] + Bu(2)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {A^3}x(0) + {A^2}Bu(0) + ABu(1) + Bu(2)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} \vdots \\
x(N) = {A^N}x(0) + {A^{N - 1}}Bu(0) +  \cdots  + ABu(N - 2) + Bu(N - 1)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {A^N}x(0) + \sum\limits_{k = 0}^{N - 1} {{A^{N - 1 - k}}Bu(k)}
\end{array}
\]又因為 $x(N) := x^1$，故我們得到
\[\begin{array}{l}
{x^1} = {A^N}x(0) + \sum\limits_{k = 0}^{N - 1} {{A^{N - 1 - k}}Bu(k)} \\
 \Rightarrow {x^1} - {A^N}x(0) = \left[ {\begin{array}{*{20}{c}}
{{A^{N - 1}}B}&{{A^{N - 2}}B}& \cdots &{{A^1}B}&{{A^0}B}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{u(0)}\\
{u(1)}\\
 \vdots \\
{u(N - 1)}
\end{array}} \right]
\end{array}
\] 由於上式左方 $x^1$ 與 $x(0)$ 已給定，故我們可以聯合上式與 控制力拘束條件 $ |u(k)| \leq M$，將其改寫成LP問題：

對於每一個固定的 $N$，求解 進行求解 LP問題:
\[\begin{array}{l}
\min J\left( u \right) = \sum\limits_{k = 0}^{N - 1} {\left| {u\left( k \right)} \right|} \\
s.t.\\
\left\{ \begin{array}{l}
\begin{array}{*{20}{c}}
{}
\end{array}{x^1} - {A^N}x(0) = \left[ {\begin{array}{*{20}{c}}
{{A^{N - 1}}B}&{{A^{N - 2}}B}& \cdots &{{A^1}B}&{{A^0}B}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{u(0)}\\
{u(1)}\\
 \vdots \\
{u(N - 1)}
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}
\end{array}|u(k)| \le M
\end{array} \right.
\end{array}\]

[隨機分析] How to solve SDE practically (2) - More examples

這次要介紹的是如何直接求解隨機微分方程 (SDE)?

Example 1

考慮如下SDE ：
定義 $t \in [0 , 1)$
\[
dX_t = \frac{-2 X_t}{1-t}dt + \sqrt{2t (1-t)} \ dB_t \ \ \ \ X_0 =0  \ \ \ \ (*)
\]
Sol：
1. Check the existence and uniqueness 
由Existence 與 Uniqueness Theorem得知，給定一 SDE具有下列形式：\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0 \ \ \ \ (*)
\]若我們要有唯一解，則其係數必須滿足 Lipschitz condtion 與 Growth conditon，此性質留給讀者確認。計算後可得上述SDE係數滿足Lipschitz condtion 與 Growth conditon，故SDE $(*)$有唯一解，細節在此不贅述


2. Solve the SDE by using integration factor method
現在我們可以開始進行求解。想法為利用ODE中的積分因子法求解。步驟如下

首先改寫SDE如下：
\[\begin{array}{l}
d{X_t} = \frac{{ - 2{X_t}}}{{1 - t}}dt + \sqrt {2t(1 - t)} \;d{B_t}\;\;\;\;{X_0} = 0\;\;\;\;(*)\\
 \Rightarrow d{X_t} + \frac{{2dt}}{{1 - t}}{X_t} = \sqrt {2t(1 - t)} \;d{B_t}\;
\end{array}
\]定義積分因子
\[{U_t}: = {e^{\int_0^t {\frac{2}{{1 - s}}ds} }} = {e^{2\int_0^t {\frac{1}{{1 - s}}ds} }} = \frac{1}{{{{\left( {1 - t} \right)}^2}}} \\
\Rightarrow d{U_t} = {e^{2\int_0^t {\frac{1}{{1 - s}}ds} }}\left( {\frac{2}{{1 - t}}} \right)dt
\]接著計算
\[\begin{array}{l}
 \Rightarrow d\left( {{X_t}{U_t}} \right) = {X_t}{e^{2\int_0^t {\frac{1}{{1 - s}}ds} }}\left( {\frac{2}{{1 - t}}} \right)dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + {e^{2\int_0^t {\frac{1}{{1 - s}}ds} }}\left( {\frac{{ - 2{X_t}}}{{1 - t}}dt + \sqrt {2t(1 - t)} \;d{B_t}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + \left( {{e^{2\int_0^t {\frac{1}{{1 - s}}ds} }}\left( {\frac{2}{{1 - t}}} \right)dt} \right)\left( {\frac{{ - 2{X_t}}}{{1 - t}}dt + \sqrt {2t(1 - t)} \;d{B_t}} \right)
\end{array}
\]故
\[\begin{array}{l}
 \Rightarrow d\left( {{X_t}{U_t}} \right) = {e^{2\int_0^t {\frac{1}{{1 - s}}ds} }}\left[ {\sqrt {2t(1 - t)} \;d{B_t}} \right] = \frac{1}{{{{\left( {1 - t} \right)}^2}}}\sqrt {2t(1 - t)} \;d{B_t}\\
 \Rightarrow \int_0^t d \left( {{X_t}{U_t}} \right) = \int_0^t {\frac{1}{{{{\left( {1 - s} \right)}^2}}}\sqrt {2s(1 - s)} \;d{B_s}} \\
 \Rightarrow {X_t}{U_t} - {X_0}{U_0} = \int_0^t {\frac{1}{{{{\left( {1 - s} \right)}^2}}}\sqrt {2s(1 - s)} \;d{B_s}} \\
 \Rightarrow {X_t}{U_t} = \int_0^t {\frac{1}{{{{\left( {1 - s} \right)}^2}}}\sqrt {2s(1 - s)} \;d{B_s}} \\
 \Rightarrow {X_t} = {\left( {1 - t} \right)^2}\int_0^t {\frac{1}{{{{\left( {1 - s} \right)}^2}}}\sqrt {2s(1 - s)} \;d{B_s}}
\end{array}
\]解得上式之後，我們需回頭檢驗此解是否確實為SDE的解：
故計算
\[\begin{array}{l}
d{X_t} = d\left( {{{\left( {1 - t} \right)}^2}{V_t}} \right) = {\left( {1 - t} \right)^2}d{V_t} + {V_t}d{\left( {1 - t} \right)^2} + {\left\langle {V,{{\left( {1 - t} \right)}^2}} \right\rangle _t}\\
 \Rightarrow d{X_t} = {\left( {1 - t} \right)^2}\left( {\frac{1}{{{{\left( {1 - t} \right)}^2}}}\sqrt {2t(1 - t)} \;d{B_t}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} - 2\left( {1 - t} \right)dt\left( {\int_0^t {\frac{1}{{{{\left( {1 - s} \right)}^2}}}\sqrt {2s(1 - s)} \;d{B_s}} } \right)\\
 \Rightarrow d{X_t} = \sqrt {2t(1 - t)} \;d{B_t} - 2\left( {1 - t} \right)dt\left( {\frac{{{X_t}}}{{{{\left( {1 - t} \right)}^2}}}} \right)\\
 \Rightarrow d{X_t} = \sqrt {2t(1 - t)} \;d{B_t} - 2\frac{{{X_t}}}{{\left( {1 - t} \right)}}dt
\end{array}\]

Example 2

考慮如下SDE ：
\[
dY_t = rdt + \alpha Y_t dB_t \ \ \ \ (*)
\]給定 初始條件 $Y_0$ 且與 標準布朗運動 $B_t$ 互相獨立。

Sol：
此題較為特殊，如果選積分因子
\[{U_t}: = {e^{ - \alpha {B_t}}}
\]會失敗，故需做一點trial and error 修正：
\[{U_t}: = {e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}
\]且注意到上式積分因子為隨機，故 $dU_t$ 需用Ito formula來幫助我們
\[\begin{array}{l}
d{U_t} = \frac{1}{2}{\alpha ^2}{e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}dt + {e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}\left( { - \alpha } \right)d{B_t} + \frac{1}{2}{\alpha ^2}{e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}dt\\
 \Rightarrow d{U_t} = {e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}\left[ {{\alpha ^2}dt - \alpha d{B_t}} \right]
\end{array}
\]現在我們將SDE兩邊同乘積分因子，並計算
\[\begin{array}{l}
 \Rightarrow d\left( {{Y_t}{U_t}} \right) = {Y_t}d\left( {{U_t}} \right) + {U_t}d\left( {{Y_t}} \right) + d{\left\langle {Y,U} \right\rangle _t}\\
 \Rightarrow d\left( {{Y_t}{U_t}} \right) = {Y_t}\left( {{e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}\left[ {{\alpha ^2}dt - \alpha d{B_t}} \right]} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + {e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}\left( {rdt + \alpha {Y_t}d{B_t}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + \left( {rdt + \alpha {Y_t}d{B_t}} \right)\left( {{e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}\left[ {{\alpha ^2}dt - \alpha d{B_t}} \right]} \right)\\
 \Rightarrow d\left( {{Y_t}{U_t}} \right) = {e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}rdt
\end{array}
\]轉換回積分型態：
\[\begin{array}{l}
{Y_t}{U_t} - {Y_0}{U_0} = r\int_0^t {{e^{ - \alpha {B_s} + \frac{1}{2}{\alpha ^2}s}}d} s\\
 \Rightarrow {Y_t}{U_t} = {Y_0} + r\int_0^t {{e^{ - \alpha {B_s} + \frac{1}{2}{\alpha ^2}s}}d} s\\
 \Rightarrow {Y_t} = {Y_0}{e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}} + r{e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}\int_0^t {{e^{ - \alpha {B_s} + \frac{1}{2}{\alpha ^2}s}}d} s\\
 \Rightarrow {Y_t} = {Y_0}{e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}} + r\int_0^t {{e^{\alpha \left( {{B_t} - {B_s}} \right) - \frac{1}{2}{\alpha ^2}\left( {t - s} \right)}}d} s
\end{array}
\]
現在回頭檢驗此解是否滿足SDE:
首先將我們的解改寫定義如下：
\[{Y_t} = {e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}\left( {{Y_0} + r\int_0^t {{e^{ - \alpha {B_s} + \frac{1}{2}{\alpha ^2}s}}d} s} \right): = {e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}\left( {{V_t}} \right)
\]計算
\[d\left( {{Y_t}} \right) = d\left( {{e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}{V_t}} \right) = {e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}d{V_t} + {V_t}d\left( {{e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}} \right) + {\left\langle {V,{e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}} \right\rangle _t}
\]其中\[V_t^{} = {Y_0} + r\int_0^t {{e^{ - \alpha {B_s} + \frac{1}{2}{\alpha ^2}s}}d} s \Rightarrow d{V_t} = r{e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}dt\]
且\[d\left( {{e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}} \right): = {e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}\alpha d{B_t}
\]上式由Ito formula推得 (因為是隨機，需用Ito formula幫助我們計算)
故
\[\begin{array}{l}
 \Rightarrow d\left( {{Y_t}} \right) = {e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}\left[ {r{e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}dt + \alpha \left( {{Y_0} + r\int_0^t {{e^{ - \alpha {B_s} + \frac{1}{2}{\alpha ^2}s}}d} s} \right)d{B_t}} \right]\\
 \Rightarrow d\left( {{Y_t}} \right) = {e^{\alpha {B_t} - \frac{1}{2}{\alpha ^2}t}}\left[ {r{e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}dt + \alpha \left( {{e^{ - \alpha {B_t} + \frac{1}{2}{\alpha ^2}t}}{Y_t}} \right)d{B_t}} \right]\\
 \Rightarrow d\left( {{Y_t}} \right) = \left[ {rdt + \alpha {Y_t}d{B_t}} \right]
\end{array}
\]亦即我們的解確實滿足SDE。至此計算完畢。

[隨機分析] How to solve SDE practically (1) - A Brownian Bridge example

這次要介紹的是如何直接求解隨機微分方程 (SDE)?

考慮如下SDE  (Brownian Bridge)：
定義 $t \in [0 ,T], T<1$
\[
dX_t = \frac{-X_t}{1-t}dt + dB_t \ \ \ \ X_0 =0  \ \ \ \ (*)
\]
Comment:
此SDE 稱作 Brownian Bridge，亦即 其行為類似一個 Bridge 連接兩端點為 $0$ ，在時間 $t=0$時值為 $0$，最後到 時間 $t=t$ 亦回到 $0$，如下圖所示：

Sol：
1. Check the existence and uniqueness 
由Existence 與 Uniqueness Theorem得知，給定一 SDE具有下列形式：\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0 \ \ \ \ (*)
\]若我們要有唯一解，則其係數必須滿足 Lipschitz condtion 與 Growth conditon，故我們在求解之前先確認此兩個條件滿足。

首先檢驗 Lipschitz conditon
\[
|\mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]由上式左邊可得
\[{ \Rightarrow {{\left| {\left( {\frac{{ - {X_t}}}{{1 - t}}} \right) - \left( {\frac{{ - {Y_t}}}{{1 - t}}} \right)} \right|}^2} + |1 - 1{|^2} = {{\left( {\frac{1}{{1 - t}}} \right)}^2}{{\left| {{X_t} - {Y_t}} \right|}^2}}
\]故令 $K = {\left( {\frac{1}{{1 - t}}} \right)^2}$ 即可滿足Lipschitz condtion。

再者檢驗 Growth condition
\[
|\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2)
\]故由上式左邊可得
\[ \Rightarrow {\left| {\left( {\frac{{ - {X_t}}}{{1 - t}}} \right)} \right|^2} + |1{|^2} = {\left( {\frac{1}{{1 - t}}} \right)^2}{\left| {{X_t}} \right|^2} + 1 \le {\left( {\frac{1}{{1 - t}}} \right)^2}(1 + |X_t{|^2})
\]故取 $K={\left( {\frac{1}{{1 - t}}} \right)^2}$ 即可滿足Growth condition。

由於係數滿足Lipschitz condtion 與 Growth conditon，故SDE $(*)$有唯一解，

2. Solve the SDE by using integration factor method
現在我們可以開始進行求解。想法為利用ODE中的積分因子法求解。步驟如下

首先改寫上式如下
\[ \Rightarrow d{X_t} + \frac{{dt}}{{1 - t}}{X_t} = d{B_t}
\]定義積分因子 (積分因子的定法請參見此篇 ：[微分方程] Solving a linear ODE by using Integration factor method )
\[{U_t}: = {e^{\int_0^t {\frac{1}{{1 - s}}ds} }} = {e^{ - \ln \left( {1 - t} \right)}}
\]現在觀察 $d\left( {{X_t}{U_t}} \right)$，由integration by part (Ito formula)：
\[d(XU) = XdU + UdX + d\left\langle {X,U} \right\rangle
\] 我們可得
\[\begin{array}{l}
 \Rightarrow d\left( {{X_t}{U_t}} \right) = Xd\left( {{e^{ - \ln \left( {1 - t} \right)}}} \right) + {e^{ - \ln \left( {1 - t} \right)}}\left( {\frac{{ - {X_t}}}{{1 - t}}dt + d{B_t}\;} \right) \\
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ + \left( {\frac{{ - {X_t}}}{{1 - t}}dt + d{B_t}\;} \right)d\left( {{e^{ - \ln \left( {1 - t} \right)}}} \right)\\
 \Rightarrow d\left( {{X_t}{U_t}} \right) = X{e^{ - \ln \left( {1 - t} \right)}}\left( {\frac{1}{{1 - t}}} \right)dt + {e^{ - \ln \left( {1 - t} \right)}}\left( {\frac{{ - {X_t}}}{{1 - t}}dt + d{B_t}\;} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} + \left( {\frac{{ - {X_t}}}{{1 - t}}dt + d{B_t}\;} \right){e^{ - \ln \left( {1 - t} \right)}}\left( {\frac{1}{{1 - t}}} \right)dt\\
 \Rightarrow d\left( {{X_t} \cdot {U_t}} \right) = {e^{ - \ln \left( {1 - t} \right)}}\left[ {d{B_t}\;} \right]
\end{array}\]故對上式兩邊同取積分，我們可得
\[\begin{array}{l}
{X_t} \cdot {U_t} = \int_0^t {{e^{ - \ln \left( {1 - s} \right)}}d{B_s}} \\
 \Rightarrow {X_t} \cdot \left( {{e^{ - \ln \left( {1 - t} \right)}}} \right) = \int_0^t {\frac{1}{{1 - s}}d{B_s}} \\
 \Rightarrow {X_t} = {e^{\ln \left( {1 - t} \right)}}\int_0^t {\frac{1}{{1 - s}}d{B_s}}\\
{ \Rightarrow {X_t} = \left( {1 - t} \right)\int_0^t {\frac{1}{{1 - s}}d{B_s}} }, \ \forall t \in [0,1)
\end{array}
\]上式即為Brownian Bridge $(*)$的解。

[隨機分析] Uniqueness and Existence theorem for S.D.E. (4) - The Existence of Solution

延續前篇。繼續逐步完成 Existence 的證明：
現在我們有Picard iteration 與 如下 LEMMA

==============================
Iteration Scheme (Picard Iteration):
給定 $X_t^{(0)}:=x_0$，與下列跌代過程：
\[
X_t^{(n+1)} = x_0 + \int_0^t \mu(s, X_s^{(n)})ds + \int_0^t \sigma(s,X_s^{(n)})dBs \ \ \ \ (*)
\]==============================

===============================
Lemma 
若 $\mu, \sigma$ 滿足Lipschitz condtion：
\[
| \mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]則存在一個常數 $C$ 使得 由Picard iteration所定義的隨機過程 $X_t^{(n)}$滿足下列不等式：
\[
E \left[ \displaystyle \sup_{0 \leq s \leq t} |X_s^{(n+1)} - X_s^{(n)}|^2 \right ] \leq C \int_0^t E \left[ | X_s^{(n)} - X_s^{(n-1)}|^2 \right ]
\]===============================

有了這個Lemma 我們便可以開始證明Picard iteration 的跌代過程sequence $X_t^{(n)} \rightarrow X_t$ almost surely。(why we need almost surely?) 因為事實上我們需要證明SDE的解為連續，為了要保持連續性，我們需要almost sure uniformly convergence。故想法如下：

注意到為了要證明 uniform convergence，我們需要先製造出Cauchy Sequence 再透過Completeness 推得 Picard iteration 產生的 $X_t^{(n)} \rightarrow X_t$ almost surely & uniformly。

現在令
\[
g_n(t) := E[\sup_{0\leq s \leq t} | X_s^{(n+1)} - X_s^{(n)}|^2]
\]
則Lemma告訴我們
\[\begin{array}{l}
E\left[ {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}{|^2}} \right] \le C\int_0^t E \left[ {|X_s^{(n)} - X_s^{(n - 1)}{|^2}} \right]\\
 \Rightarrow {g_n}(t) \le C\int_0^t {{g_{n - 1}}(s)ds} \ \ \ \ (\star)
\end{array}
\]注意到對$t \in [0,T]$，存在一個常數$M$ 使得 $g_0(t) \leq M$ (WHY?)


；利用 $(\star)$我們可以計算下一步跌代的上界為 ${g_1}(t) \le MCt$，且by induction，可以推得對第$n$步跌代的上界為
\[
\Rightarrow {g_n}(t) \le M{C^n}\frac{{{t^n}}}{{n!}}
\]由Markov inequality: $P\left( {X \ge a} \right) \le \frac{{E\left[ {{X^r}} \right]}}{{{a^r}}}, \ r > 0$可知
\[\begin{array}{l}
P\left( {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}| \ge {2^{ - n}}} \right) \le \frac{{E\left[ {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}{|^2}} \right]}}{{{{\left( {{2^{ - n}}} \right)}^2}}}\\
 \Rightarrow P\left( {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}| \ge {2^{ - n}}} \right) \le \left( {\frac{1}{{{2^{ - 2n}}}}} \right)\left( {M{C^n}\frac{{{t^n}}}{{n!}}} \right)\\
 \Rightarrow P\left( {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}| \ge {2^{ - n}}} \right) \le \frac{{M{C^n}{T^n}{2^{2n}}}}{{n!}}
\end{array}
\]上述機率為summable (亦即加到無窮大不會爆掉，因為 分母項的 $n!$ dominated 分子項，故當 $n$ 夠大的時候，上式收斂到0)。

現在我們手上有summable的機率，則由 Borel-Cantelli Lemma 給予我們Almost surely limit。
----
Borel Cantelli Lemma
若 $\{A_i \}$ 為任意事件sequence，則
\[
\displaystyle \sum_{i=1}^\infty P(\{ A_i \}) < \infty \Rightarrow P \left (\displaystyle \sum_{i=1}^\infty 1_{\{ A_i \}} <\infty \right) =1
\]----

也就是說事件
\[\{ {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}| \ge {2^{ - n}}} \}\]只會發生有限次。故我們得到 對$n$夠大的時候，我們有
\[
{\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}| < {2^{ - n}}} \ \text{almost surely (a.s.)}
\]亦即對$n$夠大的時候，我們有 almost surely 的 Cauchy sequence of functions。
\[
||X_s^{(n + 1)} - X_s^{(n)}|| < {2^{ - n}} \ a.s.
\]由 Completeness 與 FACT: Cauchy sequence of functions 必為 uniform convergence，我們可知極限存在且連續性被保證。我們稱此almost sure continuous limit 為 $X_t$亦即
\[X_t^{\left( n \right)} \to {X_t} \ \ a.s. \]

接著如果我們可以證明極限 $X_t$ 是 $L^2$ boundedness；則我們就可得到
\[
X_t^{(n)} \rightarrow X_t \in L^2(dP), \ \forall \ t\in [0,T]
\]
故現在觀察
\[\begin{array}{l}
E\left[ {{{\left( {X_t^{\left( {n + 1} \right)} \to X_t^{\left( n \right)}} \right)}^2}} \right] \le {g_n}(t) \le \frac{{M{C^n}{T^n}{2^{2n}}}}{{n!}}\\
 \Rightarrow {\left( {E\left[ {{{\left( {X_t^{\left( {n + 1} \right)} \to X_t^{\left( n \right)}} \right)}^2}} \right]} \right)^{1/2}} \le {\left( {\frac{{M{C^n}{T^n}{2^{2n}}}}{{n!}}} \right)^{1/2}}\\
 \Rightarrow {\left\| {X_t^{\left( n \right)} \to {X_t}} \right\|_{{L^2}\left( {dP} \right)}} \le {\left( {\frac{{M{C^n}{T^n}{2^{2n}}}}{{n!}}} \right)^{1/2}}
\end{array}\]
也就是說$X_t^{(n)}$ 為 Cauchy sequence in $L^2$。又由先前證明我們知道$X_t^{n)}$ 有 almost sure 極限。
\[\left\{ \begin{array}{l}
X_t^{\left( n \right)} \to {X_t}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{in}}\begin{array}{*{20}{c}}
{}
\end{array}{L^2}\\
X_t^{\left( n \right)} \to {X_t}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{a}}{\rm{.s}}{\rm{.}}
\end{array} \right.\]由極限的唯一性我們知道此兩個極限 ($L^2$ limit 與 $a.s$ limit) 必須相等。

現在我們開始利用 $L^2$ limit 來幫助我們計算
\[{\left\| {\int_0^t {\sigma (s,X_s^{(n)})} d{B_s} - \int_0^t {\sigma (s,{X_s})} d{B_s}} \right\|_{{L_2}}} \\
= E{\left[ {{{\left( {\int_0^t {\left[ {\sigma (s,X_s^{(n)}) - \sigma (s,{X_s})} \right]} d{B_s}} \right)}^2}} \right]^{1/2}}
\]由Ito isometry可知
\[ \Rightarrow E{\left[ {\int_0^t {{{\left[ {\sigma (s,X_s^{(n)}) - \sigma (s,{X_s})} \right]}^2}} ds} \right]^{1/2}} \ \ \ \ (\star \star)\]
再由Lipschitz condition 與 三角不等式 我們可得
\[\begin{array}{l}
 \Rightarrow (\star \star) \le {K^{1/2}}E{\left[ {\int_0^t {{{\left| {X_s^{(n)} - {X_s}} \right|}^2}} ds} \right]^{1/2}}\begin{array}{*{20}{c}}
{}
\end{array}\left( {{\rm{Lipschitz}}{\rm{.}}} \right)\\
\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array} \le {K^{1/2}}\sum\limits_{m = n}^\infty  {{{\left\{ {E\left[ {\int_0^t {{{\left| {X_s^{m + 1} - {X_s}^{\left( m \right)}} \right|}^2}} ds} \right]} \right\}}^{1/2}}} \\
\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array} \le {K^{1/2}}\sum\limits_{m = n}^\infty  {{{\left( {\int_0^t {{g_m}\left( s \right)ds} } \right)}^{1/2}}}  \to 0\begin{array}{*{20}{c}}
{}
\end{array}. \left( {{\rm{\Delta  - ineq}}{\rm{.}}} \right)
\end{array}\]最後式成立是因為由Lemma的結果得知其收斂。
同樣的對 $n \rightarrow \infty$
\[\int_0^t {{{\left[ {\mu (s,X_s^{(n)}) - \mu (s,{X_s})} \right]}^2}} ds \to 0
\]
故我們現在有
\[\left\{ \begin{array}{l}
\int_0^t {\mu (s,X_s^{(n)})} ds \to \int_0^t {\mu (s,{X_s})} ds,\begin{array}{*{20}{c}}
{}
\end{array}in\begin{array}{*{20}{c}}
{}
\end{array}{L^2}\\
\int_0^t {\sigma (s,X_s^{(n)})} ds \to \int_0^t {\sigma (s,{X_s})} ds,\begin{array}{*{20}{c}}
{}
\end{array}in\begin{array}{*{20}{c}}
{}
\end{array}{L^2}
\end{array} \right.
\]現在我們可以檢驗 $X_t$ 確實為SDE的解：
令$n \rightarrow \infty$，觀察 Picard iteration
\[
X_t^{(n+1)} = x_0 + \int_0^t \mu(s, X_s^{(n)})ds + \int_0^t \sigma(s,X_s^{(n)})dBs \ \ \ \ (*)
\]上式的左邊，我們知道
\[
X_t^{(n)} \rightarrow X_t \ \text{uniformly on $[0,T]$}
\]至於上式右方，我們由$L^2$ convergence 表示 存在一個 almost convergent 的子序列 (subsequence)；故對任意固定 $t \in [0,T]$我們有一個subsequence $\{n_k\}$使得
\[\left\{ \begin{array}{l}
\int_0^t {\mu (s,X_s^{({n_k})})} ds \to \int_0^t {\mu (s,{X_s})} ds,\begin{array}{*{20}{c}}
{}
\end{array}a.s.\begin{array}{*{20}{c}}
{}
\end{array}\forall t \in \left[ {0,T} \right] \cap \mathbb{Q} \\
\int_0^t {\sigma (s,X_s^{({n_k})})} dB_s \to \int_0^t {\sigma (s,{X_s})} dB_s,\begin{array}{*{20}{c}}
{}
\end{array}a.s.\begin{array}{*{20}{c}}
{}
\end{array}\forall t \in \left[ {0,T} \right] \cap \mathbb{Q}
\end{array} \right.
\]因此，若我們取 $n_k \rightarrow \infty$，則可得到
\[{X_t} = {x_0} + \int_0^t {\mu (s,{X_s})} ds + \int_0^t {\sigma (s,{X_s})} dB_s\] 對 $\forall t \in [0,T] \cap \mathbb{Q}$。
最後，因為上式左右兩邊為連續，故對 $\forall t \in [0,T] \cap \mathbb{Q}$ 成立的結果可以被拓展到 $\forall t \in [0,T]$ 至此證明完畢。 $\square$

[隨機分析] Uniqueness and Existence theorem for S.D.E. (3) - An intermediate result (Upper bound) of Picard Iteration

延續前篇。繼續逐步完成 Existence 的證明：
現在我們要證明Picard iteration得到的跌代解的sequence $X_t^{(n)}$確實會收斂。

我們把Picard iteration記在下面：
==============================
Iteration Scheme (Picard Iteration):
給定 $X_t^{(0)}:=x_0$，與下列跌代過程：
\[
X_t^{(n+1)} = x_0 + \int_0^t \mu(s, X_s^{(n)})ds + \int_0^t \sigma(s,X_s^{(n)})dBs \ \ \ \ (*)
\]==============================

那麼我們的第一步是先證明跌代解為Cauchy sequence。接著再透過 $L^2$ space的completeness可推得此Sequence收斂。我們先證明下面的Lemma

===============================
Lemma 
若 $\mu, \sigma$ 滿足Lipschitz condtion：
\[
| \mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]則存在一個常數 $C$ 使得 由Picard iteration所定義的隨機過程 $X_t^{(n)}$滿足下列不等式：
\[
E \left[ \displaystyle \sup_{0 \leq s \leq t} |X_s^{(n+1)} - X_s^{(n)}|^2 \right ] \leq C \int_0^t E \left[ | X_s^{(n)} - X_s^{(n-1)}|^2 \right ]
\]===============================

Proof:
我們需要找出一個常數$C$ 使得上述Lemma的不等式成立，故首先觀察不等式左邊：
\[
\begin{array}{l}
E\left[ {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}{|^2}} \right]\\
 = E\left[ {\mathop {\sup }\limits_{0 \le s \le t} {{\left| \begin{array}{l}
\int_0^t {\left[ {\mu (s,X_s^{(n)}) - \mu (s,X_s^{(n - 1)})} \right]} ds\\
 + \int_0^t {\left[ {\sigma (s,X_s^{(n)}) - \sigma (s,X_s^{(n - 1)})} \right]} dB_s
\end{array} \right|}^2}} \right]
\end{array}
\]為了符號簡便起見，我們定義
\[\begin{array}{l}
{D_t}: = \int_0^t {\left[ {\mu (s,X_s^{(n)}) - \mu (s,X_s^{(n - 1)})} \right]} ds\\
{M_t}: = \int_0^t {\left[ {\sigma (s,X_s^{(n)}) - \sigma (s,X_s^{(n - 1)})} \right]} d{B_s}
\end{array}
\]由FACT: $(u+v) \leq 2(u^2 + v^2)$我們可知
\[
\begin{array}{l}
|X_s^{(n + 1)} - X_s^{(n)}{|^2} = |D_s^{} + M_s^{}{|^2} \le 2\left( {{D_s}^2 + M_s^2} \right)\\
 \Rightarrow \mathop {\sup }\limits_{0 \le s \le t} {\left| {{D_s} + {M_s}} \right|^2} \le 2\mathop {\sup }\limits_{0 \le s \le t} {D_s}^2 + 2\mathop {\sup }\limits_{0 \le s \le t} M_s^2
\end{array}
\]現在我們分頭估計上式右方兩項：

首先對 $\displaystyle \mathop {\sup }\limits_{0 \le s \le t} {D_s}^2$做估計，透過Cauchy-Swarz inequality，我們可知
\[
\displaystyle \mathop {\sup }\limits_{0 \le s \le t} {D_t}^2 = {\left( {\int_0^t {\left[ {\mu (s,X_s^{(n)}) - \mu (s,X_s^{(n - 1)})} \right]} ds} \right)^2} \\
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \le \left( {{{\int_0^t {\left[ {\mu (s,X_s^{(n)}) - \mu (s,X_s^{(n - 1)})} \right]} }^2}ds} \right)\left( {\int_0^t {{1^2}} ds} \right)\\
 \Rightarrow \displaystyle \mathop {\sup }\limits_{0 \le s \le t} {D_t}^2 \le t\left( {{{\int_0^t {\left[ {\mu (s,X_s^{(n)}) - \mu (s,X_s^{(n - 1)})} \right]} }^2}ds} \right)
\]再由Lipschitz condition: $| \mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
$可知
\[ \Rightarrow \displaystyle \mathop {\sup }\limits_{0 \le s \le t} {D_t}^2 \le  Kt\int_0^t {|X_s^{(n)} - X_s^{(n - 1)}{|^2}} ds \\
\Rightarrow \displaystyle \mathop {\sup }\limits_{0 \le s \le t} {D_t}^2 \le  KT\int_0^t {|X_s^{(n)} - X_s^{(n - 1)}{|^2}} ds \ \ \ \ (*)
\]
接著我們估計第二項：$ \displaystyle \mathop {\sup }\limits_{0 \le s \le t} M_s^2 $：

注意到 $M_t$ 項需要Ito Isometry的幫助來計算 $E[ \mathop {\sup }\limits_{0 \le s \le t} M_s^2 ]$，但我們會發現這次會有問題，因為我們會遭遇到 $\sup$ 在期望值裡面，故我們需先處理這個問題。

首先注意到因為$M_t$的積分變數 ${\sigma (s,X_s^{(n)}) - \sigma (s,X_s^{(n - 1)})} \in \mathcal{H}^2$ 故可知$M_t$ 為 Martingale，故我們可以利用Doob's maximal $L^p$ (在此 $p=2$) inequality：
----
\[||\mathop {\sup }\limits_{0 \le s \le t} {M_t}|{|_p} \le \frac{p}{{p - 1}}||{M_t}|{|_p} \\
\Leftrightarrow E\left[ {{{\left( {\mathop {\sup }\limits_{0 \le s \le t} \left| {{M_t}} \right|} \right)}^p}} \right]^{1/p} \leq \frac{p}{{p - 1}}E\left[ {{{\left| {{M_t}} \right|}^p}} \right]^{1/p}
\]---
現在利用 上述的 Doob's $L^2$ maximal inequality，令$p=2$可得到如下估計
\[\begin{array}{l}
E\left[ {\mathop {\sup }\limits_{0 \le s \le t} M_s^2} \right] \le {\left( {\frac{2}{{2 - 1}}} \right)^2}E\left[ {{{\left| {{M_t}} \right|}^2}} \right]\\
 \Rightarrow E\left[ {\mathop {\sup }\limits_{0 \le s \le t} M_s^2} \right] \le 4E\left[ {{{\left| {{M_t}} \right|}^2}} \right]
\end{array}
\]現在我們成功從期望值中拔除了$sup$，故現在可以利用Ito isometry:
\[ \Rightarrow E\left[ {\mathop {\sup }\limits_{0 \le s \le t} M_s^2} \right] \le 4E\left[ {{{\left| {{M_t}} \right|}^2}} \right] = 4E\left[ {\int_0^t {{{\left[ {\sigma (s,X_s^{(n)}) - \sigma (s,X_s^{(n - 1)})} \right]}^2}} ds} \right]
\]再由Lipschitz condtion：$| \mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2$，我們可進一步得到如下估計
\[
\Rightarrow E\left[ {\mathop {\sup }\limits_{0 \le s \le t} M_s^2} \right] \le 4KE\left[ {\int_0^t {|X_s^{(n)} - X_s^{(n - 1)}{|^2}} ds} \right] \ \ \ \ (**)
\]現在我們把手邊有的結果整理，合併 $(*)$ 與 $(**)$ 可得
\[
\begin{array}{l}
E\left[ {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}{|^2}} \right] = E\left[ {2\mathop {\sup }\limits_{0 \le s \le t} {D_s}^2 + 2\mathop {\sup }\limits_{0 \le s \le t} M_s^2} \right]\\
 \Rightarrow E\left[ {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}{|^2}} \right] \le 2E\left[ {\mathop {\sup }\limits_{0 \le s \le t} {D_s}^2} \right] + 2E\left[ {\mathop {\sup }\limits_{0 \le s \le t} M_s^2} \right]\\
 \Rightarrow E\left[ {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}{|^2}} \right] \le 2TKE\left[ {\int_0^t {|X_s^{(n)} - X_s^{(n - 1)}{|^2}} ds} \right]\\
 \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ + 2 \cdot 4KE\left[ {\int_0^t {|X_s^{(n)} - X_s^{(n - 1)}{|^2}} ds} \right]\\
 \Rightarrow E\left[ {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}{|^2}} \right] \le K\left( {2T + 8} \right)E\left[ {\int_0^t {|X_s^{(n)} - X_s^{(n - 1)}{|^2}} ds} \right]\\
\end{array}
\] 令 $C = K(2T + 8)$，我們得到
\[ \Rightarrow E\left[ {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}{|^2}} \right] \le C \cdot E\left[ {\int_0^t {|X_s^{(n)} - X_s^{(n - 1)}{|^2}} ds} \right] \]故此得證 $\square$

[隨機分析] Uniqueness and Existence theorem for S.D.E. (2) - Picard Iteration for SDE

延續上篇，這次要討論的是 隨機微分方程的存在性：

為了文章閱讀方便，我們首先回憶SDE的定義：

考慮 $t \in [0,T]$，SDE定義如下
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0
\]
但注意到SDE實質上並無嚴格定義，只有定義在積分型式
\[
X_t = X_0 + \int_0^t \mu(s,X_s) ds + \int_0^t \sigma(s,X_s) dB_s
\]

有了以上的定義，我們才能比較方便的討論SDE的存在性。這邊我們再次給出SDE 存在性與唯一性定理 (與前篇相同)：

=============================
Theorem (Existence and Uniqueness)
考慮 $t \in [0,T]$，SDE:
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0 \ \ \ \ (*)
\]若其係數 $\mu, \sigma$滿足  Lipschitz condition
\[
|\mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]與 Growth condition
\[
|\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2)
\]則 $(*)$ 存在一個 Continuous adapted 的解 $X_t$ 滿足
\[
X_t = X_0 + \int_0^t \mu(s,X_s) ds + \int_0^t \sigma(s,X_s) dB_s
\]且 uniformly bounded in $L^2(dP)$；亦即
\[
\displaystyle \sup_{0 \leq t \leq T}E[X_t^2] < \infty
\]更進一步，若 $X_t$ 與 $Y_t$ 兩者都為式 $(*)$ 的 Continuous $L^2$ bounded 的解，則
\[
P(\{ X_t = Y_t, \forall \ t\in[0,T]\}) =1
\]=============================

想法：回憶ODE中存在性我們利用 Picard Iteration 來證明解的存在性。在SDE 這邊相同的idea仍然能夠幫助我們。

所以我們首先寫下 對 SDE的 Picard Iteration ：

==============================
Iteration Scheme (Picard Iteration):
給定 $X_t^{(0)}:=x_0$，與下列跌代過程：
\[
X_t^{(n+1)} = x_0 + \int_0^t \mu(s, X_s^{(n)})ds + \int_0^t \sigma(s,X_s^{(n)})dBs \ \ \ \ (*)
\]==============================

那麼現在有個基本的問題就是上述所定義的 Iteration $(*)$ 是否合理呢? 要知道等號右邊是Lebesgue integral 與 Ito Integral ；故在使用此定義之前我們需先檢驗此訂法是合宜：亦即檢驗積分變數 $\sigma(t,X_t^{(n)})$ 與 $\mu(t,X_t^{(n)})$ 是否滿足某些積分條件(我們需要平方可積)。我們將此積分條件寫成以下Lemma

===============================
Lemma (Well-definedness of Picard iteration for SDE)
若 $X_t^{(n)}$ 為 $L^2$-bounded on $[0,T]$，則
\[
\sigma(t,X_t^{(n)}) \in \mathcal{H}^2[0,T] \ \text{and} \ \mu(t,X_t^{(n)}) \in L^2[[0,T]\times \Omega]
\]且更進一步，由式 $(*)$ 定義的 下一步跌代 $X_t^{(n+1)}$ 亦為 $L^2$ -bounded on $[0,T]$
==============================

Proof: 
假設 $X_t^{(n)}$ 為 $L^2$-bounded on $[0,T]$，亦即對任意$t\in[0,T]$，存在一個常數 $B$ 使得
\[
E[|X_t^{(n)}|^2] =B < \infty
\]我們可以進一步改寫
\[
 \displaystyle \sup_{0 \leq t \leq T} E[ |X_t^{(n)}|^2] = B < \infty
\]現在回憶Picard Iteration的定義
----
給定 $X_t^{(0)}:=x_0$；
\[X_t^{(n + 1)} = \underbrace {{x_0}}_{term1} + \underbrace {\int_0^t \mu  (s,X_s^{(n)})ds}_{term2} + \underbrace {\int_0^t \sigma  (s,X_s^{(n)})dBs}_{term3}
\]----
我們要證明上式 右邊滿足下列可積分條件
\[
\sigma(t,X_t^{(n)}) \in \mathcal{H}^2[0,T] \ \text{and} \ \mu(t,X_t^{(n)}) \in L^2[[0,T]\times \Omega]
\]且下一步跌代 $X_t^{(n+1)}$ 亦為 $L^2$ -bounded on $[0,T]$
故我們先進行逐項檢驗：

對term1：
由 $X_t^{(0)}:=x_0$ 又因為 由假設可知 $X_t^{(n)}$ 為 $L^2$-bounded on $[0,T]$；故$X_t^{(0)}:=x_0$  為 $L^2$-bounded on $[0,T]$

對term2:
欲證 $\mu(t,X_t^{(n)}) \in L^2[[0,T]\times \Omega]$；為了方便起見，我們直接計算 $E\left[ {{{\left( {\int_0^t \mu  (s,X_s^{(n)})ds} \right)}^2}} \right ]$且利用 Cauchy-Schwarz inequality
\[
\left (\int_0^t f \cdot g \right )^2 \leq \int_0^t f^2 \int_0^t g^2
\]
將外面的平方搬到對積分變數的平方
\[E\left[ {{{\left( {\int_0^t \mu  (s,X_s^{(n)})ds} \right)}^2}} \right] \le E\left[ {\left( {\int_0^t \mu  {{(s,X_s^{(n)})}^2}ds} \right)\left( {{{\int_0^t 1 }^2}ds} \right)} \right] \\
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ = t \cdot E\left[ {\left( {\int_0^t \mu  {{(s,X_s^{(n)})}^2}ds} \right)} \right]
\]；現在由 Growth condition: $ |\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2) $ 與 $t\in[0,T]$我們可推得
\[\begin{array}{l}
 \Rightarrow t \cdot E\left[ {\left( {\int_0^t \mu  {{(s,X_s^{(n)})}^2}ds} \right)} \right] \le t \cdot KE\left[ {\int_0^t {(1 + |X_s^{(n)}{|^2})} ds} \right]\\
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \le T \cdot K\left[ {\int_0^t {(1 + E\left[ {|X_s^{(n)}{|^2}} \right])} ds} \right]\\
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \le TK\left[ {\int_0^t {(1 + B)} ds} \right] = TK\left[ {(1 + B)T} \right]
\end{array}\]
又因為由給定的假設可知 $E[|X_t^{(n)}|^2] =B < \infty$：故上式可進一步改寫
\[\begin{array}{l}
 \Rightarrow E\left[ {{{\left( {\int_0^t \mu  (s,X_s^{(n)})ds} \right)}^2}} \right] \le {T^2}K(1 + B) < \infty
\end{array}
\]且由先前推導中可知我們亦有如下結果
\[E\left[ {\int_0^t \mu  {{(s,X_s^{(n)})}^2}ds} \right] \le TK(1 + B)\]
此結果說明$\mu(t,X_t^{(n)}) \in L^2[[0,T]\times \Omega]$。

對term3:
欲證 $\sigma(t,X_t^{(n)}) \in \mathcal{H}^2[0,T]$；由 $\mathcal{H}^2[0,T]$定義我們觀察
\[
E\left[ {\int_0^t {{{\left| {\sigma (s,X_s^{(n)})} \right|}^2}} ds} \right] \ \text{for $t \in [0,T]$}
\]由 Growth condition: $ |\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2) $ 與 $t\in[0,T]$我們可推得
\[\begin{array}{l}
E\left[ {\int_0^t {{{\left| {\sigma (s,X_s^{(n)})} \right|}^2}} ds} \right] \le E\left[ {\int_0^t {K(1 + |X_s^{(n)}{|^2})} ds} \right]\\
 \Rightarrow E\left[ {\int_0^t {{{\left| {\sigma (s,X_s^{(n)})} \right|}^2}} ds} \right] \le \int_0^t {K(1 + E|X_s^{(n)}{|^2})} ds\\
 \Rightarrow E\left[ {\int_0^t {{{\left| {\sigma (s,X_s^{(n)})} \right|}^2}} ds} \right] \le K\int_0^t {(1 + B)} dBs = tK(1 + B)\\
 \Rightarrow E\left[ {\int_0^t {{{\left| {\sigma (s,X_s^{(n)})} \right|}^2}} ds} \right] \le TK(1 + B) <infty
\end{array}
\]故$\sigma(t,X_t^{(n)}) \in \mathcal{H}^2[0,T]$，因此我們可以使用Ito isometry：
\[E\left[ {{{\left( {\int_0^t \sigma  (s,X_s^{(n)})dBs} \right)}^2}} \right] = E\left[ {\int_0^t \sigma  {{(s,X_s^{(n)})}^2}ds} \right]
\]由Growth condition: $ |\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2) $ 與 $t\in[0,T]$可推得
\[\begin{array}{l}
 \Rightarrow E\left[ {{{\left( {\int_0^t \sigma  (s,X_s^{(n)})dBs} \right)}^2}} \right] \le KE\left[ {\int_0^t {(1 + |X_s^{(n)}{|^2})} ds} \right]\\
 \Rightarrow E\left[ {{{\left( {\int_0^t \sigma  (s,X_s^{(n)})dBs} \right)}^2}} \right] \le K\left[ {\int_0^t {(1 + E\left[ {|X_s^{(n)}{|^2}} \right])} ds} \right]\\
 \Rightarrow E\left[ {{{\left( {\int_0^t \sigma  (s,X_s^{(n)})dBs} \right)}^2}} \right] \le TK(1 + B)
\end{array}
\]最後我們要證明下一步跌代 $X_t^{(n+1)}$ 亦為 $L^2$ -bounded on $[0,T]$；亦即要證明
\[
\displaystyle \sup_{0 \leq t \leq T} E[ |X_t^{(n+1)}|^2] < \infty
\]我們利用一個基本的FACT： $(u+v+w)^2 \leq 3(u^2 + v^2 +w^2) $；故可得
\[
E\left[ {{{\left( {X_t^{(n + 1)}} \right)}^2}} \right] = E\left[ {{{\left( {{x_0} + \int_0^t \mu  (s,X_s^{(n)})ds + \int_0^t \sigma  (s,X_s^{(n)})dBs} \right)}^2}} \right]\\
\Rightarrow E\left[ {{{\left( {X_t^{(n + 1)}} \right)}^2}} \right] \le 3E\left[ \begin{array}{l}
{x_0}^2 + {\left( {\int_0^t \mu  (s,X_s^{(n)})ds} \right)^2}\\
 \ \ \ \ \ \ + {\left( {\int_0^t \sigma  (s,X_s^{(n)})dBs} \right)^2}
\end{array} \right] < \infty \]
至此證明完畢。亦即我們的Picard iteration 是well-defined 且 $L^2$ bounded on $[0,T]$。


在有了以上結果之後，下一步便是要證明我們的Picard Iteration 確實會收斂到某個limit，且我們如果能驗證此limit為SDE的解 (符合存在性定理的條件)。則我們便可說在這些條件之下SDE的解存在。進而透過之前介紹的唯一性條件。可知此SDE的解存在 且唯一。

這些步驟將留待下一篇文章我們再進行介紹。

[隨機分析] Uniqueness and Existence theorem for S.D.E. (1)- Uniqueness

這次要介紹的是 隨機微分方程的存在與唯一性定理：
介紹定理之前我們先回憶一下隨機微分方程(Stochastic Differential Equation, SDE)長甚麼樣子

考慮 $t \in [0,T]$，SDE定義如下
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0
\]
但注意到SDE實質上並無嚴格定義，只有定義在積分型式
\[
X_t = X_0 + \int_0^t \mu(s,X_s) ds + \int_0^t \sigma(s,X_s) dB_s
\]

但問題是如果給定一個SDE，我們想問甚麼時候有解? 該怎麼辦? 存在性與唯一性定理告訴我們在甚麼樣的條件之下，SDE存在有解，且此解為唯一。

在回答這個問題之前，我們需要一個積分不等式的 FACT。

========================
FACT: (Gronwall's inequality)
考慮 $t \in [0,T]$，且 $g \in L^1[0,T]$，若 $g(t) \leq C \cdot \int_{t_0}^{t} g(s) ds + B$ ，則
\[
g(t) \leq B \cdot e^{C (t-t_0)}
\]========================
Proof
設 $g(t) \leq C \cdot \int_{t_0}^{t} g(s) ds + B$ ，我們需要證明
\[
g(t) \leq B \cdot e^{C (t-t_0)}
\]已知
\[\begin{array}{l}
\frac{d}{{dt}}\left( {{e^{ - Ct}}\int_{{t_0}}^t {g\left( s \right)ds} } \right) =  - C{e^{ - Ct}}\int_{{t_0}}^t {g\left( s \right)ds}  + {e^{ - Ct}}g\left( t \right)\\
 \Rightarrow \frac{d}{{dt}}\left( {{e^{ - Ct}}\int_{{t_0}}^t {g\left( s \right)ds} } \right) = {e^{ - Ct}}\left[ {g\left( t \right) - C\int_{{t_0}}^t {g\left( s \right)ds} } \right]
\end{array}
\]由我們的假設  $g(t) \leq C \cdot \int_{t_0}^{t} g(s) ds + B$ 可知
\[\frac{d}{{dt}}\left( {{e^{ - Ct}}\int_{{t_0}}^t {g\left( s \right)ds} } \right) \le B \cdot {e^{ - Ct}}
\]兩邊同積分，可得
\[\begin{array}{l}
\int_{{t_0}}^t {\frac{d}{{dt}}\left( {{e^{ - Ct}}\int_{{t_0}}^t {g\left( s \right)ds} } \right)} ds \le B \cdot \int_{{t_0}}^t {{e^{ - Cs}}} ds\\
 \Rightarrow {e^{ - Ct}}\int_{{t_0}}^t {g\left( s \right)ds}  \le B \int_{{t_0}}^t {{e^{ - Cs}}} ds  = \frac{{  B \cdot }}{C}\left( {{e^{ - Ct}} - {e^{ - C{t_0}}}} \right)
\end{array}\]
亦即
\[ \Rightarrow \int_{{t_0}}^t {g\left( s \right)ds}  \le B{e^{Ct}}\frac{{{{\rm{e}}^{ - C{t_0}}} - {{\rm{e}}^{ - Ct}}}}{C} = \frac{B}{C}\left( {{e^{C\left( {t - {t_0}} \right)}} - 1} \right)
\]現在把上式帶回我們的假設
\[\begin{array}{l}
g(t) \le C \cdot \int_{{t_0}}^t g (s)ds + B \le C \cdot \left( {\frac{B}{C}\left( {{e^{C\left( {t - {t_0}} \right)}} - 1} \right)} \right) + B = B{e^{C\left( {t - {t_0}} \right)}}\\
 \Rightarrow g(t) \le B{e^{C\left( {t - {t_0}} \right)}}
\end{array}
\] 即為所求。$\square$


有了以上結果我們便可以開始討論存在性與唯一性定理。現在我們給出 SDE的存在性與唯一性定理：

=============================
Theorem (Existence and Uniqueness)
考慮 $t \in [0,T]$，SDE:
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0 \ \ \ \ (*)
\]若其係數 $\mu, \sigma$滿足  Lipschitz condition
\[
|\mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]與 Growth condition
\[
|\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2)
\]則 $(*)$ 存在一個 Continuous adapted 的解 $X_t$ 且 uniformly bounded in $L^2(dP)$；亦即
\[
\displaystyle \sup_{0 \leq t \leq T}E[X_t^2] < \infty
\]更進一步，若 $X_t$ 與 $Y_t$ 兩者都為式 $(*)$ 的 Continuous $L^2$ bounded 的解，則
\[
P(\{ X_t = Y_t, \forall \ t\in[0,T]\}) =1
\]=============================

Proof
先證明 Uniqueness
Idea: 兩個 Solution 的差 $X_t -Y_t =0$

故令 $X_t$ 與 $Y_t$ 皆滿足 SDE $(*)$並有相同的初始條件 $X_0 = Y_0$，亦即
\[
X_t = X_0 + \int_0^t \mu(s,X_s) ds + \int_0^t \sigma(s,X_s) dB_s \\
Y_t = Y_0 + \int_0^t \mu(s,Y_s) ds + \int_0^t \sigma(s,Y_s) dB_s
\]現在觀察此兩者的差
\[
X_t -Y_t =  \int_0^t ( \mu(s,X_s) - \mu(s,Y_s) )ds + \int_0^t ( \sigma(s,X_s) -\sigma(s,Y_s) )dB_s
\]
現在利用一個Trick:  $(u+v)^2 \leq 2 u^2 + 2v^2$；我們可推得上式為
\[{\left| {{X_t} - {Y_t}} \right|^2} \le 2{\left[ {\int_0^t {(\mu (} s,{X_s}) - \mu (s,{Y_s}))ds} \right]^2} \\
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \  + 2{\left[ {\int_0^t {(\sigma (} s,{X_s}) - \sigma (s,{Y_s}))d{B_s}} \right]^2} \ \ \ \ (\star)
\]
對於 $(\star)$ 不等式右邊的第一項，我們可透過 Cauchy-Schwarz inequality (TRICK 1): $\left (\int_0^t f \cdot g \right)^2 \leq \int_0^t f^2 \cdot \int_0^t g^2$，我們可進一步對上式做出估計
\[
2\left[ {\int_0^t {(\mu (s,{X_s}) - \mu (s,{Y_s})} {)^2}ds} \right]\left[ {\int_0^t {{1^2}} ds} \right] \\
\ \ \ \ \ \ \ \ \ \ \ = {\rm{ }}2t\left[ {\int_0^t {(\mu (s,{X_s}) - \mu (s,{Y_s})} {)^2}ds} \right]
\]又由 Lipschitz condition
\[
|\mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]我們知道
\[ {2t\left[ {\int_0^t {(\mu (s,{X_s}) - \mu (s,{Y_s})} {)^2}ds} \right]} \le 2t\left[ {\int_0^t {K{{\left| {{X_s} - {Y_s}} \right|}^2}} ds} \right]
\]
現在我們觀察  $(\star)$  不等式右邊的第二項：
注意到如果我們對其取期望值，則由 Ito Isometry 可以得到
\[2 \cdot E{\left[ {\int_0^t {(\sigma (} s,{X_s}) - \sigma (s,{Y_s}))d{B_s}} \right]^2} = 2 \cdot E\left[ {\int_0^t {(\sigma (} s,{X_s}) - \sigma (s,{Y_s}){)^2}ds} \right]
\]又由 Lipschitz condition 我們知道
\[
2 \cdot E\left[ {\int_0^t {(\sigma (} s,{X_s}) - \sigma (s,{Y_s}){)^2}ds} \right] \le 2 \cdot E\left[ {\int_0^t {K{{\left| {{X_s} - {Y_s}} \right|}^2}} ds} \right] \\
 \Rightarrow 2 \cdot E{\left[ {\int_0^t {(\sigma (} s,{X_s}) - \sigma (s,{Y_s}))d{B_s}} \right]^2} \le 2 \cdot E\left[ {\int_0^t {K{{\left| {{X_s} - {Y_s}} \right|}^2}} ds} \right]
\]
上式Ito isometry make sense，因為 L^2 boundedness of $|X_t - Y_t|$。

故現在將已有的結果整理：
\[\begin{array}{l}
E\left[ {{{\left| {{X_t} - {Y_t}} \right|}^2}} \right] \le E\left\{ \begin{array}{l}
2{\left[ {\int_0^t {(\mu (} s,{X_s}) - \mu (s,{Y_s}))ds} \right]^2}\\
 + 2{\left[ {\int_0^t {(\sigma (} s,{X_s}) - \sigma (s,{Y_s}))d{B_s}} \right]^2}
\end{array} \right\}\\
 \Rightarrow E\left[ {{{\left| {{X_t} - {Y_t}} \right|}^2}} \right] \le 2t{\rm{E}}\left[ {\int_0^t {K{{\left| {{X_s} - {Y_s}} \right|}^2}} ds} \right] + 2 E\left[ {\int_0^t {K{{\left| {{X_s} - {Y_s}} \right|}^2}} ds} \right]\\
 \Rightarrow E\left[ {{{\left| {{X_t} - {Y_t}} \right|}^2}} \right] \le \left( {2t + 2} \right)K \cdot E\left[ {\int_0^t {{{\left| {{X_s} - {Y_s}} \right|}^2}} ds} \right] \\
 \Rightarrow E\left[ {{{\left| {{X_t} - {Y_t}} \right|}^2}} \right] \le \left( {2t + 2} \right)K \cdot \int_0^t {E\left[ {{{\left| {{X_s} - {Y_s}} \right|}^2}} \right]} ds
\end{array}
\]為簡潔起見，我們定義一個常數 $C \geq 2K \cdot (2t+2)$ 且令 $g(t) = E[|X_t - Y_t|^2]$；故得到
\[
E\left[ {{{\left| {{X_t} - {Y_t}} \right|}^2}} \right] \le C \cdot \int_0^t {E\left[ {{{\left| {{X_s} - {Y_s}} \right|}^2}} \right]} ds
\]也就是說
\[
{\rm{0}} \le g\left( t \right) \le C \cdot \int_0^t {E\left[ {{{\left| {{X_s} - {Y_s}} \right|}^2}} \right]} ds = C \cdot \int_0^t {g\left( s \right)} ds \ \ \ \ (**)
\]現在由 Gronwall's inequality，

----
FACT: (Gronwall's inequality)
考慮 $t \in [0,T]$，且 $g \in L^1[0,T]$，若 $g(t) \leq C \cdot \int_{t_0}^{t} g(s) ds + B$ ，則
\[
g(t) \leq B \cdot e^{C (t-t_0)}
\]----
可知我們的 $B =0, t_0 =0$，故 Gronwall's inequality告訴我們
\[
g(t) \leq 0
\] 又由 $(**)$ 我們知道 $ 0 \leq g(t)$；故我們得到對所有的 $t \in [0,T]$
\[
g(t)=0 \Rightarrow  g(t) = E[|X_t - Y_t|^2] =0
\]
亦即，如果我們對所有的有理數 $t \in [0,T]$，使用 $g(t)=0$，則有如下關係
\[
P(\{ X_t = Y_t, \forall \ \text{rational} \ t\in [0,T] \}) =1
\]
再者因為$X_t, Y_t$ 為連續，故由連續性可知
\[
P(\{ X_t = Y_t, \forall \ t\in[0,T]\}) =1 \ \ \ \ \square
\]