謝宗翰的隨筆

這次要介紹的是如何直接求解隨機微分方程 (SDE)? 我們這邊將以 Geometric Brownian Motion 為例：

考慮如下 SDE:
\[
dX_t = \mu X_t dt + \sigma X_t dB_t
\] 其中 $\mu, \sigma$ 為固定常數滿足 $-\infty < \mu < \infty, \ \sigma >0$ ，且給定初始條件 $X_0$

Comment: 
1. 上述 SDE 稱為 Geometric Brownian Motion (GBM)。此 process 在財務上有重要的應用：EX: GBM 為股價波動的基本模型。

2. Compare to Arithmetic Brownian Motion (ABM):
\[
dX_t = \mu dt + \sigma dB_t
\]
Sol：
首先檢驗 Uniqueness 與 Existence ：

由 SDE 的 Uniqueness 與 Existence Theorem，
考慮 $t \in [0,T]$，SDE:
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0
\]若其係數 $\mu, \sigma$滿足  Lipschitz condition
\[
|\mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]與 Growth condition
\[
|\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2)
\]則我們的 SDE 解存在且唯一。

故此 我們首先檢驗 Lipschitz Condition : 觀察 GBM 可知 $\mu(t, X_t) =\mu X_t$, $\sigma(t,X_t) = \sigma X_t $，計算
\[
 |(\mu x) - (\mu y){|^2} + |(\sigma x) - (\sigma y){|^2} = \left( {{\mu ^2} + {\sigma ^2}} \right)|x - y{|^2}
\]令 $K \geq {{\mu ^2} + {\sigma ^2}}$，則我們有如下關…

這次要介紹的是如何直接求解隨機微分方程 (SDE)? 我們這邊將以 Ornstein-Uhlenbeck process 為例：

考慮如下SDE ：
令 $\alpha, \sigma >0$，考慮如下 SDE
\[
dX_t = - \alpha X_t dt + \sigma dB_t
\]且給定初始條件 $X_0$ ，此 $X_0$ 與 $B_{\cdot}$ 互相獨立

Comment: 
上述 SDE 稱為 Ornstein-Uhlenbeck process。

Sol：
首先檢驗 Uniqueness 與 Existence ：

由 SDE 的 Uniqueness 與 Existence Theorem，
考慮 $t \in [0,T]$，SDE:
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0
\]若其係數 $\mu, \sigma$滿足  Lipschitz condition
\[
|\mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]與 Growth condition
\[
|\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2)
\]則我們的 SDE 解存在且唯一。故此 我們首先檢驗 Lipschitz Condition : 觀察 Ornstein-Uhlenbeck process 可知 $\mu(t, X_t) = - \alpha X_t, \ \sigma(t, X_t) = \sigma$
\[
|(-\alpha x) - (-\alpha y)|^2 + |\sigma - \sigma|^2 =(\alpha)^2 | x - y|^2
\]令 $K \geq \alpha^2$，則我們有如下關係：
\[
|(-\alpha x) - (-\alpha y)|^2 + |\sigma - \sigma|^2 \leq K | x - y|^2
\]亦即滿足 Lipschitz Condition。

接著我們檢驗 Growth Condition：
\[
|-\alpha x|^2 + |\sigma|^2 = \alpha^2 …

Question:
為何此書卷 叫做 箴言 ?
箴言的目的?
箴言的功用?

[經文] 箴言的價值
大衛的兒子，以色列王所羅門的箴言。這些箴言會使你認識智慧和訓誨，明白格言深奧的含義。它們會教導你怎樣過明智的生活，怎樣作誠實、公正、正直的人。它們會使無知的人精明，教導年輕人處事有方。這些箴言也能使才智的人增長學問，使明達的人獲得開導，明白箴言中的隱喻，以及明智的人所提出的問題。

Comment:
箴言一詞在英文中為 Proverbs，此字可譯作 格言，比如說：不入虎穴，焉得虎子，或者英文中的No pain no gain。但聖經中的箴言更加強調 "訓誡、教導" 。其寫作方法，採用「對照/類比」、「比喻」、「訓誡」等方式來表達。

箴言的目的：
認識智慧和訓誨，明白格言深奧的含義。教導你怎樣過 明智 的生活，怎樣作 誠實、公正、正直 的人。
箴言的功用：
使無知的人精明，教導年輕人處事有方。使才智的人增長學問，使明達的人獲得開導，明白箴言中的隱喻，以及明智的人所提出的問題。 
==================
Question:
智慧的來自哪裡?
聖經中描述愚蠢的人具有何種特質?
父母的勸戒與訓誨於我有益嗎?
惡人的行為 與 行惡之人的結局為何?


[經文] 勸告年輕人 
敬畏上主是智慧的開端。愚蠢的人輕視智慧，也不願意學習。年輕人哪，要聽從你父親的訓誨，不可忘記你母親的教導。他們的教導，像戴上華冠，更顯出你的品格；像帶上項鍊，使你更俊美。年輕人哪，如果壞人來勾引你，不要隨從他們。如果他們說：「來吧，我們去殺人，找幾個無辜的人打一頓，當作消遣；我們要像冥府把他們活生生地吞下，叫健康的人跌進深坑；我們會獲得各種財物，屋裏裝滿了搶來的東西。一起來幹吧，讓我們分享奪來的贓物。」年輕人哪，不要跟從這種人，要遠遠地避開他們。他們急著要做壞事，隨時隨地想殺人。鳥兒警戒著的時候，你想抓牠是徒然的；可是壞人正是為自己張下羅網，要害死自己。打家劫舍的人往往自己喪命；以竊奪為生的人所遭遇的道路正是這樣。

Comment
敬畏上主 $\Rightarrow$ (真)智慧的開端愚蠢的人的特質：輕視智慧，也不願意學習。父母親的訓誨與教導：像戴上華冠，更顯出你的品格；像帶上項鍊，使你更俊美。在此可進一步衍伸成 "神的訓誨" 可使你 像戴上華冠，更顯出品格；像帶上項鍊，使你…

這次要介紹的是如何把一個 有拘束條件 離散時間的動態系統
透過 線性規劃問題來求解。

考慮 離散時間系統的狀態空間表示(state space representation)：
\[
x(k+1) = A x(k) + B u(k), \ \ \ \ \text{given $x(0)$}
\]其中 $x(k) \in \mathbb{R}^n$ 表系統狀態， $u(k)$ 表控制力。

接著我們考慮一些實際的情況：

1. 我們希望系統狀態 隨著時間流逝 與 控制力的幫助，可以在某個時間點達到某個 指定的目標狀態 $x^1$，亦即考慮 終止狀態 $x(N) := x^1$
2. 由於我們是透過控制力來幫助我們讓系統狀態逐步移動到 指定的目標狀態，考量到一班情況，控制力的出力大小須受到一定程度拘束(不可以有無限大的控制力)，亦即
 \[
|u(k)| \leq M \Leftrightarrow -M \leq u(k) \leq M
\]

現在我們定義目標成本函數 (cost function)
\[
J(u) = \displaystyle \sum_{k=0}^{N-1} | u(k)|
\]

Comments:
1. 上述目標為 讓 控制力最小。簡單來說就是要 可以達到目標狀態的情況下 盡可能省力 (可以想像成要要開車 從 A 到 B地點，且盡可能省油。)

2. 上述cost function 最多只能是 取絕對值 (儘管是非線性但可透過一些技巧將其轉換成LP問題)，超過  一般 2階 (or 以上)的 cost function，比如
\[
J(u) = \displaystyle \sum_{k=0}^{N-1} | u(k)|^2
\]不可使用 Linear Programming。因為上述cost function 不再是線性! 。Forget LP in this case..

故我們手上有了一個標準的最佳化問題：
\[\begin{array}{l}
\min J\left( u \right) = \sum\limits_{k = 0}^{N - 1} {\left| {u\left( k \right)} \right|} \\
s.t.\\
\begin{array}{*{20}{c}}
{}
\end{array}x(k + 1) = Ax(…

這次要介紹的是如何直接求解隨機微分方程 (SDE)?

Example 1

考慮如下SDE ：
定義 $t \in [0 , 1)$
\[
dX_t = \frac{-2 X_t}{1-t}dt + \sqrt{2t (1-t)} \ dB_t \ \ \ \ X_0 =0  \ \ \ \ (*)
\]
Sol：
1. Check the existence and uniqueness 
由Existence 與 Uniqueness Theorem得知，給定一 SDE具有下列形式：\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0 \ \ \ \ (*)
\]若我們要有唯一解，則其係數必須滿足 Lipschitz condtion 與 Growth conditon，此性質留給讀者確認。計算後可得上述SDE係數滿足Lipschitz condtion 與 Growth conditon，故SDE $(*)$有唯一解，細節在此不贅述


2. Solve the SDE by using integration factor method
現在我們可以開始進行求解。想法為利用ODE中的積分因子法求解。步驟如下

首先改寫SDE如下：
\[\begin{array}{l}
d{X_t} = \frac{{ - 2{X_t}}}{{1 - t}}dt + \sqrt {2t(1 - t)} \;d{B_t}\;\;\;\;{X_0} = 0\;\;\;\;(*)\\
 \Rightarrow d{X_t} + \frac{{2dt}}{{1 - t}}{X_t} = \sqrt {2t(1 - t)} \;d{B_t}\;
\end{array}
\]定義積分因子
\[{U_t}: = {e^{\int_0^t {\frac{2}{{1 - s}}ds} }} = {e^{2\int_0^t {\frac{1}{{1 - s}}ds} }} = \frac{1}{{{{\left( {1 - t} \right)}^2}}} \\
\Rightarrow d{U_t} = {e^{2\int_0^t {\frac{1}{{1 - s}}ds} }}\left( {\frac{2}{{1 - t}}} \right)dt
…

這次要介紹的是如何直接求解隨機微分方程 (SDE)?

考慮如下SDE  (Brownian Bridge)：
定義 $t \in [0 ,T], T<1$
\[
dX_t = \frac{-X_t}{1-t}dt + dB_t \ \ \ \ X_0 =0  \ \ \ \ (*)
\]
Comment:
此SDE 稱作 Brownian Bridge，亦即 其行為類似一個 Bridge 連接兩端點為 $0$ ，在時間 $t=0$時值為 $0$，最後到 時間 $t=t$ 亦回到 $0$，如下圖所示：



Sol：
1. Check the existence and uniqueness 
由Existence 與 Uniqueness Theorem得知，給定一 SDE具有下列形式：\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0 \ \ \ \ (*)
\]若我們要有唯一解，則其係數必須滿足 Lipschitz condtion 與 Growth conditon，故我們在求解之前先確認此兩個條件滿足。

首先檢驗 Lipschitz conditon
\[
|\mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]由上式左邊可得
\[{ \Rightarrow {{\left| {\left( {\frac{{ - {X_t}}}{{1 - t}}} \right) - \left( {\frac{{ - {Y_t}}}{{1 - t}}} \right)} \right|}^2} + |1 - 1{|^2} = {{\left( {\frac{1}{{1 - t}}} \right)}^2}{{\left| {{X_t} - {Y_t}} \right|}^2}}
\]故令 $K = {\left( {\frac{1}{{1 - t}}} \right)^2}$ 即可滿足Lipschitz condtion。

再者檢驗 Growth condition
\[
|\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2)
\]故由上式左邊可得
\[ \Rightarrow {\le…

延續前篇。繼續逐步完成 Existence 的證明：
現在我們有Picard iteration 與 如下 LEMMA

==============================
Iteration Scheme (Picard Iteration):
給定 $X_t^{(0)}:=x_0$，與下列跌代過程：
\[
X_t^{(n+1)} = x_0 + \int_0^t \mu(s, X_s^{(n)})ds + \int_0^t \sigma(s,X_s^{(n)})dBs \ \ \ \ (*)
\]==============================

===============================
Lemma 
若 $\mu, \sigma$ 滿足Lipschitz condtion：
\[
| \mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]則存在一個常數 $C$ 使得 由Picard iteration所定義的隨機過程 $X_t^{(n)}$滿足下列不等式：
\[
E \left[ \displaystyle \sup_{0 \leq s \leq t} |X_s^{(n+1)} - X_s^{(n)}|^2 \right ] \leq C \int_0^t E \left[ | X_s^{(n)} - X_s^{(n-1)}|^2 \right ]
\]===============================

有了這個Lemma 我們便可以開始證明Picard iteration 的跌代過程sequence $X_t^{(n)} \rightarrow X_t$ almost surely。(why we need almost surely?) 因為事實上我們需要證明SDE的解為連續，為了要保持連續性，我們需要almost sure uniformly convergence。故想法如下：

注意到為了要證明 uniform convergence，我們需要先製造出Cauchy Sequence 再透過Completeness 推得 Picard iteration 產生的 $X_t^{(n)} \rightarrow X_t$…

延續前篇。繼續逐步完成 Existence 的證明：
現在我們要證明Picard iteration得到的跌代解的sequence $X_t^{(n)}$確實會收斂。

我們把Picard iteration記在下面：
==============================
Iteration Scheme (Picard Iteration):
給定 $X_t^{(0)}:=x_0$，與下列跌代過程：
\[
X_t^{(n+1)} = x_0 + \int_0^t \mu(s, X_s^{(n)})ds + \int_0^t \sigma(s,X_s^{(n)})dBs \ \ \ \ (*)
\]==============================

那麼我們的第一步是先證明跌代解為Cauchy sequence。接著再透過 $L^2$ space的completeness可推得此Sequence收斂。我們先證明下面的Lemma

===============================
Lemma 
若 $\mu, \sigma$ 滿足Lipschitz condtion：
\[
| \mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]則存在一個常數 $C$ 使得 由Picard iteration所定義的隨機過程 $X_t^{(n)}$滿足下列不等式：
\[
E \left[ \displaystyle \sup_{0 \leq s \leq t} |X_s^{(n+1)} - X_s^{(n)}|^2 \right ] \leq C \int_0^t E \left[ | X_s^{(n)} - X_s^{(n-1)}|^2 \right ]
\]===============================

Proof:
我們需要找出一個常數$C$ 使得上述Lemma的不等式成立，故首先觀察不等式左邊：
\[
\begin{array}{l}
E\left[ {\mathop {\sup }\limits_{0 \le s \le t} |X_s^{(n + 1)} - X_s^{(n)}{|^2}} \right]\\
 = E\left[ {\mat…

延續上篇，這次要討論的是 隨機微分方程的存在性：

為了文章閱讀方便，我們首先回憶SDE的定義：

考慮 $t \in [0,T]$，SDE定義如下
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0
\]
但注意到SDE實質上並無嚴格定義，只有定義在積分型式
\[
X_t = X_0 + \int_0^t \mu(s,X_s) ds + \int_0^t \sigma(s,X_s) dB_s
\]

有了以上的定義，我們才能比較方便的討論SDE的存在性。這邊我們再次給出SDE 存在性與唯一性定理 (與前篇相同)：

=============================
Theorem (Existence and Uniqueness)
考慮 $t \in [0,T]$，SDE:
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0 \ \ \ \ (*)
\]若其係數 $\mu, \sigma$滿足  Lipschitz condition
\[
|\mu(t,x) - \mu(t,y)|^2 + |\sigma(t,x) - \sigma(t,y)|^2 \leq K |x-y|^2
\]與 Growth condition
\[
|\mu(t,x)|^2 + |\sigma(t,x)|^2 \leq K(1 + |x|^2)
\]則 $(*)$ 存在一個 Continuous adapted 的解 $X_t$ 滿足
\[
X_t = X_0 + \int_0^t \mu(s,X_s) ds + \int_0^t \sigma(s,X_s) dB_s
\]且 uniformly bounded in $L^2(dP)$；亦即
\[
\displaystyle \sup_{0 \leq t \leq T}E[X_t^2] < \infty
\]更進一步，若 $X_t$ 與 $Y_t$ 兩者都為式 $(*)$ 的 Continuous $L^2$ bounded 的解，則
\[
P(\{ X_t = Y_t, \forall \ t\in[0,T]\}) =1
\]=============================

想法：回憶ODE中存…

這次要介紹的是 隨機微分方程的存在與唯一性定理：
介紹定理之前我們先回憶一下隨機微分方程(Stochastic Differential Equation, SDE)長甚麼樣子

考慮 $t \in [0,T]$，SDE定義如下
\[
dX_t = \mu(t,X_t)dt + \sigma(t,X_t) dB_t, \ X(0)=x_0
\]
但注意到SDE實質上並無嚴格定義，只有定義在積分型式
\[
X_t = X_0 + \int_0^t \mu(s,X_s) ds + \int_0^t \sigma(s,X_s) dB_s
\]

但問題是如果給定一個SDE，我們想問甚麼時候有解? 該怎麼辦? 存在性與唯一性定理告訴我們在甚麼樣的條件之下，SDE存在有解，且此解為唯一。

在回答這個問題之前，我們需要一個積分不等式的 FACT。

========================
FACT: (Gronwall's inequality)
考慮 $t \in [0,T]$，且 $g \in L^1[0,T]$，若 $g(t) \leq C \cdot \int_{t_0}^{t} g(s) ds + B$ ，則
\[
g(t) \leq B \cdot e^{C (t-t_0)}
\]========================
Proof
設 $g(t) \leq C \cdot \int_{t_0}^{t} g(s) ds + B$ ，我們需要證明
\[
g(t) \leq B \cdot e^{C (t-t_0)}
\]已知
\[\begin{array}{l}
\frac{d}{{dt}}\left( {{e^{ - Ct}}\int_{{t_0}}^t {g\left( s \right)ds} } \right) =  - C{e^{ - Ct}}\int_{{t_0}}^t {g\left( s \right)ds}  + {e^{ - Ct}}g\left( t \right)\\
 \Rightarrow \frac{d}{{dt}}\left( {{e^{ - Ct}}\int_{{t_0}}^t {g\left( s \right)ds} } \right) = {e^{ - Ct}}\left[ {g\left( t \right)…