[投資理論] 股價動態模型(1) - 離散時間乘法模型

此文我們將討論離散時間股價較為合宜的動態模型：令 $k=0,1,2,...,N-1$ 且 $S(k) >0$ 為時刻 $k$ 之股價 且 $S(0)$ 已知常數，現在考慮股價服從以下 乘法模型
\[
S(k+1) = u(k) S(k) \;\;\;\; (*)
\] 其中  $u(k)$ 為  mutually independent 隨機變數 (代表時刻 $k$ 到 $k+1$ 股價的相對變化，亦即 $u(k) = S(k+1)/S(k)$)。現在對上述乘法模型等號兩邊取對數
\begin{align*}
  \ln S(k + 1) &= \ln \left( {u(k)S(k)} \right) \hfill \\
  & = \ln u(k) + \ln \left( {S(k)} \right)
\end{align*}
上述等號對 $k=0,1,2...,N-1$ 皆成立。

Comments:
1. 上述乘法模型中的 $u(k)$ 導致下一時刻的股價產生隨機波動，此結果在一般經濟學中稱為 價格衝擊 (shocks) 在控制理論中被稱為 干擾 (disturbances) 。
2. 上述乘法模型為股價離散時間標準模型，若我們考慮上述 $k=0,1,...,N$ 發生在 時間範圍 $\Delta t$ 之間，則讓 $N \to \infty$ 我們可以近似 股價連續時間的標準模型，也就是 幾何布朗運動 (Geometric Brownian Motion)，但此非本文重點在此不做贅述，有興趣的讀者可以參閱本 BLOG其他相關幾何布朗運動的文章。



對數常態分布的股價 (Log-normal Price)
現在對  $k=0,1,2...,N-1$ ，定義 $w(k):= \ln u(k)$ 且我們指定 $w(k)$ 服從具有 $E[w(k)] = \mu$ 與變異數 $Var(w(k)) = \sigma^2$ 的常態分佈 且 $w(k)$ mutually independent 。

Comments:
由於 $w(k):= \ln u(k)$，我們有 $u(k) = exp(w(k))$ 且 由於 $w(k) \sim N(\mu, \sigma^2)$ 故 $u(k)$ 為 log-normal 隨機變數 (亦即 取 log 之後為常態分配) 。


由乘法模型，不難得知
\[\ln S(k) = \ln \left[ {u(k - 1)u(k - 2) \cdots u\left( 0 \right)S(0)} \right]
\]故若對等號兩邊同取 log可知
\begin{align*}
  \ln S(k) &= \ln S\left( 0 \right) + \sum\limits_{i = 0}^{k - 1} {\ln u(i)}  \hfill \\
   &= \ln S\left( 0 \right) + \sum\limits_{i = 0}^{k - 1} {w(i)}  \hfill \\
\end{align*}
注意到 $\ln S(0)$ 為已知常數，且 $w(i)$ 為 mutually independent 的常態分佈隨機變數 滿足 期望值 $\mu$ 與變異數 $\sigma^2$，故由大學部機率論可知， $\sum_{i=0}^{k-1} w(i)$ 亦為常態隨機變數且其期望值為 $k \mu$ 變異數為 $k \sigma^2$，亦即
\[\sum\limits_{i = 0}^{k - 1} {w(i)} \sim N\left( {k\mu ,k{\sigma ^2}} \right)\]
又因為 $\ln S(0)$ 為已知常數，故 $\ln S(k)$ 亦為常態分佈滿足
\[\ln S(k)\sim N\left( {\ln S\left( 0 \right) + k\mu ,k{\sigma ^2}} \right)\]

Comments
一般在實務上的角度，真實股價 的確反映了 lognormal 分佈的行為但在分佈的兩端會有較大的不一致性，這種性質稱之為 skewness，在此不贅述。讀者可以自行任取市面上的股價進行驗證。

[系統理論] 透過 Fourier transform of correlation function 求隨機過程的頻譜

這次要介紹對於一個 隨機過程而言，如何對其討論 Fourier transform ?

給定 廣義平穩 (Wide-sense stationary (WSS) )隨機過程 $X_t$，其 autocorrelation function  僅與任意給定兩時刻 $t_1, t_2$之差有關，故我們定義
\[
E[X_{t_1} X_{t_2}] :=R_X(t_1 - t_2)
\]現在令 $t_1 = t + \tau$ 且 $t_2 = t$ 我們可將上式 autocorrelation function, $R_X(t_1 - t_2)$ 用一單變數函數改寫，記做 $R_X( \tau)$ 且滿足下列定義
\[
R_X(\tau) :=E[X_{t + \tau}X_{t}]
\]

我們可對 $R_X(\tau)$ 取 Fourier transform 如下
\[
S_X(f) := \int_{-\infty}^{\infty}R_X(\tau)e^{-j 2 \pi f \tau}d\tau
\]且 Inverse Fourier transform
\[
R_X(\tau) = \int_{-\infty}^{\infty}S_X(f) e^{j 2 \pi f \tau} d f
\]
Comment:
上述 $S_X(f)$ 又稱為功率頻譜密度( power spectral density )，我們會在以下說明。


隨機過程的功率 以及 功率頻譜 (Power Spectral and Power in Process)
為了解釋上述的結果現在我們從能量觀點來觀察一個隨機過程：
對一個隨機過程 $X_t$ 其 total energy 定義為
\[
\int_{-\infty}^{\infty} X_t^2dt
\] 而我們亦可定義 平均功率 (average power) 為
\[
\lim_{T \rightarrow \infty} \frac{1}{2T} \int_{-T}^{T} X_t^2 dt
\]但由於上述 total energy 與 average power 為對隨機過程平方做積分，其積分結果仍為隨機變數。故我們需加上期望值確保其不再隨機。故我們定義 期望平均功率(expected average power)
\[
P_X := E\left[ \lim_{T \rightarrow \infty} \frac{1}{2T} \int_{-T}^{T} X_t^2 dt \right]
\]對於 WSS 隨機過程，我們改寫上式 (透過 Fubini's theorm可以對換 期望值 與 積分順序。)
\[\begin{array}{l}
{P_X} = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}\int_{ - T}^T {E\left[ {X_t^2} \right]} dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}\int_{ - T}^T {{R_X}\left( {t - t} \right)} dt = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}\int_{ - T}^T {{R_X}\left( 0 \right)} dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}{R_X}\left( 0 \right)\int_{ - T}^T 1 dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {R_X}\left( 0 \right)
\end{array}
\]由之前我們定義的對 WSS隨機過程之 Fourier transform (事實上這邊我們用 Inverse Fourier transform)，可知
\[\begin{array}{l}
{R_X}(\tau ) = \int_{-\infty} ^\infty  {{S_X}} (f){e^{j2\pi f\tau }}df\\
 \Rightarrow {R_X}\left( 0 \right) = \int_{-\infty} ^\infty  {{S_X}} (f)df
\end{array}\]且由於我們有 $E[X_t^2] = R_X(t-t) = R_X(0)$，故總結以上結果，我們有
\[
P_X := E[X_t^2] = R_X(0) = \int_{-\infty} ^\infty  {{S_X}} (f)df
\]

注意到 $S_X(f)$ 為頻率的函數，故我們稱其為 spectral，且又如同機率 $P(\cdot)$ 為機率密度 $f$ 的積分 e.g., $P(X \in B)  =  \int_B f(x)dx $，對於 expected average power 而言
\[
{P_X} = \int_{-\infty} ^\infty  {{S_X}} (f)df
\]亦可發現 $S_X(\cdot)$ 扮演類似 機率密度的角色，故我們稱之為 spectral density。

以下我們羅列幾個重要的已知結果：

========================
FACT 1: WSS 隨機過程的 autocorrelation function $R_X(t)$ 確實為 real even function ($R_X(t)$ 為實 偶函數)。
========================

Proof: 
由 $R_X(\tau)$ 之定義 $E[X_{t + \tau}X_t]$  可知其為 real function，故我們僅須證明其亦為 even function，也就是要證明 $R_X(\tau) = R_X(-\tau)$，故我們寫下
\[\begin{array}{l}
{R_X}\left( \tau  \right) = {R_X}\left( {\left( {t + \tau } \right) - t} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = E\left[ {{X_{t + \tau }}{X_t}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = E\left[ {{X_t}{X_{t + \tau }}} \right] = {R_X}\left( {t - \left( {t + \tau } \right)} \right) = {R_X}\left( { - \tau } \right)  \ \ \ \ \square
\end{array}\]

========================
FACT 2: 令WSS 隨機過程 $X_t$ 的 autocorrelation function $R_X(\tau)$ ，則對任意 $\tau$，
\[
|R_X(\tau)| \le R(0)
\]========================

Proof: 
我們要證明 $R(0)$ 確實為 $R_X(\tau)$ 的最大值。現在觀察
\[|{R_X}(\tau )| = |E[{X_{t + \tau }}{X_t}]|
\]由 Cauchy-Schwarz inequality $|E[XY]|^2 \le E[X^2]E[Y^2]$ 可知
\[\begin{array}{l}
|{R_X}(\tau )| = |E[{X_{t + \tau }}{X_t}]|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \sqrt {E[{X_{t + \tau }}^2]E[{X_t}^2]}
\end{array}\]且 $ {R_X}(0) = \underbrace {E[X_t^2]}_{ \ge 0} = \underbrace {E[{X_{t + \tau }}^2]}_{ \ge 0} \ge 0$ 我們可得
\[{R_X}(0) \ge \sqrt {{R_X}^2\left( 0 \right)}  = {R_X}\left( 0 \right) \ \ \ \ \square
\]


透過上述結果 (FACT 1 )我們可以證明 $S_X(f)$ 亦為 real and even function。

========================
FACT 2:
$S_X(f)$ 為 real even function
========================

Proof
利用 Euler formula: $e^{j \omega t} = \cos(\omega t) + j \sin (\omega t)$，我們可改寫 $S_X(f)$
\[\begin{array}{l}
{S_X}(f): = \int_{ - \infty }^\infty  {{R_X}} (\tau ){e^{ - j2\pi f\tau }}d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {{R_X}} (\tau )\cos \left( {2\pi f\tau } \right)d\tau  + j\int_{ - \infty }^\infty  {{R_X}} (\tau )\sin \left( {2\pi f\tau } \right)d\tau \ \ \ \ (*)
\end{array}
\]由 FACT 1 於 $R_X(\tau)$ 為 real 且 even。且 $\cos(2 \pi f \tau)$ 為 even function，$\sin( 2 \pi f \tau)$ 為 odd function，故我們可推知

${R_X}(\tau )\cos \left( {2\pi f\tau } \right)$ 為 even function

${R_X}(\tau )\sin \left( {2\pi f\tau } \right)$ 為 odd function

又注意到 $(*)$ 中 等號右方第二個積分式：
\[
\int_{ - \infty }^\infty  {{R_X}} (\tau )\sin \left( {2\pi f\tau } \right)d\tau
\] 其中的 integrand 為 real odd function，故積分值為 $0$，亦即 $(*)$ 式變為
\[
S_X(f) = \int_{ - \infty }^\infty  {{R_X}} (\tau )\cos \left( {2\pi f\tau } \right)d\tau
\]上式積分中的 integrand 為 real even function，故 $S_X(f)$ 亦為 real and even。 $\square$

[隨機過程] 布朗運動的 Reflection Principle 與 First Passage Time Problem

定義 $\{ W_t\}$ 為標準布朗運動。現給定常數邊界 $b >0$，定義 停止時間 (stopping time) 或稱 首次穿越時間 (First passage time)
\[
\tau_b := \inf \{ t : W_t \ge b\}
\]
我們想要計算 $P(\tau_b \le t) = ?$

上述問題稱為 首次穿越時間問題 (First passage time (FPT) problem)

=========
那麼如何求解上述FPT問題呢?

首先注意到
\[
\{ \tau_b \le t, W_t >b \} \equiv \{ W_t > b\}
\] 上式成立由於布朗運動的 sample path 連續性 (Path Continuity)，與 $W(0)=0$，故 $W_t > b  \Rightarrow \tau_b \le t$，亦即 $\{ W_t > b\} \subset \{ \tau_b \le t\}$。故
\[
\{ \tau_b \le t, W_t >b \} \equiv \{ W_t > b\}
\]

現在我們計算 $P(\tau_b \le t) $，利用 Law of total Probability 可得
\[\begin{array}{l}
P({\tau _b} \le t) = P({\tau _b} \le t,{W_t} < b) + P({\tau _b} \le t,{W_t} > b) \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = P({W_t} < b|{\tau _b} \le t)P\left( {{\tau _b} \le t} \right) + P({\tau _b} \le t,{W_t} > b)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = P({W_t} < b|{\tau _b} \le t)P\left( {{\tau _b} \le t} \right) + P({W_t} > b) ....\ \ \ \ (*)
\end{array}
\]上式中的 $P(W_t > b)$ 可以由布朗運動定義計算出來，因為 $W_t \sim \cal{N}(0,t)$，故
\[
P(W_t > b) = 1 - P(W_t \le b) = 1 - \Phi(\frac{b}{\sqrt{t}})
\] 其中 $\Phi(\cdot)$ 為 Standard Normal Cumulative Distribution Function.

接著，我們計算 $P({W_t} < b|{\tau _b} \le t)$，事實上由 Path Continuity 我們可知 $W_{\tau_b} = b$，故在給定 $\tau_b \le t$ 的時候，隨機過程在時刻 $t$ 時 高於 邊界 $b$ 的機率 與 低於 邊界 $b$ 的機率應該相同；亦即
\[
P({W_t} < b|{\tau _b} \le t) = \frac{1}{2}
\]
(上述結果稱為 Reflection Principle ，嚴格證明需要利用 Strong Markov property，但此處我們略過)。下圖亦顯示了 Reflection Principle 的想法

故我們將上述結果代回 $(*)$，可得
\[\begin{array}{l}
P({\tau _b} \le t) = P({W_t} < b|{\tau _b} \le t)P\left( {{\tau _b} \le t} \right) + P({W_t} > b)\\
 \Rightarrow P({\tau _b} \le t) = \frac{1}{2}P\left( {{\tau _b} \le t} \right) + P({W_t} > b)\\
 \Rightarrow P\left( {{\tau _b} \le t} \right) = 2P({W_t} > b) = 2\left( {1 - \Phi \left( {\frac{b}{{\sqrt t }}} \right)} \right)
\end{array}\]



Ref: Joseph T. Chang, "Stochastic Processes Lecture Note" Yale University.

[隨機分析] Ito-formula 與其應用 (3) - Differential form of the Ito formula and the Standard stochastic process

延續前篇，回憶我們手上有的雙變數 Ito formula for standard Brownian motion $B_t$ 。

若 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，則我們有 Ito formula
\[ \small
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)d{s} + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)d{B_s} + \frac{1}{2} \int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)d{s}
\]
一般而言上述形式過於冗長，文獻中多半將上式改寫為微分形式如下
\[
df(t,B_t) = \frac{{\partial f}}{{\partial t}}\left( {t,{B_t}} \right)d{t} + \frac{{\partial f}}{{\partial x}}\left( {t,{B_t}} \right)d{B_t} +  \frac{1}{2}\frac{{\partial^2 f}}{{\partial x^2}}\left( {t,{B_t}} \right)d{t}
\]

Comments:
上式微分形式僅為積分縮寫，亦即微分形式的Ito formula是 書寫上較為方便，但並無實質定義。注意到當初在定義隨機積分 (Ito integral) 的時候，只有積分有嚴格定義 ( 用approximating sequence of step function in $\mathcal{H}_0^2$ 定義隨機積分，接著用 Density Lemma 拓展隨機積分到$\mathcal{H}^2$ space。)，故並無微分的定義。

 WHY? 因為 注意到微分形式需要 $dB_t$ 但是回憶標準布朗運動，我們知道$B_t$ 為連續函數但處處不可微分( but quadratic variation is finite in probability)。故無法定義布朗運動的"微分"。


現在如果我們考慮一個隨機過程 $X_t $ 具有下列形式：
對 $t \in [0,T]$
\[
X_t(\omega) := X_0(\omega) + \int_0^t a(\omega, s) ds + \int_0^t b(\omega, s) dB_s \ \ \ \ (\star)
\]且為了讓上式是well-defined (也就是說可以討論積分後的值是多少而不是積分後會爆掉或者根本不存在此積分)，我們需要$X_0$為 $\mathcal{F}_0$-measurable，且$a, b$為 adapted, measurable 的隨機過程且滿足對 almost every $\omega$，
\[
\int_0^T |a(\omega, s)| ds + \int_0^T |b(\omega,s)| ^2 d s < \infty \ \text{almost surely}
\]亦即，$a(\omega, s) \in L^1$ 對所有的$\omega$ 與 $b(\omega,s) \in L_{LOC}^2$

則我們可將 $ (\star)$ 寫為微分形式如下
\[
dX_t = a(\omega,t)dt + b(\omega, t) dB_t \ \ \ \ (*)
\]

Comments:
1. $(\star)$ 與 $(*)$ 稱為 標準隨機過程(Standard Process) 或者稱為伊藤過程 Ito process

那麼現在有個簡單的問題：
我們手上有的Ito formula現在對標準布朗運動可以定義，那麼我們想知道是否可以把Ito formula拓展到對標準隨機過程也能成立呢?

答案是肯定的；我們將其寫作下面的定理

============================
Theorem ( Ito formula for Standard process )
對 $t \in [0,T]$，考慮  $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$ 且 $\{ X_t 0 \leq t \leq T\}$ 為一個標準隨機過程符合下式：
\[
X_t(\omega) := X_0(\omega) + \int_0^t a(\omega, s) ds + \int_0^t b(\omega, s) dB_s
\]則我們有 Ito formula
\[ \small
f(t,X_t) = f(0,X_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{X_s}} \right)d{s} + \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{X_s}} \right)d{X_s} \\
\ \ \ \ \ \ \ \ \ \ \ +  \frac{1}{2}\int_0^t {\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{X_s}} \right)\underbrace {{b^2}(\omega ,s)ds}_{d{{\left\langle X \right\rangle }_s}}}
\]============================
Proof: omitted.

Comment: 
1. 上式中 ${{{\left\langle X \right\rangle }_t}}$ 稱為 Quadratic variation of $X_t$
\[
{{{\left\langle X \right\rangle }_t}} := \displaystyle \lim_{||\Delta|| \rightarrow 0} \sum_i (X_{t_i} - X_{t_{i-1}}) \ \text{in Probability}
\]其中 $\Delta := \{ 0 =t_0 < t_1 < ... < t_n = t\}$

2. 上式 Ito formula 可改寫為微分形式 (only for shorthand, no real definition on such differential form)
\[
df(t,X_t) = \frac{{\partial f}}{{\partial t}}\left( {t,{X_t}} \right) dt + \frac{{\partial f}}{{\partial x}}\left( {t,{X_t}} \right) dX_t + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {t,{X_t}} \right)d{X_t} \cdot d{X_t}
\]

ref: J. M. Steele, Stochastic Calculus and Financial Applications, Chapter 8, Springer

[隨機分析] Ito-formula 與其應用 (2) - Martingale PDE condtion

回憶先前提及的  Ito Integral 有下列重要結果：Ito-integral 為一個隨機過程，且若積分變數 $f \in \mathcal{H}^2$，則隨機積分為一個 Martingale。若 $f \in L_{LOC}^2$，則隨機積分為一個 Local martingale。我們把此結果記做 $(\star)$

現在我們來看看 Ito formula 可以幫助我們判別是否為 Martingale or Local Martingale。

現在考慮 $t \in [0,T]$，回憶雙變數的 Ito formula
\[
\small{
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)ds +  \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right) dB_s +  \frac{1}{2}\int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)ds }
\]
現在將上式 $\int ds$ 項合併，可得
\[
\small{ f(t,{B_t}) = f(0,{B_0}) + \int_0^t {\left( {\frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right) + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{B_s}} \right)} \right)} ds + \int_0^t {\frac{{\partial f}}{{\partial x}}} \left( {s,{B_s}} \right)d{B_s}}
\]觀察上式，如果  $\int ds$ 項為零，亦即
\[
{\frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right) + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{B_s}} \right)}=0
\]，則 Ito formula剩餘的最後一項 為 Ito integral ，由我們剛剛提過的 $(\star)$ 可知，此 Ito integral
\[\int_0^t {\frac{{\partial f}}{{\partial x}}} \left( {s,{B_s}} \right)d{B_s}
\]為 Local martingale。 WHY!? 因為Ito formula假設  $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，也就是說 Ito integral 項的積分變數 (對 $f$ 取一階偏導數) 為 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \in \mathcal{C}^1$，又因為 $t \in [0,T]$為compact domain，連續函數必定有界，也就是說積分變數是落在 $L_{LOC}^2$，亦即滿足下式
\[
\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds < \infty
\]
另外，如果 Ito integral的 積分變數  ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \in \mathcal{H}^2$，亦即滿足下式
\[
E \left [\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds \right] < \infty
\]
，則我們可得到 Martingale。

我們現在將上述結果寫成下面這個定理：

Theorem (Martingale PDE condition)
考慮 $t \in [0,T]$，若 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，且
\[
\frac{{\partial f}}{{\partial t}} + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}} =0\ \ \ \ (1)
\]則 $X_t = f(t, B_t)$ 為一個 Local Martingale。
再者，若  ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)}\in \mathcal{H}^2$，亦即
\[
E \left[\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds \right] < \infty  \ \ \ \ (2)
\]則 $X_t$ 為一個 Martingale

Proof
其實證明已經於前面討論寫完，但我們這邊把前述討論再稍作整理。

給定任意  $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$ 滿足雙變數 Ito formula：
\[
\small{ f(t,{B_t}) = f(0,{B_0}) + \int_0^t {\left( {\frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right) + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}}\left( {s,{B_s}} \right)} \right)} ds + \int_0^t {\frac{{\partial f}}{{\partial x}}} \left( {s,{B_s}} \right)d{B_s}}
\]
由假設 $(1)$，上式變成
\[f(t,{B_t}) = f(0,{B_0}) + \int_0^t {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} d{B_s}\]
由於  $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R}) \Rightarrow {\frac{{\partial f}}{{\partial x}}} \in \mathcal{C}^1$，故 ${\frac{{\partial f}}{{\partial x}}}$為連續函數，又因為 $t \in [0,T]$為compact domain，連續函數必定有界，也就是說積分變數  ${\frac{{\partial f}}{{\partial x}}}$ 是落在 $L_{LOC}^2$，亦即滿足下式
\[
\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds < \infty
\]
故 Ito integral $\int_0^t {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} d{B_s}$為一個Local Martingale。

另外如果假設 $(2)$ 成立；亦即
\[
E \left[\int_0^t \left ( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)^2 ds \right] < \infty
\]則積分變數 ${\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)}\in \mathcal{H}^2$，故
Ito integral $\int_0^t {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} d{B_s}$為一個 Martingale。 $\square$


Example (Ruin Problem)
令 $B_t$ 為 標準布朗運動，定義一個隨機過程 $X_t$符合下式
\[
X_t := \mu t + \sigma B_t
\]
其中 $\mu \in \mathbb{R}$； $\sigma>0$；$A,B >0$。且定義停止時間
\[
\tau := \inf\{ t>0 : X_t = A \ or \ X_t = -B\}
\]計算 $P(X_{\tau} = A ) =?$

Comment:
上述隨機過程 $X_t := \mu t + \sigma B_t $ 一般稱之為 Arithmetic Brownian Motion。

Solution:
想法如下：
如果我們可以找到一個函數 $h(X_t)$ 使其為 Martingale (透過滿足 Martingale PDE condtion Theorem)，則利用 Martingale的性質我們知道
\[
 E[h(X_0)] = E[h(X_{\tau})]
\]又因為 $E[h(X_{\tau})] = h(A)P(X_{\tau} = A) + h(-B) P(X_{\tau}=-B)$，故
\[
 E[h(X_0)] = E[h(X_{\tau})] = h(A)P(X_{\tau} = A) + h(-B) P(X_{\tau}=-B)
\]又我們可以知道$h(A)$ 與 $h(-B)$，故即可解得 $P(X_{\tau} = A) $。

以下開始逐步求解：

為了要找出$h(X_t)$，我們令
$f(t,x):=h( \mu t + \sigma x)$，則 $f(t,B_t) = h( \mu t + \sigma B_t) = h(X_t)$

現在透過 Martingale PDE condition $(1)$：
\[
\frac{{\partial f}}{{\partial t}} + \frac{1}{2}\frac{{{\partial ^2}f}}{{\partial {x^2}}} =0 \ \ \ \ (**)
\]為了求解簡便起見，令 $z := \mu t + \sigma x $，則
\[\left\{ \begin{array}{l}
\frac{{\partial f}}{{\partial t}} = \frac{{\partial h}}{{\partial z}}\frac{{\partial z}}{{\partial t}} = \frac{{dh}}{{dz}}\mu \\
\frac{{\partial f}}{{\partial x}} = \frac{{\partial h}}{{\partial z}}\frac{{\partial z}}{{\partial x}} = \frac{{dh}}{{dz}}\sigma \\
\frac{{{\partial ^2}f}}{{\partial {x^2}}} = {\sigma ^2}\frac{{{d^2}h}}{{d{z^2}}}
\end{array} \right.\]則我們的 $(**)$ 變成
\[\begin{array}{l}
\frac{{dh}}{{dz}}\mu  + \frac{1}{2}{\sigma ^2}\frac{{{d^2}h}}{{d{z^2}}} = 0\\
 \Rightarrow h''\left( z \right) = \frac{{ - 2\mu }}{{{\sigma ^2}}}h'\left( z \right) \\
\Rightarrow \frac{{h''}}{{h'}}\left( z \right) = \frac{{ - 2\mu }}{{{\sigma ^2}}}\\
 \Rightarrow {\left( {\ln \left( {h'\left( z \right)} \right)} \right)^\prime } = \frac{{ - 2\mu }}{{{\sigma ^2}}}\\
 \Rightarrow \ln \left( {h'\left( z \right)} \right) = \frac{{ - 2\mu }}{{{\sigma ^2}}}z + C\\
 \Rightarrow h'\left( z \right) = {C_1}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}z}}\\
 \Rightarrow h\left( z \right) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}z}} + {C_3}\\
 \Rightarrow f\left( {t,x} \right) = h\left( {\mu t + \sigma x} \right) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( {\mu t + \sigma x} \right)}} + {C_3} \ \ \ \ (\star \star)
\end{array}
\]再來我們透過 Martingale PDE condition $(2)$，計算 $L^2$-norm
\[\begin{array}{l}
E\left[ {\int_0^t {{{\left( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)}^2}} ds} \right]  \\
 \Rightarrow E\left[ {\int_0^t {{{\left( {\frac{{dh}}{{dz}}\sigma } \right)}^2}} ds} \right]= {\sigma ^2}E\left[ {{{\int_0^t {\left( {\frac{{dh}}{{dz}}} \right)} }^2}ds} \right]
\end{array}
\]由 $(\star \star)$，我們知道
\[
h\left( z \right) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} + {C_3} \Rightarrow \frac{{dh}}{{dz}} = {C_4}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}}
\]，故我們可得到
\[
\begin{array}{l}
\Rightarrow E\left[ {\int_0^t {{{\left( {\frac{{dh}}{{dz}}\sigma } \right)}^2}} ds} \right] = {\sigma ^2}E\left[ {{{\int_0^t {\left( {{C_4}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}}} \right)} }^2}ds} \right]\\
 \Rightarrow {C_5}E\left[ {\int_0^t {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s + \sigma {B_s}} \right)}}ds} } \right] = {C_5}E\left[ {\int_0^t {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s} \right)}}{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\sigma {B_s}} \right)}}ds} } \right]\\
 \Rightarrow {C_5}E\left[ {\int_0^t {\underbrace {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s} \right)}}}_{ \le 1}{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}ds} } \right] \le {C_5}E\left[ {\int_0^t {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}ds} } \right]\\
 \Rightarrow {C_5}E\left[ {\int_0^t {\underbrace {{e^{\frac{{ - 4\mu }}{{{\sigma ^2}}}\left( {\mu s} \right)}}}_{ \le 1}{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}ds} } \right] \le {C_5}\int_0^t {E\left[ {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}} \right]ds}
\end{array}
\]注意到 ${E\left[ {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}} \right]}$ 為 Gaussian Random Variable的 Moment Generating Function，亦即
\[
E\left[ {{e^{\frac{{ - 4\mu }}{\sigma }\left( {{B_s}} \right)}}} \right] = {e^{\frac{1}{2}{{\left( {\frac{{ - 4\mu }}{\sigma }} \right)}^2}s}}
\]故，
\[
E\left[ {\int_0^t {{{\left( {\frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right)} \right)}^2}} ds} \right] \leq {C_5}\int_0^t {{e^{\frac{1}{2}{{\left( {\frac{{ - 4\mu }}{\sigma }} \right)}^2}s}}ds}   < \infty
\]，至此我們知道
\[
f\left( {t,{B_t}} \right) = h\left( {\mu t + \sigma {B_t}} \right) = h(X_t)= {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( {\mu t + \sigma {B_t}} \right)}} + {C_3}
\] 為Martingale。

由於 $ h(X_t) $ 為Martingale $\Rightarrow$ $h(X_{t \wedge \tau})$亦為 Martingale。
\[
E[h(X_0)] = E[h(X_{t \wedge \tau})]
\]且因為$h(X_t)$有界 (bounded by A or -B)；亦即
\[
|h(X_{t \wedge \tau}) | \leq \max_{-B \leq x \leq A} h(x)
\]
，故由Dominated Convergence Theorem，我們知道當 $t \rightarrow \infty$，
\[
E[h(X_0)] = E[h(X_{t \wedge \tau})] \rightarrow E[h(X_{\tau})]
\]也就是說
\[
 E[h(X_0)] = E[h(X_{\tau})] \ \ \ \ (**)
\]
且我們知道 $E[h(X_{\tau})] = h(A) P(X_{\tau} =A) + h(-B) P(X_{\tau} = -B)$，又
$X_0 = 0$ 故 $ h (X_0) = h(0) \Rightarrow E[h(X_0)] = E[h(0)] =h(0) $
現在我們可以求解 $(**)$如下
\[
E[h(X_0)] = E[h(X_{\tau})] \Rightarrow h(0) =h(A) P(X_{\tau} =A) + h(-B) P(X_{\tau} = -B)
\]
因為我們要求 $P(X_{\tau}=A)$故令邊界條件 $h(A) =1, h(-B)=0$；故上式改寫
\[
E[h(X_0)] = E[h(X_{\tau})] \Rightarrow h(0) =1 \cdot P(X_{\tau} =A)  \ \ \ \ (\star \star)
\]且由先前計算得到的
\[
h(z) = {C_2}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} + {C_3}
\]
透過邊界條件 $h(A) =1, h(-B)=0$，我們可解 $C_2, C_3$如下
\[\begin{array}{l}
h(z) = \frac{1}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} + \frac{{ - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}} = \frac{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}\left( z \right)}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}\\
 \Rightarrow h(0) = \frac{{1 - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}
\end{array}\]
現在比較上式與 $(\star \star)$，我們得到
\[\begin{array}{l}
h(0) = 1 \cdot P({X_\tau } = A)\\
 \Rightarrow \;\frac{{1 - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}}{{{e^{\frac{{ - 2\mu }}{{{\sigma ^2}}}A}} - {e^{\frac{{2\mu }}{{{\sigma ^2}}}B}}}} = P({X_\tau } = A)
\end{array}\]
即為所求。 $\square$

ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer

B. Øksendal, Stochastic Differential Equations: An Introduction with Applications 6th, Springer

[隨機分析] Ito-formula 與其應用 (1) - Two variables case

回憶我們在上一篇
[隨機分析] Ito-formula 與其應用 (0) -Simplest Case
所提出的問題先前問題，考慮
\[
M_t := \exp(\alpha B_t - \alpha^2 t/2)
\]我們想要計算此Ito Integral
\[
\int_0^t M_s dB_s =?
\]注意到上式隨機積分中的積分變數 $M_t$ 不只是 $B_t$ 的函數，亦為 $t$的函數(亦即 $M_t = f(t, B_t)$ 為雙變數函數) 故原本的 simplest form of Ito formula  沒辦法直接應用，我們需要進一步修正Ito formula來讓我們可以對付 這種情況。

在修正Ito Formula 之前我們先定義下列函數

Definition: ($f \in \mathcal{C}^{m,n}(\mathbb{R^+} \times \mathbb{R})$)
考慮函數 $(t,x)  \mapsto f(t,x) \in \mathbb{R}$，且其對 $t$ 存在 $m$ 階導數且連續，對 $x$ 存在 $n$ 階導數且連續，則我們稱此函數 $f \in \mathcal{C}^{m,n}(\mathbb{R^+} \times \mathbb{R})$

有了上面的定義，我們可以著手拓展Ito formula到雙變數函數 如下

=================
Theorem (Ito's Formula with Space and Time Variables)
對任意函數 $f \in \mathcal{C}^{1,2}(\mathbb{R}^+ \times \mathbb{R})$，則對應的 Ito's formula 為
\[
\small{
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)ds +  \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right) dB_s +  \frac{1}{2}\int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)ds }
\]=================
Proof: omitted.

有了上面的定理，我們現在可以再回頭瞧瞧原本無法解決的例子：

Example
考慮 $M_t := \exp(\alpha B_t - \alpha^2 t/2)$，試求 $\int_0^t M_s dB_s=?$

Solution
首先定義函數
\[
f\left( {t,x} \right): = \exp (\alpha x - {\alpha ^2}t/2)
\] 且
\[\begin{array}{l}
\frac{\partial }{{\partial t}}f\left( {t,x} \right) = {e^{\alpha x}}{e^{ - {\alpha ^2}t/2}}\left( {\frac{{ - {\alpha ^2}}}{2}} \right)\\
\frac{\partial }{{\partial x}}f\left( {t,x} \right) = {e^{ - {\alpha ^2}t/2}}{e^{\alpha x}}\alpha \\
\frac{{{\partial ^2}}}{{\partial {x^2}}}f\left( {t,x} \right) = {\alpha ^2}{e^{ - {\alpha ^2}t/2}}{e^{\alpha x}}

\end{array}
\] 由 "Ito's Formula with Space and Time Variables"，
\[
\small{
f(t,B_t) = f(0,B_0) + \int_0^t \frac{{\partial f}}{{\partial t}}\left( {s,{B_s}} \right)ds +  \int_0^t \frac{{\partial f}}{{\partial x}}\left( {s,{B_s}} \right) dB_s +  \frac{1}{2}\int_0^t \frac{{\partial^2 f}}{{\partial x^2}}\left( {s,{B_s}} \right)ds }
\]可知
\[\begin{array}{*{20}{l}}
{\exp (\alpha {B_t} - {\alpha ^2}t/2) = 1 + \left( {\frac{{ - {\alpha ^2}}}{2}} \right)\int_0^t {{e^{\alpha {B_s}}}{e^{ - {\alpha ^2}s/2}}} ds}\\
{\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; + \alpha \int_0^t {{e^{ - {\alpha ^2}s/2}}{e^{\alpha {B_s}}}} d{B_s} + \frac{{{\alpha ^2}}}{2}\int_0^t {{e^{ - {\alpha ^2}s/2}}{e^{\alpha {B_s}}}} ds}\\
{ \Rightarrow \frac{1}{\alpha }\left( {\exp (\alpha {B_t} - {\alpha ^2}t/2) - 1} \right) = \int_0^t {{e^{\alpha {B_s}}}{e^{ - {\alpha ^2}s/2}}} d{B_s}}\\
{ \Rightarrow {M_t} = 1 + \alpha \int_0^t {{M_t}} d{B_s}}
\end{array}\]
故
\[{\int_0^t {{M_t}} d{B_s} = \frac{1}{\alpha }\left( {{M_t} - 1} \right)} \ \ \ \ \square
\]

ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer

[隨機分析] Ito-formula 與其應用 (0) -Simplest Case

在微積分中，我們計算的時候大多仰賴 微積分基本定理(Fundamental Theorem of Calculus)。那麼我們想問在建立隨機分析之後，是否也有類似的結果呢?

答案是肯定的。在隨機分析中這樣的結果稱作Ito formula 或者 Ito Lemma

Theorem (Ito Formula - simplest Case)
若 $f : \mathbb{R}  \rightarrow  \mathbb{R}$ 且 $f \in \mathcal{C}^2$則
\[
f(B_t) = f(B_0) + \int_0^t f'(B_s) dB_s + \frac{1}{2}\int_0^t f''(B_t) ds \ \ \ \ (*)
\]
Comments:
1. 注意到如果上式 第二個積分 $\frac{1}{2}\int_0^t f''(B_t) ds=0$ (NOT Ito integral, but Lebesgue integral)的話，則我們確實回到的微積分基本定理。故第二項積分又稱 Ito correction term。
2. 注意到 第一個積分 $\int_0^t f'(B_s) dB_s $ (Ito integral) 為 zero mean，故此暗示了後方第二個積分必須要包含所有關於函數 $f(B_t)$ 漂移(drift)程度的資訊。
3. 注意到函數必須二階可微連續，亦即 $f \in \mathcal{C}^2$
4. 注意到 Ito Integral 有下列重要結果：Ito-integral 為一個隨機過程，且若 $f \in \mathcal{H}^2$，則隨機積分為一個 Martingale。若 $f \in L_{LOC}^2$，則隨機積分為一個 Local martingale。

這邊我們先不證明，先舉幾個例子看看這個Ito formula 在計算Ito Integral的威力。

Example 1
令 $B_t$為標準布朗運動，試求  $\int_0^t B_s dB_s = ?$

Solution
因為我們想要求  $ \int_0^t B_s dB_s$，故想法是希望透過應用 Ito formula 來為我們產生出此隨機積分項。此積分項出現在Ito formula 等號右邊的第二項 (一階導數的積分項)，故我們令 函數 $f(x) := x^2$，則 $f'(x)=2x, f''(x)=2$，故由Ito formula $(*)$ 可知
\[
B_t^2 = B_0^2 + \int_0^t 2B_s dB_s + \frac{1}{2}\int_0^t 2 ds
\]
又因為 $B_t$ 為標準布朗運動 $B_0 =0$，我們可將上式整理如下
\[
2 \int_0^t B_s dB_s = B_t^2 -  \int_0^t ds
\]
亦即
\[
 \int_0^t B_s dB_s = \frac{1}{2}B_t^2 - \frac{1}{2}t. \ \ \ \ \square
\]

再看看這個例子。

Example 2
令 $B_t$為標準布朗運動，試求  $\int_0^t B_s^2 dB_s = ?$

Solution
令 函數 $f(x) := x^3$，則 $f'(x)=3x^2, f''(x)=6x$，故由Ito formula $(*)$ 可知
\[
B_t^3 = B_0^3 + \int_0^t 3B_s^2 dB_s + \frac{1}{2}\int_0^t 6 B_s ds
\]
又因為 $B_t$ 為標準布朗運動 $B_0 =0$，我們可將上式整理如下
\[
3 \int_0^t B_s^2 dB_s = B_t^3 -3 \int_0^t  B_s ds
\]
亦即
\[
 \int_0^t B_s^2 dB_s = \frac{1}{3}B_t^3 - \int_0^t  B_s ds  \ \ \ \ \square
\]

注意到上式已經是最簡狀態，$\int_0^t  B_s ds$ 是path-wise Lebesgue integral 無法更進一步化簡。

Example 3
令 $B_t$為標準布朗運動，試求  $\int_0^t e^{B_s}dB_s = ?$

Solution
令 函數 $f(x) :=e^x$，則 $f'(x)= f''(x)= e^x$，故由Ito formula $(*)$ 可知
\[
e^{B_t} = e^{B_0} + \int_0^t e^{B_s} dB_s + \frac{1}{2}\int_0^t e^{B_s} ds
\]
又因為 $B_t$ 為標準布朗運動 $B_0 =0$，我們可將上式整理如下
\[
\int_0^t e^{B_s} dB_s = e^{B_t}- e^{B_0} - \frac{1}{2}\int_0^t e^{B_s} ds
\]
亦即
\[
\int_0^t e^{B_s} dB_s = e^{B_t}- 1 - \frac{1}{2}\int_0^t e^{B_s} ds \ \ \ \ \square
\]

現在我們考慮一個稍微複雜一點的情況，定義
\[
M_t := \exp(\alpha B_t - \alpha^2 t/2)
\]如果我們想要計算 $\int_0^t M_s dB_s$ 是多少呢?

注意到上式子$M_t$ 不只是 $B_t$ 的函數，亦為 $t$的函數(亦即 $M_t = f(t, B_t)$) 故Ito fomula $(*)$ 沒辦法直接應用，我們需要進一步修正Ito formula來讓我們可以對付 這種情況。這我們會在下一篇再作介紹

==================
延伸閱讀
[隨機分析] Ito-formula 與其應用 (1) - Two variables case

ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer

[隨機分析] Ito Integral 淺談 (V) - Ito Integral on L^2 Local space and the connection with Gaussian process

這次要介紹的是 Ito integral on L^2 Local space 的另外一個重要結果：

如果我們考慮 積分變數 $f$ 不再是隨機過程，亦即 $f$ 為一非隨機函數, e.g., $f(t)$ (不再是 $f(t,\omega)$)，則對此函數的 Ito integral：
\[
 \int_0^t f(s) dB_s
\]為一個 Gaussian Process with zero mean 與 variance $\int_0^t f(s)^2 ds$。我們將此結果計做以下定理

Theorem (Nonrandom integrand of Ito integral yields a Gaussian process)
若 $f \in \mathcal{C}[0,T]$ 為非隨機 連續函數，則由 Ito integral 所定義的 隨機過程 $X_t$
\[
X_t := \int_0^t f(s) dB_s \ , \ t \in [0,T]
\]為 mean zero Gaussian process 且有互相獨立增量與 covariance function
\[
Cov(X_s,S_t) = \int_0^{s \wedge t} f^2(u) du
\]除此之外，如果我們取在 $[0,T]$  上 Partition 定義如下
\[
t_i := iT/n, \ 0 \leq i \leq n
\] ，且選擇 $t_i^*$ 滿足 $t_{i-1} \leq t_i^* \leq t_i \ , \forall 1 \leq i \leq n$，則我們有 Riemann Representation 如下:
\[
\lim_{n \rightarrow \infty} \sum_{i=1}^{n} f(t_i^*) (B_{t_i} - B_{t_{i-1}}) = \int_0^T f(s) dB_s
\]其中上述 Limit 表 convergence in probability.

Proof
此處的 Riemann Representation proof 可視為 之前 我們討論過的 對隨機函數 $f(B_s)$ 的 Riemann Representation 的特例， 詳細證明請參閱之前文章
[隨機分析] Ito Integral 淺談 (IV) - Ito Integral on L^2 Local space and its Riemann Representation

我們只需證明第一部分：
首先證明 $X_t$ 由獨立增量 (independent increments)。

由 Riemann Representation，我們可知
\[
\lim_{n \rightarrow \infty} \sum_{i=1}^{n} f(t_i^*) (B_{t_i} - B_{t_{i-1}}) = \int_0^T f(s) dB_s
\]因為 $B_{t_i}$ 為標準布朗運動，故由標準布朗運動定義可知 對 $0 \leq i \leq n$$B_{t_i} - B_{t_{i-1}}$ 為獨立增量，$X_t$ 確實具有獨立增量，且標準布朗運動可視為 Gaussian Process，故 $X_t$ 亦為 Gaussian Process。

再者由 Riemann Representation 我們可計算其 mean
\[
E[X_t] = 0
\] 與 Variance  (利用 Ito Isometry)
\[
Var[X_t] = E \left[ \left( \int_0^t f(s) dB_s \right )^2 \right ] = \int_0^t f(s)^2 ds
\] 上式可用 Ito isometry 是因為積分變數為 $f \in \mathcal{C} \Rightarrow f \in L_{LOC}^2 [0,T]$，故為平方可積。Ito isometry 可以使用!。

最後，Covariance function 可由上述 Variance formula 與 獨立增量求得。 $\square$

對於非隨機積分變數的 Ito Integral 為 Gaussian Process 這點可以很大的程度上幫助我們計算 distribution。下面我們看幾個定理的應用：

Example 1
試求一確定 (deterministic) 函數 $\tau : [0, \infty) \rightarrow [0, \infty)$ 使得
\[
X_t = \int_0^t e^s dB_s \ \ \text{and} \ \ Y_t = B_{\tau(t)}
\]具有相同的 distribution。 Hint: 使用上述定理。

Proof
首先觀察 $X_t = \int_0^t e^s dB_s$，由於 積分變數 $e^s$ 為確定 (非隨機) 函數，故由上述定理可知，$X_t$ 為 Gaussian process with zero mean 與 covariance： 對 $s<t$
\[
Cov(X_t,X_s) = \int_0^s e^{2u} du =\frac{1}{2}\left( {{e^{2s}} - 1} \right)
\]
現在回頭觀察 $Y_t= B_{\tau(t)}$ ，由於其為標準布朗運動，故亦為 Gaussian process with zero mean，且其 Covariance ： 對 $s<t$

\[\begin{array}{l}
Cov\left( {{Y_t},{Y_s}} \right) = Cov\left( {{B_{\tau (t)}},{B_{\tau (s)}}} \right) = E\left[ {{B_{\tau (t)}}{B_{\tau (s)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{\rm{ = }}
\end{array}E\left[ {\left( {\left( {{B_{\tau (t)}} - {B_{\tau (s)}}} \right) + {B_{\tau (s)}}} \right){B_{\tau (s)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{\rm{ = }}
\end{array}E\left[ {\left( {{B_{\tau (t)}} - {B_{\tau (s)}}} \right){B_{\tau (s)}}} \right] + E\left[ {{B_{\tau (s)}}{B_{\tau (s)}}} \right]\\
by\begin{array}{*{20}{c}}
{}
\end{array}independence\\
\begin{array}{*{20}{c}}
{}&{}&{}&{{\rm{ = }}E\left[ {{B_{\tau (t)}} - {B_{\tau (s)}}} \right]}
\end{array}E\left[ {{B_{\tau (s)}}} \right] + E\left[ {{B_{\tau (s)}}{B_{\tau (s)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{\rm{ = }}
\end{array}\tau (s)
\end{array}
\] 由於 Gaussian process 完全由 mean function 與 covariance function 決定，故令
\[
\tau (s)=\frac{1}{2}\left( {{e^{2s}} - 1} \right)
\]則 $X_t$ 與 $Y_t$ 的 即有相同 distribution 。

Example 2
令 $f \in L^1 [0,T]$ 且 $B_t$ 為在機率空間 $(\Omega, \cal{F}, P)$ Standard Brownian Motion。現在定義
\[
Y_f(\omega) = \int_0^T f(s) B_s ds
\] (a) 試求此積分

(b) 基於結果 (a)，現在對任意兩函數 $f, g \in L^1[0,T]$，試求其 Joint distribution of
\[ \left[ {\begin{array}{*{20}{c}}
{{Y_f}}\\
{{Y_g}}
\end{array}} \right]\]

Comment: 此積分 $Y_f(\omega) = \int_0^T f(s) B_s ds$ 結果為 random variable ，因為是積分到 "固定"大 $T$ (而非任意時刻 $t$)，另外此積分不是 Ito Integral 因為其為對 $ds$ 積分。

Proof
利用積分形式的 Integration by part
\[\begin{array}{l}
d\left( {{U_t}{V_t}} \right) = {U_t}d{V_t} + {V_t}d{U_t} + d\left\langle {{U_t},{V_t}} \right\rangle \\
 \Rightarrow {U_t}{V_t} - {U_0}{V_0} = \int_0^t {{U_s}d{V_s}}  + \int_0^t {{V_s}d{U_s}}  + \left\langle {{U_t},{V_t}} \right\rangle
\end{array}
\]選 $U_t := f(t), V_t := B_t$，則我們有
\[\begin{array}{l}
F\left( t \right){B_t} = \int_0^t {F\left( s \right)d{B_s}}  + \int_0^t {{B_s}dF\left( s \right)}  + 0\\
 \Rightarrow F\left( t \right){B_t} = \int_0^t {F\left( s \right)d{B_t}}  + \int_0^t {{B_t}f\left( s \right)ds} \\
 \Rightarrow \int_0^t {{B_s}f\left( s \right)ds}  = F\left( t \right){B_t} - \int_0^t {F\left( s \right)d{B_t}}
\end{array}
\]注意到 $F\left( t \right){B_t} = F\left( t \right)\int_0^t {d{B_s}}  = \int_0^t {F\left( t \right)d{B_s}}$，故我們可以改寫上面的結果:
\[\begin{array}{l}
\int_0^t {f\left( s \right){B_s}ds}  = F\left( t \right){B_t} - \int_0^t {F\left( s \right)d{B_t}} \\
 \Rightarrow \int_0^t {f\left( s \right){B_s}ds}  = \int_0^t {\left[ {F\left( t \right) - F\left( s \right)} \right]d{B_s}}  = \int_0^t {\left[ {\int_s^t {f\left( u \right)du} } \right]d{B_s}}
\end{array}\]故
\[
\int_0^T {f\left( s \right){B_s}ds}  = \int_0^T {\left[ {\int_s^T {f\left( u \right)du} } \right]d{B_s}}
\] 且由於積分變數 ${\int_s^T {f\left( u \right)du} }$ 為非隨機。故由 上述定理可知其為 Gaussian random variable (因為 $T$ fixed，積分不在是 stochastic process，而是一個 random variable) with zero mean 且 Variance 為
\[
\int_0^T {{{\left[ {\int_s^T {f\left( u \right)du} } \right]}^2}ds}
\]亦即
\[\int_0^T {f\left( s \right){B_s}ds} \sim \mathcal{N}(0, \int_0^T {{{\left[ {\int_s^T {f\left( u \right)du} } \right]}^2}ds})
\]

由 Gaussian random variable 定義可知：若
\[\left[ {\begin{array}{*{20}{c}}
X\\
Y
\end{array}} \right]
\] 為 normal 若且為若 (if and only if) 對所有的 $\alpha, \beta \in \mathbb{R}$, $\alpha X + \beta Y $為 Normal；且若 $\left[ {\begin{array}{*{20}{c}}
X\\
Y
\end{array}} \right]
$ 為 mean zero，則我們有
\[\left[ {\begin{array}{*{20}{c}}
X\\
Y
\end{array}} \right]{{\sim}}\left( {{\rm{0}},\left[ {\begin{array}{*{20}{c}}
{\sigma _X^2}&{{\mathop{\rm cov}} \left( {X,Y} \right)}\\
{{\mathop{\rm cov}} \left( {Y,X} \right)}&{\sigma _Y^2}
\end{array}} \right]} \right)
\]則應用 part(a) 類似方法讀者可計算上述 Covariance 與 Variance 求得答案。

ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer

[隨機分析] Ito Integral 淺談 (IV) - Ito Integral on L^2 Local space and its Riemann Representation

延續 第三篇，
[隨機分析] Ito Integral 淺談 (III) - Localization

我們有了 Localizing sequence $\{ \upsilon_n \}$之後，便可以開始著手拓展 Ito Integral 到 $f \in L_{LOC}^2[0, T]$。亦即
\[
\int_0^t f(\omega,s) dB_s \ \ \text{for $f \in L_{LOC}^2[0,T]$}
\]
在定義上述Ito Integral之前，我們需要先介紹一個新的概念： Local Martingale

========
Definition (Local Martingale)
考慮 $t \in [0,T]$，令 $M_t$ 為一個對 filtration $\{ \mathcal{F}_t\}$ adapted 的隨機過程，則我們說 $M_t$ 為一個 Local Martingale 若下列條件成立：

存在一組 停止時間 的sequence  $\upsilon_1(\omega) \leq \upsilon_2(\omega) \leq ... \leq \upsilon_n(\omega) \leq ...$ 使得對所有的 $n$，

\[ M_{t \wedge \upsilon_n(\omega)} - M_0 \] 為一個 Martingale， 且機率 $P\left( \bigcup\limits_n {\left\{ {\upsilon_n(\omega) = T} \right\}} \right) =1$

========
Comment: 上述的一組停止時間的sequence 即為我們先前所介紹的 Localizing sequence。


有了 Local Martingale 在手之後，我們便可以開始著手拓展Ito Integral 到 $f \in L_{LOC}^2[0, T]$。

=============
Definition: (Construction of the Ito Integral for $f \in L_{LOC}^2$)
考慮對所有 $n$， $X_{n,t}$ 為連續時間的 Ito Integral。
\[
X_{n,t} := \int_0^t f(\omega, s) \cdot 1_{\{s \leq \upsilon_n(\omega)\}} dB_s(\omega)\] ，則存在一組連續的 Local Martingale 使得 對 almost every $\omega$而言，下列隨機過程
\[
X_t(\omega) = X_{n,t}(\omega), \ \text{ $\forall$ n s.t. $\upsilon_n(\omega) \geq t$ }
\]且隨機過程 $X_t(\omega)$ 與 Localizing sequence $\{ \upsilon_n \}$的選取無關，故定義 Ito Integral for $f \in L_{LOC}^2$ :
\[
X_t := \int_0^t f(\omega,s) dB_s
\]
===============
事實上此定義需要進一步證明，但這邊我們先假定此定義是well-defined。然後我們想要進一步討論以下這個重要結果。

===============
Theorem (Riemann Representation)：
令 $f \in \mathcal{C}(\mathbb{R})$ (即 $f$ 為連續實數函數)，且定義 Partition
\[
\Delta_n :=\{ 0 = t_0^n<...<t_n^n=T\}
\]，並 mesh $||\Delta_n|| \rightarrow 0$，則
\[
\int_0^T f(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}) \ \text{in Probability}
\]================
Proof:
我們要證明
\[
\int_0^T f(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}) \ \text{in Probability}
\]
注意到我們現在是落在 compact $[0,T]$，且 布朗運動 $B_t$ 為連續函數，故連續函數在compact domain必定有界。這暗示了$f(B_t)$ 在 $[0,T]$亦為有界。我們把此結果稱作 $(1)$。

有了這個資訊，我們便可先定義一組 停止時間的sequence
\[
\tau_M(\omega) := \inf \{ t \geq 0: |B_t| \geq M \ or \ t=T \}
\]則由結果$(1)$我們知道 $ f(B_t) \cdot 1_{\{ t \leq \tau_M(\omega)\}} \in \mathcal{H}^2[0,T]$ 且 對almost every $\omega$與足夠大的 $n$而言，$\tau_M(\omega) =T$。故此組 停止時間sequence localized $f(B_t(\omega))$，也就是說這組停止時間seqeunce讓 $f(B_t(\omega)) \in L_{LOC}^2[0,T]$。


有了上述結果之後，我們可以開始著手進一步的證明，首先由定理的假設我們引入一個新的函數 $f_M \in \mathcal{C}_c(\mathbb{R})$； ( 其中 $\mathcal{C}_c(\mathbb{R})$ 表連續，且 compactly supported on $\mathbb{R}$ 的space) 使得
\[
f_M(x) = f(x) \ \text{for $|x| \leq M$}
\]因此， $f_M$ 為有界函數(bounded)，故取平方積分後依然有界，故我們可推知 $f_M(B_t) \in \mathcal{H}^2[0,T]$，那麼對於此 $f_M$，我們便可應用先前的 $L^2$ space的結果。

對固定 $M$，我們可以計算對 $f_M$函數的 Ito Integral ： $\int_0^T f_M(B_s) dB_s$。

由於$f_M(B_t) \in \mathcal{H}^2[0,T]$， 回憶 Density LEMMA ( $\mathcal{H}_0^2$  $\text{is Dense in}$ $\mathcal{H}^2$) 可知，我們可以找到一組 approximating sequence $\phi_n \in \mathcal{H}_0^2$ 使得當 $n \rightarrow \infty$，
\[
||  \phi_n - f_M ||_{L^2{(dP \times dt)}} \rightarrow 0  \ \ \ \ (*)
\]因為$\phi_n \in \mathcal{H}_0^2$ ，我們令
\[
 \phi_n(\omega,s) = \sum_{i=1}^n f_M(B_{t_{i-1}}) \cdot 1_{\{ t_{i-1} < s \leq t_{i} \}}
\]
為了要檢驗此 $\{ \phi_n\}$ 為我們的approximating sequence to $f_M(B_t)$，故我們由 $(*)$計算其 $L^2$ norm，
\[
\begin{array}{l}
||{\phi _n}\left( {\omega ,s} \right) - {f_M}\left( {{B_s}} \right)|{|_{{L^2}(dP \times dt)}}= E\left[ {\int_0^T {{{\left( {{\phi _n}\left( {\omega ,s} \right) - {f_M}\left( {{B_s}} \right)} \right)}^2}ds} } \right]\\

 = E\left[ {\int_0^T {{{\left( {\sum\limits_{i = 1}^n {{f_M}} ({B_{{t_{i - 1}}}}) \cdot {1_{\{ {t_{i - 1}} < s \le {t_i}\} }} - {f_M}\left( {{B_s}} \right)} \right)}^2}ds} } \right]\\

 = E\left[ {\int_0^T {{{\left( {\sum\limits_{i = 1}^n {\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}  \cdot {1_{\{ {t_{i - 1}} < s \le {t_i}\} }}} \right)}^2}ds} } \right]\\

 = E\left[ {\int_0^T {\sum\limits_{i = 1}^n {{{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}}  \cdot {1_{\{ {t_{i - 1}} < s \le {t_i}\} }}ds} } \right]\\

 = \int_{{t_{i - 1}}}^{{t_i}} {\sum\limits_{i = 1}^n {E{{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} ds} \\

 \le \int_{{t_{i - 1}}}^{{t_i}} {ds} \sum\limits_{i = 1}^n {E\left( {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right)} \\

 = (t_i  - t_{i-1}) \sum\limits_{i = 1}^n {E\left[ {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right]}
\end{array}
\ \ \ \ (\star)\]
注意到，如果我們定義
\[
\mu(h) := \sup \{ | f_M(x) - f_M(y)|: |x-y| \leq h\}
\]則由於 $f_M$為落在Compact domain的連續函數，故其必定有界；亦即存在一個夠大的常數$B$使得
\[
\mu(h) \leq B
\]且由連續性可知，當 $h \rightarrow 0 \Rightarrow \mu(h) \rightarrow 0$

故如果我們現在定義
\[
M_i := {\displaystyle \mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{ |  {({B_{{t_{i - 1}}}}) - \left( {{B_s}} \right)}} |}}
\]由上述定義，我們可推知 $(\star)$ 有如下關係：
\[
  (t_i  - t_{i-1}) \sum\limits_{i = 1}^n {E\left[ {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right]}
\leq E[\mu^2(M_i))] \\
\]
其中 $ \mu^2(M_i)  \leq B \cdot \mu(M_i) \rightarrow 0  \text{as $n \rightarrow \infty$}$
故由 Dominated Convergence theorem，可知當 $n \rightarrow \infty$，我們有
\[
  (t_i  - t_{i-1}) \sum\limits_{i = 1}^n {E\left[ {\mathop {\sup }\limits_{\{ s:{t_{i - 1}} < s \le {t_i}\} } {{\left( {{f_M}({B_{{t_{i - 1}}}}) - {f_M}\left( {{B_s}} \right)} \right)}^2}} \right]}
\leq E[\mu^2(M_i))] \rightarrow 0
\]
故 $\{ \phi_n\}$ 為我們的approximating sequence to $f_M(B_t)$。

故我們現在可以計算 $\phi_n$對應的 Ito Integral
\[
I(\phi_n) = \sum_i f_M(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}})
\]且由 Ito Isometry，我們知道 $I(\phi_n) \rightarrow I(f_M)$ in $L^2(dP)$，故我們有了對 $f_M$的Riemann Representation
\[
 I(f_M) = \int_0^T f_M(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f_M(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}). \ \ (**)
\]

但注意到上式是對 $f_M$，我們想要定義的是 $f$，故現在我們可以開始證明convergence in probability。

首先觀察 $f$ 與  $f_M$ 的兩者間的關係如下：
對所有的 $\omega \in \{ \omega: \tau_M(\omega) =T \}$，我們有 $f(B_{t_i}) = f_M(B_{t_i}) \ \forall \ 0 \leq i \leq n$，故考慮 事件 $\{ \tau_M(\omega) = T\}$，則有如下結果
\[
\int_0^T f(B_s) dB_s = \int_0^T f(B_s) \cdot 1_{\{s \leq \tau_M(\omega) \}}dB_s
\]
定義下列事件 $A_n(\varepsilon )$
\[
A_n(\varepsilon ) := \left\{ {\omega :\left| {\sum\limits_{i = 1}^n {f\left( {{B_{{t_{i - 1}}}}} \right)\left( {{B_{{t_i}}} - {B_{{t_{i - 1}}}}} \right)}  - \int_0^T {f\left( {{B_s}} \right)d{B_s}} } \right| \ge \varepsilon } \right\}
\]
故現在我們需要證明的是 對所有的 $\varepsilon >0 $，當$n \rightarrow \infty$，上述事件 $A_n(\varepsilon )$發生的機率為0

我們首先將事件 $A_n(\varepsilon )$ 分成兩部分：
\[P\left( {\left\{ {{A_n}\left( \varepsilon  \right) \cap \left\{ {{\tau _M}\left( \omega  \right) < T} \right\}} \right\}} \right) + P\left( {\left\{ {{A_n}\left( \varepsilon  \right) \cap \left\{ {{\tau _M}\left( \omega  \right) = T} \right\}} \right\}} \right)\]當 $M$夠大的時候，第一項 $P\left( {\left\{ {{A_n}\left( \varepsilon  \right) \cap \left\{ {{\tau _M}\left( \omega  \right) < T} \right\}} \right\}} \right) \leq  P\left( {\left\{ {{\tau _M}\left( \omega  \right) < T} \right\}} \right) \rightarrow 0$

現在注意第二項，利用 Chebyshev's inequality，我們可以得到下面關係：
\[\begin{array}{l}
P\left( {\left\{ {{A_n}\left( \varepsilon  \right) \cap \left\{ {{\tau _M}\left( \omega  \right) = T} \right\}} \right\}} \right)\\

 \le P\left( {\left\{ {\omega :\left| {\sum\limits_{i = 1}^n {{f_M}\left( {{B_{{t_{i - 1}}}}} \right)\left( {{B_{{t_i}}} - {B_{{t_{i - 1}}}}} \right)}  - \int_0^T {{f_M}\left( {{B_s}} \right)d{B_s}} } \right| \ge \varepsilon } \right\}} \right)\\
 \le \frac{1}{{{\varepsilon ^2}}}E\left[ {{{\left| {\sum\limits_{i = 1}^n {{f_M}\left( {{B_{{t_{i - 1}}}}} \right)\left( {{B_{{t_i}}} - {B_{{t_{i - 1}}}}} \right)}  - \int_0^T {{f_M}\left( {{B_s}} \right)d{B_s}} } \right|}^2}} \right] \rightarrow 0
\end{array}\]
最後式成立是來自之前 Rimenn Representation $ (**)$ 的結果。故我們得到
\[
\int_0^T f(B_s) dB_s = \lim_{||\Delta_n|| \rightarrow 0} \sum_i f(B_{t_{i-1}})(B_{t_i} - B_{t_{i-1}}) \ \text{in Probability}
\]至此證明完畢。 $\square$

ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer

[隨機分析] Ito Integral 淺談 (III) - Localization

這次要介紹的是 Localization 的概念。

回憶之前我們所定義的 Ito Integral 都要求 我們的積分變數 $f \in \mathcal{H}^2$，亦即積分變數必須滿足如下 $L^2$ 可積性條件
\[
E \left[ \int_0^T f^2(\omega, t) dt \right] < \infty
\]
現在如果我們考慮如下 Ito Integral：
考慮 $g : \mathbb{R} \rightarrow \mathbb{R}$ 為連續函數
\[
\int_0^t g(B_s)dB_s
\]則此 連續函數的積分變數 $g$ 並無法滿足我們的可積性條件 (WHY?)：比如說如果我們選擇
\[
g(B_t) :={e^{{B_t}^4}}
\]，為一個連續函數，但如果我們現在去觀察其期望值： (by Jensen's inequality)
\[
E[{e^{{B_t}^4}}] \ge {e^{E[{B_t}^4]}} = {e^{E[{B_t}^4]}} = {e^{3{t^2}}}
\]上式透過Jensen inequality告訴我們有明確的下界，但並無上界 (隨著 $t$ 變大，下界跟著exponetially 變大)，也就是說 $E[{e^{{B_t}^4}}] \rightarrow \infty$ 還沒開始積分就爆掉了。為了解決這個問題。 我們需要進一步拓展可積分的函數範圍，我們利用 Stopping time來巧妙的幫助我們拓展Ito Integral至更廣泛的函數 (EX: 連續函數)。

------------------------
Definition: $f \in L_{LOC}^2 [0,T]$ space
令函數 $f: \Omega \times [0,T] \rightarrow \mathbb{R}$ 為 measurable 與 adapted；若存在一組 非遞減 (nondecreasing) 停止時間(stopping time) 的 sequence
\[
\upsilon_1(\omega) \leq \upsilon _2(\omega) \leq ... \leq \upsilon_n(\omega) \leq ...
\] 使得 $f_n(\omega,t) := f(\omega,t) \cdot 1_{ \{ t \leq \upsilon_n(\omega) \} } \in \mathcal{H}^2[0,T]$ 且對足夠大的 $n$而言， $\upsilon_n(\omega) = T$ for almost every $\omega$；則我們說
\[
f \in L_{LOC}^2 [0,T]
 \]

Comments:
1. 上述定義中的 停止時間(stopping time) 的 sequence 稱作 Localizing sequence. 用來把增加的太快的函數用 stopping time 擋下來 使其仍然落在 $\mathcal{H}^2$ 之中。

2. 由 $f \in L_{LOC}^2$ 的定義，可知  $\mathcal{H}^2 \subset L_{LOC}^2$，故對任意連續函數 $g : \mathbb{R} \rightarrow \mathbb{R}$ 而言，我們有 $f(\omega, t) = g(B_t)$，注意到標準布朗運動 $B_t$ 為連續函數，故 $g(B_t)$亦為連續函數。現在如果我們的 $ f(\omega,t) = g(B_t) \in L_{LOC}^2$，則有一組停止時間使得我們的積分變數都落在 $\mathcal{H}^2$又因為連續函數在compact domain必為有界，故我們可以推論對任意固定 $\omega$，函數 $t \mapsto g(B_t(\omega))$ 在閉區間 $[0, T]$ 為有界，亦即 $ f(\omega,t) = g(B_t) \in L_{LOC}^2$。積分變數為連續函數的 Ito Integral 亦可被定義。

3. 上述的定義適合用於拓展Ito積分到 $L_{LOC}^2$，但並不容易用來確認函數是否落在 $L_{LOC}^2$。故下面我們給出一個等價的定義結果：

Claim: $f \in L_{LOC}^2 \Leftrightarrow \int_0^T f(\omega,t)^2 dt < \infty$ for almost every $\omega$

Proof
先證 $ ( \Rightarrow )$
假設 $f \in L_{LOC}^2$，我們要證明 $\int_0^T f(\omega,t)^2 dt < \infty$ for almost every $\omega$

由定義 $f \in L_{LOC}^2 [0,T]$ space，可知 存在一組 非遞減 (nondecreasing) 停止時間(stopping time) 的 sequence
\[
\upsilon_1(\omega) \leq \upsilon _2(\omega) \leq ... \leq \upsilon_n(\omega) \leq ...
\] 使得 $f_n(\omega,t) = f(\omega,t) \cdot 1_{ \{ t \leq \upsilon_n(\omega) \} } \in \mathcal{H}^2[0,T]$
且對足夠大的 $n$而言， $\upsilon_n(\omega) = T$ for almost every $\omega$

我們首先利用 $f_n(\omega,t) \in \mathcal{H}^2$ 可知，
\[
E \left [ \int_0^T f^2_n(\omega,t) dt \right ] < \infty
\] 亦即
\[
\Rightarrow E \left [ \int_0^T f^2(\omega,t) \cdot 1_{ \{ t \leq \upsilon_n(\omega) \} } dt \right ] < \infty \ \ \ (*)
\] 注意到其實上式已經幾乎是我們要的，如果我們能證明期望值內部的積分是有限的。故我們定義一個事件為 " $f_n(\omega,t)$ 為平方可積分的事件"，亦即定義事件 $\Gamma_n$如下
\[
\Gamma_n := \left \{ \omega:  \int_0^T f^2_n(\omega,t) dt <\infty \right \}
\]
則機率 $P \{ \Gamma_n \} = 1$

現在，我們對$\Gamma_n$取交集，得到 $\Gamma  = \bigcap\limits_n {{\Gamma _n}} $，且 $P \{ \Gamma \} = 1$；

現在我們使用為尚未用上的 $f \in L_{LOC}^2 [0,T]$ space 定義：對足夠大的 $n$而言， $\upsilon_n(\omega) = T$ for almost every $\omega$，

故令 $\omega \in \Gamma$ 且 $n$ 足夠大。使得$\upsilon_n(\omega) = T$；則我們觀察式 $(*)$ 的等號右邊
\[
  \int_0^T f^2(\omega,t) \cdot 1_{ \{ t \leq \upsilon_n(\omega) \} } dt =  \int_0^T f^2(\omega,t) \cdot 1_{ \{ t \leq  T \} } dt <\infty
\]但是又注意因為上式 Indicator function 為 $1_{ \{ t \leq  T \}}$ 而積分範圍是從 $0$ 到 $T$，故此$1_{ \{ t \leq  T \}} =1$，亦即
\[
  \int_0^T f^2(\omega,t) \cdot 1_{ \{ t \leq  T \} } dt = \int_0^T f^2(\omega,t) dt  <\infty
\]
故得證 $(\Rightarrow)$

接著我們證明另一個方向 $(\Leftarrow)$：
假設  $\int_0^T f(\omega,t)^2 dt < \infty$ for almost every $\omega$，我們要證明  $f \in L_{LOC}^2$。

也就是要證明："存在一組 非遞減 (nondecreasing) 停止時間(stopping time) 的 sequence
\[
\upsilon_1(\omega) \leq \upsilon _2(\omega) \leq ... \leq \upsilon_n(\omega) \leq ...
\] 使得 $f_n(\omega,t) := f(\omega,t) \cdot 1_{ \{ t \leq \upsilon_n(\omega) \} } \in \mathcal{H}^2[0,T]$ 且對足夠大的 $n$而言， $\upsilon_n(\omega) = T$ for almost every $\omega$ "

故我們現在定義一組符合上述要求 停止時間的sequence
\[
\upsilon_n(\omega) := \inf \left \{ s \geq 0 : \int_0^s f(\omega, u)^2 du \geq n \ or \ s=T \right \}
\]由基本積分理論可知 $s \mapsto \int_0^s f(\omega, s)^s du$ 為一個連續函數，故我們有下列結果
\[
\int_0^{\upsilon_n(\omega)} f^2(\omega, u) du \leq n \Rightarrow \int_0^T f^2(\omega, u) \cdot 1_{ \{u \leq \upsilon_n(\omega)\}} du \leq n
\]第二式成立是因為對時間 $(du)$ 積分 (非對 $d B_u$積分的 隨機積分)。又因為上式為小於或等於 $n$ 故 我們對其取期望值
\[
E[ \int_0^T f^2(\omega, u) \cdot 1_{\{u \leq \upsilon_n(\omega)\}} du] \leq n < \infty
\]
亦即， $f(\omega,u) \cdot 1_{\{ u \leq \upsilon_n(\omega) \} } \in \mathcal{H}^2[0,T]$. 即為所求 $\square$

==========
延伸閱讀
[隨機分析] Ito Integral 淺談 (IV) - Ito Integral on L^2 Local space

ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer

[隨機分析] Ito Integral 淺談 (II) - 再論 Ito 積分的建構

回憶前篇 [隨機分析] Ito Integral 淺談 (I) - Ito 積分的建構與Ito Isometry property
，我們討論了在 $\mathcal{H}^2$ 空間 且固定時刻 $T$ 的隨機積分 的建構。
\[
 I_T(f)(\omega) = \int_0^T f(\omega, t) dB_t \]

現在我們進一步放寬固定時刻 $T$ 的限制。使其拓展到 任意時刻 $t < T$

在拓展積分之前我們先介紹一個方便使用的剪切函數 (truncation function) $m_t(\omega,s)$

------------------
Definition: (Truncation function)
定義
\[{m_t}\left( {\omega ,s} \right): = \left\{ \begin{array}{l}
1{,_{}} \ \ \ s \le t\\
0{,_{}} \ \ \ s > t
\end{array} \right.\]
--------------------

有了 $m_t(\omega,s)$ 後，現在給定 $f \in \mathcal{H}^2[0,T]$，對 $t<T$ 我們可以定義被剪切過的函數 $f$ 稱作 $f^{(t)}$ 如下：
\[
f^{(t)}(\omega,s):=f(\omega,s) \cdot m_t(\omega,s)\]
接著我們說對應被剪切過函數的隨機積分  $I_t (f^{(t)}) = I_T(m_t \cdot f) $  almost surely.

Claim:  $f \in \mathcal{H}^2[0,T]$, $I_t (f^{(t)}) = I_T(m_t \cdot f) $  almost surely.

Proof
首先由於 $f \in \mathcal{H}^2$，由之前在第一篇提及的 LEMMA ( $\mathcal{H}_0^2$  $\text{is Dense in}$ $\mathcal{H}^2$) 可知，我們可以找到一組 approximating sequence $f_n \in \mathcal{H}_0^2$ 使得當 $n \rightarrow \infty$，
\[
||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0  \ \ \ \ (*)\]

又因為 $f_n \in \mathcal{H}_0^2$，由$\mathcal{H}_0^2$定義可知，此空間是由step function所構成，故 $f_n$ 為step function 並可表為下式 

\[
f_n := \displaystyle \sum_{i=0} a_i^n (\omega) 1(t_i^n < t \leq t_{i+1}^n) \]
現在我們讓之前定義的 $m_t $  乘上 $f_n$ 可得 $f_n^{(t)}$
\[
f_n^{(t)} := m_t \cdot f_n = \displaystyle \sum_{i=0} a_i^n (\omega) 1(t_i^n \wedge t < t \leq t_{i+1}^n \wedge t ) \]
且由 $(*)$，我們知道 $||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0 $ 注意到如果將其乘上$m_t$ 對norm的結果並不影響，亦即 $||m_t f - m_t f_n ||_{L^2{(dP \times dt)}} \rightarrow 0 $；

也就是說
\[
f_n^{(t)} := m_t \cdot f_n \rightarrow m_t \cdot f := f^{(t)} \ \ \text {by  definition  of  $m_t$}\]

另一方面，因為我們知道如何計算 $f_n$的隨機積分，亦即
\[
 I_T(f_n)(\omega) := \displaystyle \sum_{i=0} a_i^n (\omega) \{B_{t_{i+1}^n} - B_{t_i}^n \} \]
故把 $f_n$剪切過後的隨機積分亦可計算如下
\[\left\{ \begin{array}{l}
{I_T}({m_t} \cdot {f_n})(\omega ) \to {I_T}({m_t} \cdot f)(\omega )\;\\
{I_t}(f_n^{(t)})(\omega ) \to {I_t}({f^{(t)}})(\omega )
\end{array} \right.\]
上述 Limit 是 in $L^2$ sense。故我們得到
\[ I_T(m_t \cdot f)(\omega) = I_t(f^{(t)})(\omega) \] 在 $L^2$-sense
又因為 $L^2$-convergence $\Rightarrow$ Probability-convergence $\Rightarrow$ 存在 subsequence 使得 almost surely convergence。再由 Limit 唯一性，可知
\[ I_T(m_t \cdot f)(\omega) = I_t(f^{(t)})(\omega) \] almost surely. $\square$

=========
延伸閱讀
[隨機分析] Ito Integral 淺談 (III) - Localization

ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer

[隨機分析] Ito Integral 淺談 (I) - Ito Integral 的建構與 Ito Isometry property

這次要介紹隨機分析中的 Ito  integral　的建構：

目標：建立下面的(隨機)積分 or  Ito integral 
\[
{\color {red} {I(f)(\omega) = \int_0^T f(\omega, t) dB_t}} \ \ \ \ (*) \]
其中 $T$ 為固定時間， $B_t$ 是標準布朗運動(Standard Brownian motion)。 $f(\omega, t)$是一個隨機過程。
$I(f) (\omega)$ 表示積分為一個 mapping (之後會定義該從哪邊mapping到哪邊)，且積分完畢之後會是一個隨機變數 (function of $\omega$)

Comment:
你可能會問上面的積分跟一般積分有何不同!?
第一 是積分變數 $f(\omega,t)$ 不再是定數。此時的積分變數為一個隨機過程。
第二是 後方積分對象 $dB_t$ 亦為一個隨機過程 (標準布朗運動)。此時會使原本的Riemann -Stieltjes 積分無法定義(因為寫成sum之後左端點與右端點的答案不同)。 ( Ito Integral 選擇左端點因為之後會有較好的性質 ( Ito integral is (Local) martingale. )不過這是後話。)

建構 Ito 積分的想法如下：
先透過一類簡單的函數定義出上面的積分。再將其定義域擴展到更廣的函數類別。


積分變數(Integrand)需要那些條件?
為了要讓上述的積分可以make sense， $(*)$ 式子中的積分變數 $f(\omega,t)$ 必須先滿足一些基本的可測性 (measurability) 與可積分 (integrability) 的條件。

首先考慮可測性(measurability)：
令 $\mathcal{B}:=$ the smallest $\sigma$-algebra that contains all of the open subsets of $[0, T]$
$\{ \mathcal{F}_t \}:=$ be standard Brownian filtration
且對所有的 $t \geq 0$， $\mathcal{F}_t \times \mathcal{B}:=$ the smallest $\sigma$-algebra that contains all of the product sets $A \times B$；其中 $A \in \mathcal{F}_t$ 且 $B \in \mathcal{B}$

最後我們說 $f(\cdot , \cdot)$ 是 可測的 (measurable) 如果 $f(\cdot , \cdot) \in \mathcal{F}_T \times \mathcal{B}$
且 $f(\cdot , \cdot)$ 是 adapted 如果 對所有的 $t \in [0,T]$, $f(\cdot,t) \in \mathcal{F}_t$


再者考慮積分性(integrability)：
為了建構前述 Ito 積分 $(*)$，我們會先將注意力放在 積分變數 $f(w,t)$ 是落在 $\mathcal{H}^2[0,T]$ 空間 ( $\mathcal{H}^2$ is a closed linear subspace of $L^2(dP \times dt)$ )。其中 $\mathcal{H}^2[0,T]$ 表示是由所有 measurable + adapted 函數 $f$組成的集合，且滿足下列積分限制
\[
E \left [ \int_0^T f(\omega,t)^2 dt  \right ]<\infty
\]

Comments:
1. 上式積分限制為 $L^2 (dP \times dt )$-norm ；
2. 上式積分限制為 一個雙重積分 ( 期望值由定義為 Lebesgue 積分；e.g.,  $E[X] := \int_{\Omega} X dP $  ) 注意到 $dP$ 指的是 Lebesgue 積分 對應於上式積分限制中的期望值部分， $dt$ 指的上式積分限制中  Rieman 積分的部分，亦即對應於上式的  $\int_0^T f(\omega,t)^2 dt $

現在我們可以開始定義積分。First step
回憶我們的idea：先建構 對基本函數的積分 再進一步拓展。所以在此我們先定義某一類基本函數所在的集合如下：

定義集合： $\mathcal{H}_0^2$ 為 $\mathcal{H}^2$的子集合，且此集合 $\mathcal{H}_0^2$ 由下列基本 step 函數構成
\[
f(\omega, t) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) 1(t_i < t \leq t_{i+1}) \ \ \ \ (1)
\]其中 $a_i \in \mathcal{F}_{t_i}$, $E[a_i^2 ]< \infty$ , $1(\cdot)$ 為 indicator function，且定義 partition
\[
0 = t_0 < t_1 < ... < t_{n-1} < t_n =T
\] NOTE: 關於 Indicator function $1(\cdot)$有興趣的讀者請參閱 [機率論] Indicator function 

那麼，對於上式 $(1)$ ，我們定義在 $ \mathcal{H}_0^2$ 上的 Ito Integral 為
\[
 I(f)(\omega) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) \{B_{t_{i+1}} - B_{t_i} \} \ \ \ \ (2)
\]

Comment:
1. 注意到上述積分 $ I(f)(\omega)$， 並未寫成一般常用的積分符號 $\int$ 是因為要強調此積分為某種mapping，且此積分目前只建構在基本step函數所構成的空間 $\mathcal{H}_0^2$，尚未值得引入標準的積分符號。
2. 上述積分的 $a_i(\omega)$是取左端點 $i$ 的值 (Ito integral)

接著，我們要開始延伸積分的定義域從 $\mathcal{H}_0^2$ 空間 到整個 $\mathcal{H}^2$ 空間。

再延伸定義域之前，我們必須先確認 $I : \mathcal{H}_0^2 \subset L^2(dP \times dt) \rightarrow L^2 (dP)$ 是一個 continuous mapping。下列引理建立了這個continuous mapping的關係

----------------------------
LEMMA 1 (Ito Isometry on ${\bf \mathcal{H}_0^2}$)
對所有的 $f \in \mathcal{H}_0^2$，我們有如下關係
\[
|| I(f) ||_{L^2(dP)} = ||f||_{L^2(dP \times dt)}
\]-----------------------
Proof
idea: 分別計算左右兩邊的 $L^2$ norm；為了方便起見我們計算 $L^2$-norm的平方，；

給定 $f \in \mathcal{H}_0^2$; i.e., $f(\omega, t) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) 1(t_i < t \leq t_{i+1}) $

先計算右邊的 $ ||f||_{L^2(dP \times dt)}$，由 $L^2$-norm 定義：
\[
 ||f||_{L^2(dP \times dt)} :=  \left ( E \left [ \int_0^T f(\omega,t)^2 dt \right ] \right )^{1/2}
\]也就是 $||f||_{L^2(dP \times dt)} ^2$；照定義計算：
\[
f^2(\omega,t) = \left ( \displaystyle \sum_{i=0}^{n-1} a_i (\omega) 1(t_i < t \leq t_{i+1}) \right )^2\\
\Rightarrow  f^2(\omega,t) = \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) 1(t_i < t \leq t_{i+1})
\]則

$||f||_{L^2(dP \times dt)} ^2 = E \left [ \int_0^T f(\omega,t)^2 dt \right ] = E \left [ \int_0^T;\displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) 1(t_i < t \leq t_{i+1}) dt \right ] $

$\Rightarrow f^2(\omega,t) = E \left [ \int_{t_i }^{t_{i+1}} \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) dt \right ] $

$\Rightarrow f^2(\omega,t) =E \left [ \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) (t_{i+1}- t_i) \right ]$

$\Rightarrow f^2(\omega,t) = \displaystyle \sum_{i=0}^{n-1} E \left [ a_i^2(\omega) \right ] (t_{i+1}- t_i)) \ \ \ \ (\star)$

接著再計算左邊的 $|| I(f) ||_{L^2(dP)}$，由定義可知：
\[ || I(f) ||_{L^2(dP)}:= E \left [ I^2(f)(\omega) \right]^{1/2} \]

由於我們對基本step函數定義的積分為

$ I(f)(\omega) := \displaystyle \sum_{i=0}^{n-1} a_i (\omega) \{B_{t_{i+1}} - B_{t_i} \}$

$\Rightarrow I(f)^2(\omega) = \left ( \displaystyle \sum_{i=0}^{n-1} a_i (\omega) \{B_{t_{i+1}} - B_{t_i} \} \right )^2$

$ = \displaystyle \sum_{i=0}^{n-1} a_i^2 (\omega) \{B_{t_{i+1}} - B_{t_i} \}^2 +  \displaystyle \sum_{i \neq j}^{n-1} a_i (\omega) a_j (\omega) \{B_{t_{i+1}} - B_{t_i} \} \{B_{t_{j+1}} - B_{t_j} \}$

兩邊同取期望值 + 利用 Brownian motion 定義 (independent increment $\Rightarrow$ 上式的交叉項取期望值 $=0$) + $a_i \in \mathcal{F}_{t_i}$可得

$E[ I(f)^2(\omega) ]= \displaystyle \sum_{i=0}^{n-1}E[ a_i^2 (\omega) \{B_{t_{i+1}} - B_{t_i} \}^2] $
$= \displaystyle \sum_{i=0}^{n-1}E[ a_i^2 (\omega) ] E[\{B_{t_{i+1}} - B_{t_i} \}^2]  =  \displaystyle \sum_{i=0}^{n-1}E[ a_i^2 (\omega) ] (t_{i+1} - t_{i}) \ \ \ \ (\star \star )$

現在比較 $\star$ 與 $\star \star$ 可知兩式相等，故得証。 $\square$

------

現在我們得知 $I(f)(\omega)$ 確實從 $\mathcal{H}_0^2$ 映射到 $L^2(dP)$，且因為 $I(f)(\omega)$ 在映射過程保持 了 norm  (isometry property)，這暗示了 $I(f)(\omega)$ 亦將 Cauchy sequence in $\mathcal{H}_0^2$ 映射到 a Cauchy sequence in $L^2(dP)$

故下面的引理說明了我們可以用在 $\mathcal{H}_0^2$ 中的元素來逼近 落在 $\mathcal{H}^2$中的元素。

--------
LEMMA 2 ( $\mathcal{H}_0^2$  $\text{is Dense in}$ $\mathcal{H}^2$)
對任意 $f \in \mathcal{H}^2 \subset L^2(dP \times dt)$，存在一個序列 $\{ f_n \}$ 且 $f_n \in \mathcal{H}_0^2$  使得當  $n \rightarrow \infty$
\[
||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0
\]---
Proof: omitted.

至此我們便完成Ito 積分的第一步，用 simple step function $\in \mathcal{H}_0^2$ 逼近(取極限) 落在 $\mathcal{H}^2$的元素，並且將此極限稱為 Ito integral in $\mathcal{H}^2$

另外由於現在 Ito 積分已經被定義在 $\mathcal{H}^2$ 空間，之前的 Ito isometry 也被拓展到 $\mathcal{H}^2$，此為Ito 積分建構中的重要結果，我們將其寫為下面的定理：

--------
Theorem 3 ( $ \text{Ito Isometry in}$ $\mathcal{H}^2$)
對任意 $f \in \mathcal{H}^2  \subset L^2(dP \times dt)$，我們有下列的 Isometry 性質
\[
|| I(f)(\omega) ||_{L^2{(dP)}} = ||f ||_{L^2{(dP \times dt)}}
\]---
Proof:
因為定理陳述為對任意的 $f \in \mathcal{H}^2$，故我們令 $f\in \mathcal{H}^2 $ ；則由 LEMMA2 可知，存在一個序列 $\{ f_n \}$ 且 $f_n \in \mathcal{H}_0^2$  使得當  $n \rightarrow \infty$
\[
||f - f_n ||_{L^2{(dP \times dt)}} \rightarrow 0
\]再者，因為上述為 $L^2$-norm，(反向)三角不等式 $| \ ||X|| - ||Y|| \ | \leq ||X-Y||$告訴我們
\[
| \  ||f_n||_{L^2{(dP \times dt)}} - ||f||_{L^2{(dP \times dt)}} \  | \leq ||f_n - f ||_{L^2{(dP \times dt)}} \rightarrow 0 \\
\Rightarrow ||f_n||_{L^2{(dP \times dt)}} \rightarrow ||f||_{L^2{(dP \times dt)}}
\] 同樣的， $I(f_n) \rightarrow I(f)$ in $L^2(dP)$，由三角不等式我們可知
\[
\Rightarrow ||I(f_n)||_{L^2{(dP)}} \rightarrow ||I(f)||_{L^2{(dP)}}
\] 但由 LEMMA1，我們知道，$||f_n||_{L^2(dP \times dt)}= || I(f_n) ||_{L^2(dP)} \ \ \ \ (**)$，且由前述討論可知左右兩式的極限都存在，亦即
\[
||f_n||_{L^2{(dP \times dt)}} \rightarrow ||f||_{L^2{(dP \times dt)}}
\]\[
||I(f_n)||_{L^2{(dP)}} \rightarrow ||I(f)||_{L^2{(dP)}}
\]故對式 $(**)$ 兩邊取極限可得

\[
|| I(f)(\omega) ||_{L^2{(dP)}} = ||f ||_{L^2{(dP \times dt)}} \]

上式 即為所求。 $\square$

=====
延伸閱讀
[隨機分析] Ito Integral 淺談 (II) - 再論 Ito 積分的建構

ref:
J. M. Steele, Stochastic Calculus and Financial Applications, Springer

[隨機過程] 隨機過程淺淺談(III) - Brownian motion (or Wiener Process)

這次要介紹的是 隨機過程中一個極為重要的過程，稱作

布朗運動(Brownian motion) or 維納過程(Wiener process)

介紹定義之前先看一下 布朗運動 長什麼樣子

上圖黑線部分即為布朗運動的實現 (Realization)；或稱 sample path。

可以發現

1. Brownian motion 的 sample path 非常不規則(very wiggly)，(此不規則性質將導致對任意一處都無法微分)
2. Brownian motion 隨著時間增大的時候，其散開程度 (之後會用 variance 描述) 越明顯

有了上述直覺之後我們看定義會比較清楚。

以下是 Brownian motion 的定義

===================

Definition: (Standard Brownian Motion or Wiener Process)

一個實數連續時間的隨機過程 $\{ B_t\}_{0 \leq t < \infty}$ 為一個標準布朗運動(Standard Brownian Motion)，如果其滿足下列四個性質：

(1) $B_0 =0$ almost surely (亦即： 機率 $P(\{B_0 =0\}) =1$)

(2) 考慮時間區間 $(t_1,t_2], (t_2,t_3],...(t_n,t_{n+1}]$ 互為分離(disjoint)的區間，則其對應的增量增量彼此獨立；亦即對任意 $0=t_0 < t_1 < ... < t_n$，隨機變數

\[
\{ B_{t_1} - B_{t_0}, B_{t_2} - B_{t_1}, ..., B_{t_n} - B_{t_{n-1}} \text{are independent}\}
\](3) 布朗運動的增量服從高斯分佈；亦即$B_t - B_s \sim \mathcal{N}(0,t-s)$

(4) 對 almost every $\omega$ 而言，$t \mapsto B_t(\omega)$ 為連續；亦即
\[
P(\{ \omega \in \Omega: B_t(\omega) \text{ is a continuous function of $t$}\}) =1
\]
===========================

Comments:
1. 注意到性質 (4)，布朗運動為"連續"函數，(但處處不可微分；此性質會在之後再作介紹。)
2. 若性質(3) 改為 布朗運動的增量服從高斯分佈；亦即
$$
B_t - B_s \sim \mathcal{N}(0,\sigma^2(t-s))
$$ 我們稱此為 Brownian motion (不再是 "standard" Brownian motion)，也就是說 $\sigma =1$ 稱為 standard Brownian motion

3. 由於性質(3)，布朗運動增量服從高斯分佈，故另外布朗運動還有一個等價定義，
4. 上述 Brownian motion 可透過 MATLAB 進行模擬，有興趣的讀者我們將 MATLAB 程式碼給出如下：

===================

Definition: (Standard Brownian Motion is a Gaussian Process)

一個實數連續時間的標準布朗運動隨機過程 $\{ B_t\}_{0 \leq t < \infty}$ 為一個
mean 為 $E[B_t]=0$ 且 covariance 為 $E[B_s B_t] = s \wedge t$ 的高斯過程(Gaussian Process)

且對 almost every $\omega$ 而言，$t \mapsto B_t(\omega)$ 為連續
===========================

Comment:
1. 對於布朗運動有兩種常見的修正變體，稱作 算術布朗運動 Arithmetic Brownian Motion (ABM) 與 幾何布朗運動 Geometric Brownian Motion (GBM)。有興趣的讀者可以參閱本部落格內相關文章。

現在我們首先看個 Brownian motion 的結果：



==================
FACT 1:
給定 $B_t$ 為 Brownian motion 則 $E[B_t] = 0$ 且 $E[B_t^2] = \sigma^2t$ 以及 $Var[B_t^2]=  E[B_t^2]  =\sigma^2 t$
==================
Proof: omitted (easy to show).


Comments: 除了透過定義求證上述 FACT 之外，我們還有其他方法值得一提：回憶 Brownian motion 滿足 $B_t - B_s \sim \mathcal{N}(0,\sigma^2(t-s))$，故我們可以利用 Moment Generating Function (mgf) 來求得對應的 一階動差 與 二階動差 ，回憶 mgf 定義 我們可寫下
\[{M_{{B_t} - {B_s}}}(q): = E[{e^{q\left( {{B_t} - {B_s}} \right)}}] = \exp \left( {\frac{{{q^2}{\sigma ^2}}}{2}{{\left( {t - s} \right)}}} \right)\]由此不難求得 FACT 1 所給出的待求的各項。




==================
FACT 2:
考慮 $W_t$ 為 Brownian motion，現若給定任意時間 $t_1, t_2$，則其對應的 covariance 為
\[
cov(W_{t_1} W_{t_2}) = \sigma^2 \min(t_1, t_2)
\]==================

Proof
首先注意到給定任意 $t>0$，$E[W_t - W_0] = 0$，亦即 $E[W_t] =0$。現在給定 $t_1, t_2$；在不失一般性情況下我們令 $t_2 > t_1$，由 covariance 的定義可知
\[\begin{array}{l}
 \Rightarrow cov({W_{{t_1}}}{W_{{t_2}}}) = E\left[ {\left( {{W_{{t_1}}} - E\left[ {{W_{{t_1}}}} \right]} \right)\left( {{W_{{t_2}}} - E\left[ {{W_{{t_2}}}} \right]} \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {{W_{{t_1}}}{W_{{t_2}}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {{W_{{t_1}}}\left( {\left( {{W_{{t_2}}} - {W_{{t_1}}}} \right) + {W_{{t_1}}}} \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {{W_{{t_1}}}\left( {{W_{{t_2}}} - {W_{{t_1}}}} \right)} \right] + E\left[ {{W_{{t_1}}}{W_{{t_1}}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \underbrace {E\left[ {{W_{{t_1}}}} \right]}_{ = 0}\underbrace {E\left[ {{W_{{t_2}}} - {W_{{t_1}}}} \right]}_{ = 0} + E\left[ {{W_{{t_1}}}^2} \right]
\end{array}\]最後一行等號成立由於 Brownian motion 的 independent increment，故現在我們有
\[cov({W_{{t_1}}}{W_{{t_2}}}) = E\left[ {{W_{{t_1}}}^2} \right] = E\left[ {{{\left( {{W_{{t_1}}} - {W_0}} \right)}^2}} \right] = {\sigma ^2}{t_1}
\]
注意到如果我們當初讓 $t_1 > t_2$，則有 $cov(W_{t_1}W_{t_2}) = \sigma^2 t_2$，故總結如下：
\[
cov(W_{t_1}W_{t_2}) = \sigma^2 \min(t_1,t_2). \ \ \ \ \ \square
\]





後記：布朗運動性質與相關研究 非常非常廣泛，有興趣讀者可以閱讀 Stochastic Process/Stochastic Calculus  或者 Advanced Probability 相關書籍或者論文。

[隨機過程] 隨機過程淺淺談(II) - 波松過程 Poisson process

這是要介紹的是 波松過程 (Poisson Process)，他其實就是我們之前介紹的 計數過程(Counting process) 的一種 (詳見 隨機過程淺淺談(I) - 計數過程Counting process)

那麼我們先把定義給出

===========================
Definition: (Standard Poisson Process)
我們把一個計數過程 $\{ N_t, t \geq 0 \}$ 稱做 波松過程 如果下列三個條件滿足：

1. $N_0=0$ (with probability 1)，也就是說 $N_0$ 是一個常數 $0$ 隨機變數
2. 對任意有限時間點 $0 \leq s < t < \infty $，其計數增量(increment) $N_t- N_s$ 是一個 波松 隨機變數 (Possion random variable) 伴隨 參數為 $\lambda (t-s)$；也就是說其 機率質量函數:\[ P(N_t-N_s=k) = \frac{[\lambda(t-s)]^k e^{- \lambda (t-s)}}{k!}, k=0,1,2...\]且計數增量的期望值 $\mathbb{E}[N_t-N_s]=\lambda(t-s)$ 其 變異數為 $var(N_t-N_s)=\lambda(t-s)$上式中的 $\lambda$ 代表 波松過程的 發生率(rate) 或者 強度(intensity)
3. 如果考慮時間區間 $(t_1,t_2], (t_2,t_3],...(t_n,t_{n+1}]$ 為分離(disjoint)的區間，則其對應的增量
   $N_{t_2} - N_{t_1}$ , $N_{t_3}-N_{t_2}$,...$N_{t_{n+1}} - N_{t_n}$ 全為獨立(independent)。也就是說 波松過程 具備 獨立增量(independent increment)，也就是在分離時間區間中的發生次數互為獨立

===========================

下圖顯示了 one sample path of Poisson process (jump time $S_1, S_2,...$)

===========================
FACT: Mean and Variance of Poisson Increment
令 $0 \le s < t$ 試證 $E[N_t - N_s] = \lambda (t-s)$
===========================

Proof:
注意到由於給定 $s,t$ 故 $N_t - N_s$ 可視為隨機變數，由期望值定義出發，\[\begin{array}{l}
E[{N_t} - {N_s}] = \sum\limits_{k = 0}^\infty  {kP\left( {{N_t} - {N_s} = k} \right)} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k = 0}^\infty  {k\frac{{{{[\lambda (t - s)]}^k}{e^{ - \lambda (t - s)}}}}{{k!}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \lambda (t - s){e^{ - \lambda (t - s)}}\underbrace {\sum\limits_{k = 1}^\infty  {\frac{{{\lambda ^{k - 1}}{{(t - s)}^{k - 1}}}}{{\left( {k - 1} \right)!}}} }_{ = {e^{\lambda (t - s)}}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \lambda (t - s){e^{ - \lambda (t - s)}}{e^{\lambda (t - s)}} = \lambda (t - s)
\end{array}\]上式最後第 3 個等號利用下面的 FACT
\[{e^x} = \sum\limits_{k = 0}^\infty  {\frac{{{x^k}}}{{k!}}}  = \sum\limits_{k = 1}^\infty  {\frac{{{x^{k - 1}}}}{{\left( {k - 1} \right)!}}} \]


===========================
FACT: Second Moment of Poisson Increment
令 $0 \le s < t$，$E[(N_t - N_s)^2] = \lambda^2 (t-s)^2 + \lambda (t-s)$
且 $Var(N_t- N_s) = \lambda (t-s)$
===========================

Proof: omitted.


===========================
FACT: Martingale Property for Compensated Poisson Process
令 $N_t$ 為 Poisson process with intensity $\lambda$， 定義 compensated Poisson process $M_t := N_t - \lambda t$ 則 $M_t$ 為 Martingale
===========================

Proof (sketch):
在此只檢驗 Martingale 性質 (i.e., 要證 $E[{M_t}|{F_s}] = {M_s}$)，其餘性質留給讀者檢驗：
注意到 $N_t - N_s$ 與 $F_s$ 獨立 且 $E[N_t - N_s] = \lambda (t-s)$，故觀察
\[\begin{array}{l}
E[{M_t}|{F_s}] = E[{N_t} - \lambda t|{F_s}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[{N_t}|{F_s}] - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[\left( {{N_t} - {N_s}} \right) + \left( {{N_s} - {N_0}} \right)|{F_s}] - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[\left( {{N_t} - {N_s}} \right)|{F_s}] + E[\left( {{N_s} - {N_0}} \right)|{F_s}] - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E[\left( {{N_t} - {N_s}} \right)] + {N_s} - \lambda t\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \lambda \left( {t - s} \right) + {N_s} - \lambda t = {N_s} - \lambda s = {M_s}
\end{array}\]

Example 1
對任意 $t>0$，試計算 $E \left[C^{N_t}\right]$，其中 $C>0$ 為固定常數 且 $\{N_t\}$ 為 standard Poisson process

Proof:
固定 $t>0$ 注意到 $N_t$ 為隨機變數，不再是 隨機過程 ；故利用期望值定義，$$\begin{array}{l}
E[{C^{{N_t}}}] = \sum\limits_{k = 0}^\infty  {{C^k}P\left( {{N_t} = k} \right)}  = \sum\limits_{k = 0}^\infty  {{C^k}{e^{ - \lambda t}}\frac{{{{\left( {\lambda t} \right)}^k}}}{{k!}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {e^{ - \lambda t}}\sum\limits_{k = 0}^\infty  {\frac{{{{\left( {C\lambda t} \right)}^k}}}{{k!}}}  = {e^{ - \lambda t}}{e^{C\lambda t}} = {e^{\left( {C - 1} \right)\lambda t}}
\end{array}$$


Example 2

現考慮一個光感測器，其光電子(photoelectrons)服從波松過程，且每分鐘以速率 $\lambda$ 從光感測器射出。現在試問 在對任意 兩個連續分鐘間隔，有超過5個光電子被射出的機率是多少?

Sol

第一步先把文字轉為數學機率問題

令 $N_t$ 表在時間 $t$ 時，光電子被射出的個數 (此 $N_t$為 Random Variable)

現在考慮 兩個 連續分鐘時間間隔分別為 $t_0$ ~ $t_1$, $t_1$ ~ $t_2$，

則 在任意兩個連續分鐘時間間隔 有超過五個光電子被射出的機率可寫成

$P(\{N_{t_1}-N_{t_2} >5\} \cap \{N_{t_2 }- N_{t_1} >5\})$

接著，由於其服從波松過程，故可知 時間間隔為獨立 且 $N_t - N_s$ 為波松隨機變數，故上式改寫為

\[
P(\{N_{t_1}-N_{t_2} >5\})P(\{N_{t_2} - N_{t_1} >5\}) \]

其中 \[\begin{array}{l}
P(\{ {N_{{t_1}}} - {N_{{t_2}}} > 5\} ) = 1 - P(\{ {N_{{t_1}}} - {N_{{t_2}}} \le 5\} )\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = 1 - \sum\limits_{i = 0}^5 {\frac{{{{[\lambda ({t_2} - {t_1})]}^k}{e^{ - \lambda ({t_2} - {t_1})}}}}{{k!}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = 1 - \sum\limits_{i = 0}^5 {\frac{{{{[\lambda  \times 1]}^k}{e^{ - \lambda  \times 1}}}}{{k!}}}
\end{array}\]最後一行等式成立是因為間隔一分鐘，所以 $N_t - N_s =1$ 最後將兩個機率寫出來，可知
$$P(\{N_{t_1}-N_{t_2} >5\} \cap \{N_{t_2} - N_{t_1 }>5\})=\left( 1-\sum_{i=0}^{5}\frac{[\lambda]^k e^{- \lambda}}{k!} \right)^2$$

====
[數學] 隨機過程淺淺談(0)-先備概念
[數學] 隨機過程淺淺談(I) - 計數過程Counting process
[數學] 隨機過程淺淺談(III) - 布朗運動 or 維納過程 (Brownian motion or Wiener Process)

[隨機過程] 隨機過程淺淺談(I) - 計數過程Counting process

首先給出 計數過程( Counting Process )的定義如下

========================
Definition: Counting Process
我們說一個 計數過程 $\{N_t, t \geq 0\}$ 是一個從時間 $0$ 到現在時間 $t$ 計算某事物發生次數的 隨機過程
========================

注意定義中所指的事物可以想成表示為任何可以計數的事，其在 時間 從 $0$ 到 $t$ 發生的次數 我們把他叫做 $N_t$ (你也許會問，為何要叫 $N_t$ 其實很簡單就是英文 Number 的縮寫

舉例來說，我們可以把 $N_t$ 想成某網站從開站至今的點擊次數；或者汽車通過收費站的次數

好了，這個定義其實不是很直覺，我們來看張 計數過程 示意圖也許會清楚一點

上圖中橫軸是時間 $t$，縱軸是某事件發生到該時間的(累計)次數 $N_t$， 觀察上圖，我們可以發現一些現象

1. 階梯狀的計數，表示次數逐漸增加(每計數一次就 $+1$)
2. 時間 $T_i$是隨機的，也就是 計數過程 隨機的部分是在於我們不知道某事件到底會在什麼時候發生
3. 計數過程 是右連續(簡單說就是 上圖對任易計數的右方逼近可以得到實黑點EX: 在時間 $T_2$ 計數為 $2$ 不是 $1$)

Comments
1. 現在假設 給定我們關心的計數時間為 $0 \leq t_1 \leq t_2 < \infty $ (也就是說我們不考慮無窮久的情況)，然後我們想要知道在時間 $t_1$ 與 $t_2$ 之間，我們所關心的某事物(比如網站點擊率)發生的次數有多少。那麼我們該如何計算呢?

由前方定義我們知道 $N_{t_2}$ 表示的是在 時間從 $0$ 到 $t_2$ 發生的次數
同樣的， $N_{t_1}$ 表示的是在 時間從 $0$ 到 $t_1$ 發生的次數

所以如果我們把 $N_{t_2}$ 與 $N_{t_1}$ 相減，也就是 $N_{t_2} - N_{t_1}$，那我們得到的就是 在時間從 $t_1$ 到 $t_2$ 的發生次數 (看圖)

2. 我們把 $N_{t_2} - N_{t_1}$ 叫做 計數過程的 增量(increment)


[延伸閱讀]
[數學] 隨機過程淺淺談(0)-先備概念
[數學] 隨機過程淺淺談(II) - 波松過程Poisson process
[數學] 隨機過程淺淺談(III) - 布朗運動 or 維納過程 (Brownian motion or Wiener Process)

[Ref: J. A. Gubner, Probability and Random Processes for Electrical and Computer Engineers, Cambridge, 2006]

[隨機過程] 隨機過程入門-先備概念

此文主要介紹隨機過程的定義，基本上建議讀者需要先對機率論有一些基本了解。比如說如果有一點 隨機變數 (可測函數) 與 $\sigma$-algebra 的基本認識，那麼在之後接觸較為抽象的概念時會比較容易上手，有興趣的讀者請參閱此文：[測度論] Sigma Algebra 與 Measurable function 簡介


隨機過程 在概念上其實並不複雜(雖然數學上很複雜...)，簡單說就是把很多的隨機變數蒐集起來並加上時間指標。嚴格來說：隨機過程 (Random process) or (Stochastic process) 是一個 隨機變數的集合(家族)，一般通常可分為 離散時間 與 連續時間 的隨機過程來討論。


========================
Definition： 離散時間 隨機過程 (Discrete-time stochastic process)
一個離散時間隨機過程是隨機變數 $\{X_n\}$ 的集合，其中 $n$ 的範圍落在給定的整數集合中 ($n$ 想成是(離散的)時間指標)。
========================

Example

比如說下列都是離散時間隨機過程
$\{X_n, n=1,2,...\}$ 或者 $\{X_n, n=0,1,2,...\}$, 或者 $\{X_n, n=0, \pm 1, \pm2,...\}$


Comments:
1. 隨機變數 既不隨機也不是變數，他的本質是一個函數！！
2. 上述定義中，隨機變數 必須定義在機率空間 $(\Omega, \mathcal{F}, P)$
因為 隨機變數是一個定義在樣本空間 $\Omega$的函數，我們可以有兩種方法來看待 $X_n(\omega)$

1. 將 $n$ 固定住，則 $X_n(\omega)$ 為 $\omega$ 的函數 且為一個隨機變數
2. 將 $\omega$ 固定住，則 我們可以得到一系列的數 $X_1(\omega), X_2(\omega), ...$此系列稱作對一個隨機過程的 實現(realization)，或者稱作 隨機過程的取樣路徑(sample path)，或者 隨機過程的取樣函數(sample function)

先看張圖感受一下甚麼是隨機過程的實現：

上圖為五種不同的 離散隨機過程 (或稱 時間序列) 的sample path。

White: White Noise

RWD: Random Walk with Drift

DT: Deterministic Trend + White noise

IMA (1,1): Integrated moving Average

ARMA (1,1): Autoregressive moving Average

======================
Definition: 連續時間 隨機過程(Continuous-time stochastic process)

一個連續時間隨機過程是隨機變數 $\{X_t\}$ 的集合，其中 $t$ 的範圍落在給定的區間之中。($t$ 想成是(連續的)時間指標)
======================

Example

比如說下列都是連續時間的隨機過程

$\{X_t, t \geq 0\}$, 或者 $\{X_t, 0 \leq t \leq T\}$, 或者 $\{X_t, -\infty < t< \infty\}$


Comments:
1. 令 $\cal{T}$ 為 index set，隨機過程 $\{X_t, t \in T \}$ 視為一個雙變數函數；亦即
\[
\{X(t, \omega), t \in T, \omega \in \Omega \}
\]其中 $\Omega$ 稱為 sample space。

2. 一般而言，財務市場中的 股票價格波動 $S_t$ 通常被視為連續時間 隨機過程 (的實現 !)一般以 Geometric Brownian Motion (一種 隨機微分方程(Stochastic Differential Equation, SDE) 來描述股價。
\[
dS_t = S_t \mu dt + S_t \sigma dB_t
\]其中 $\mu$ 為股市飄移項， $\sigma$ 為波動項， $B_t$ 為標準布朗運動 (為一個極為重要的隨機過程)。不過在此我們不贅述太多細節。現在我們可以用例子來看看，下圖為 IBM 2008年1月 - 12月的 每日股價走勢 (一年共252個交易日，故橫軸為$ t=0, ..., 252$)，可以感受一下

另外在此列舉幾類特殊隨機過程

1. 平穩過程 (Stationary Stochastic Process)
2. 鞅 (Martingale)
3. 馬可夫鏈 (Markov Chain)

大部分可被分析的隨機過程皆落在上述三類之中，有興趣的讀者可以搜尋本 Blog 其他文章或者閱讀相關論文/書籍 做進一步了解。


隨機過程的描述

有了前面的粗淺概念與定義，現在我們想要更進一步描述隨機過程。首先回憶對於單一隨機變數 $X$ 而言，如果我們知道其 機率密度函數 (probability density function )或者 知道機率質量函數 (probability mass function, pmf)，則我們可以得知 對任意集合 $B$  的機率 $P(X \in B)$ 或者 給定任意函數 $g$，其對應的期望值 $E[g(X)]$。亦即此 隨機變數 $X$ 的特性被完整描述。

現在若我們考慮一組 隨機變數 $(X,Y)$ 而言，假設已知其 joint pmf 或者 joint density 則我們亦可寫下對任意集合 $B$ 或者函數 $g$ 的機率 $P(X,Y \in B)$ 或者期望值 $E[g(X,Y)]$。上述結果推廣到 對有限多個隨機變數：亦即 一但我們 已知 joint pmf 或者 joint density 則有限多個隨機變數仍可以毫無困難的被完整描述。

但隨機過程而言，事實上是一組 無窮多個隨機變數，我們想知道是否上面的方法依然可行? 所幸 Kolmogorov 為我們證明了一個隨機過程 $X_t$ 仍可以被完整的描述，但由於條件牽涉較繁複的推導，這邊不贅述有興趣的讀者可參閱 J. A. Gubner, Probability and Random Processes for Electrical and Computer Engineers, Chapter 11.。

隨機過程的 mean 與 correlation function
回憶對單一隨機變數而言，我們可以計算 mean 與 variance，對於一組相關的隨機變數 $X,Y$而言，我們可計算個別的 mean, variance 以及相關性 $E[XY]$。現在我們將此想法拓展到 隨機過程中：
====================
Definition: mean function
若 $X_t$ 為一個隨機過程，則對任意固定時間 $t$，$X_t$ 為一個隨機變數且此時對應的 mean  $E[X_t]$ 定義如下
\[
m_X(t) := E[X_t]
\]我們稱上式為 隨機過程的 mean function。
====================

====================
Definition: (auto) correlation function
若 $X_t$一個隨機過程，且 $X_{t_1}$ 與 $X_{t_2}$ 為對應於此隨機過程在 $t_1$ 與 $t_2$ 的兩個隨機變數，則  $X_{t_1}$ 與 $X_{t_2}$ 的 correlation, $R_X(t_1, t_2)$ 定義為
\[
R_X(t_1,t_2) := E[X_{t_1}X_{t_2}]
\]我們稱上式為 隨機過程的 correlation function。
====================

Comments
1. mean function 描述了 隨機過程的平均狀態
2. correlation function 定義在 同一個 隨機過程 (不同時間的隨機變數)，並非兩個不同隨機過程故我們又稱此 correlation function 為 autocorrelation function。
3. correlation function 描述了 隨機過程的行為平滑還是多曲折如下圖：

上圖中 $\tau := t_1 - t_2$

現在我們看個例子：

Example
考慮一隨機過程 $X_t := \cos( 2 \pi f t + \Theta)$，其中 $\Theta \sim \text{uniform}[-\pi, \pi]$試求 mean function 與 correlation function。

Solution
由 mean function 定義
\[\begin{array}{l}
{m_X}(t): = E[{X_t}] = E[\cos (2\pi ft + \Theta )]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \int_{ - \infty }^\infty  {\cos (2\pi ft + \theta ){f_\Theta }\left( \theta  \right)d\theta } \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \int_{ - \infty }^\infty  {\cos (2\pi ft + \theta )\frac{1}{{\pi  - \left( { - \pi } \right)}}d\theta } \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {\cos (2\pi ft + \theta )d\theta }
\end{array}\]上式為對 $\cos$ 函數積分，故 mean function $m_X(t) =0$。

接著我們計算 correlation function
\[{R_X}(t): = E[{X_{{t_1}}}{X_{{t_2}}}] = E[\cos (2\pi f{t_1} + \Theta )\cos (2\pi f{t_2} + \Theta )]
\]由三角函數積化和差
\[\cos A\cos B = \frac{1}{2}\left[ {\cos \left( {A + B} \right) + \cos \left( {A - B} \right)} \right]\]可得
\[\begin{array}{l}
{R_X}(t): = E[{X_{{t_1}}}{X_{{t_2}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}E\left[ {\cos \left( {2\pi f{t_1} + 2\pi f{t_2} + 2\Theta } \right) + \cos \left( {2\pi f{t_1} - 2\pi f{t_2}} \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\underbrace {E\left[ {\cos \left( {2\pi f\left( {{t_1} + {t_2}} \right) + 2\Theta } \right)} \right]}_{ = 0} + \frac{1}{2}\cos \left( {2\pi f{t_1} - 2\pi f{t_2}} \right)\\
 \Rightarrow {R_X}(t): = \cos \left( {2\pi f{t_1} - 2\pi f{t_2}} \right)
\end{array}\]注意到上式 $E[cos(2 \pi f (t_1 + t_2) + 2 \Theta)]$ 已在 mean function 部分計算過，此為 cosine 函數對 $\theta$ 積分，故為 $0$。$\square$

----------------------------------------
以下討論較抽象，讀者可越過無妨

有了上述基本的隨機過程定義，我們可以開始討論 (某些) 隨機過程的性質。以下要介紹兩個重要的概念，一個稱作 Filtration： (這個字翻譯成中文可能不是很精確，不過可以想成是類似把資訊用漏斗一層一層過濾...) 一個稱作 adapted。

首先給出 Filtration 定義如下：

======================
Definition: Filtration
定義一個 indexed set $\mathcal{T} := \{0, 1, 2, ... \} $ or $ = [0, \infty)$。我們說一個 Filtration $\{\mathcal{F}_t : t \in \mathcal{T} \}$ 是一個 family of $\sigma$-algebra (簡單說就是由 $\sigma$-algebra 所組成的集合) 使得下列條件滿足：
\[
s < t \Rightarrow \mathcal{F}_s \subset \mathcal{F}_t
\]======================

Comments:
1. 我們永遠預設有一個固定的機率測度空間 $(\Omega, \mathcal{F}, P)$供我們討論。如上述 Filtration 亦定義在此機率測度空間 $(\Omega, \mathcal{F}, P)$ 之上。亦即我們 Filtration on $(\Omega, \mathcal{F}, P)$。且滿足
\[
s < t \Rightarrow \mathcal{F}_s \subset \mathcal{F}_t \subset \mathcal{F}
\]

2. Filtration 可以被想成是資訊的揭露。甚麼意思呢? 比如說，考慮離散時間的情況，由Filtration 定義我們知道
\[
\mathcal{F}_0 \subset \mathcal{F}_1 \subset \mathcal{F}_2...
\]亦即表示在時間 $t=1$的時候，我們亦可知道時間 $t=0$ 的情況，亦即 $t=1$ 的時候包含了 $t=0$ 的資訊，但 不包含 $t=2$ (未來)的資訊。

=======================

Example 1: Natural Filtration 
對於一個 連續隨機過程 $\{ X_t \}$ 而言， Natural Filtration $ \mathcal{F}_t^X $ 可以選由此隨機過程產生的 smallest $\sigma$-algebra
\[
 \mathcal{F}_t^X := \sigma(X_s, s \le t)
\]如果是離散隨機過程 $\{X_n \}$，我們可以選
\[
 \mathcal{F}_n^X := \sigma(X_1, X_2, ..., X_n)
\] 作為其  Natural Filtration。

Example 2： Natural Filtration for Random Walk 
現在考慮 $\{X_i \}_{i=1}^{\infty}$ 為 i.i.d. 隨機變數 sequence，現在令 $S_0 =0$ 且其partial sum：
\[
S_n := X_1 + X_2 + ... + X_n
\]則此隨機過程 $S_n$ 對應的 Natural Filtration 為 $\mathcal{F}_n^S := \sigma(X_1, X_2, ..., X_n) = \mathcal{F}_n^X$

=======================

有了 Filtration  (一群 $\sigma$-algebra，或者簡單說就是一群事件。) 的定義，我們便可以介紹一個隨機過程 適應(adapted) 某個 Filtration 的概念，亦即這是一類隨機過程具有 隨著時間的流逝，資訊才漸漸的被 "揭露" 出來的特性： (亦即無法預知未來的隨機過程)，而 Filtration 則可以想成是這些 資訊 存放的地方。

======================
Definition: A process adapted to the filtration (or so called: non-anticipating process)
我們說一個隨機過程 $\{ X_t\}$ 是 adapted to the filtration $\{\mathcal{F}_t \}$ 如果下列條件成立：

對任意 $t \in \mathcal{T}$，若 $X_t$ 為 $\mathcal{F}_t$-measurable；亦即 對任意集合 $B \in \mathcal{B}_{\mathbb{R}}$ (Borel Set on $\mathbb{R}$)，$X_t^{-1} (B) \in \mathcal{F}_t $
======================

上述的 non-anticipating process 直覺上可以想成 股票的波動 (為一種隨機過程)，且今日股價的波動並無法用來預知明日股價的波動如何。 (在投資理論上稱此為效率市場假設，認為所有資訊已經充分反映在今日股價，對明日股價無任何預知作用，數學上我們用 non-anticipating process 來說明這個事情)

事實上 non-anticipating process 在定義 Ito Integral 時候會需要用到，但在此我們不贅述，
對於 Ito Integral 有興趣的讀者可以參閱BLOG 隨機分析的系列文章： [隨機分析] Ito Integral 淺談 (I) - Ito 積分的建構與Ito Isometry property

對於效率市場假設有興趣的讀者可以參閱此篇：[投資理論] 效率市場假設

========================
[延伸閱讀]

[數學] 隨機過程淺淺談(I) - 計數過程 Counting process
[數學] 隨機過程淺淺談(II) - 波松過程 Possion process
[數學] 隨機過程淺淺談(III) - 布朗運動 or 維納過程 (Brownian motion or Wiener Process)


ref:
[1] J. A. Gubner, Probability and Random Processes for Electrical and Computer Engineers.
[2] K. J. Astrom, Stochastic Control Theory