12/27/2016

[隨機系統] 淺論賭博系統理論 (1)

考慮某賭博系統其報酬率定義為 i.i.d. 隨機變數,記作 $X(k)$  且具有分佈 $F_X$ 。現在定義 $V(k)$ 為在時刻 $k$ 之資產價值,且令 $K \in [0,1]$ 為投資比率,則時刻 $k$ 之投資策略可記作
\[
I(k) := K V(k)
\]且投資人資產動態模型可表為
\begin{align*}
  V(k + 1) &= V(k) + I(k)X(k) \hfill \\
   &= V(k) + KX(k)V(k) \hfill \\
   &= \left( {1 + KX(k)} \right)V(k) \hfill \\
\end{align*}

Definition: Growth Rate and Optimal Growth Rate
以投資比率 $K$ 為投資策略之資產成長率 (Growth Rate) 定義為
\[
g(K) := E[\log(1+K X(k))]
\]
另外我們接著定義 最佳成長率 (Optimal Growth Rate) 如下
\[
g^* := \max_K g(K)
\]且我們稱 $K^*$ 達到 $g^*$ 為 log-optimal feedback gain。


Comments:
上述問題的最簡形式(投擲單一銅板問題) 即為經典 凱利問題 (Kelly Optimization Problem) 且上述的最大化成長率又稱為凱利判准 (Kelly Criterion),有興趣讀者請參閱本部落格關於凱利問題的相關文章。


上述最佳成長率存在性由下列定理確保。

=================
Theorem:
令 $X(0),X(1),...X(N-1)$ 為 i.i.d. 報酬 且具有分佈 $F_X$,現在令
\[\frac{{{V^*}(N)}}{{V(0)}} = \prod\limits_{k = 0}^{N-1} {\left( {1 + {K^*}X(k)} \right)} \]則當 $N \to \infty$,我們有
\[\frac{1}{N}\log \frac{{{V^*}(N)}}{{V(0)}} \to {g^*}\]almost surely.
=================

Proof: 首先觀察
\begin{align*}
  \frac{1}{N}\log \frac{{{V^*}(N)}}{{V(0)}} &= \frac{1}{N}\log \prod\limits_{k = 0}^{N - 1} {\left( {1 + {K^*}X(k)} \right)}  \hfill \\
   &= \frac{1}{N}\sum\limits_{k = 0}^{N - 1} {\log \left( {1 + {K^*}X(k)} \right)}  \hfill \\
\end{align*}接著注意到因為  $\{X(0),X(1),...X(N-1)\}$ 為 i.i.d. 故
\[
\{1 + {K^*}X(1),  \;1 + {K^*}X(1),...,\; 1 + {K^*}X(N-1)\}
\]亦為 i.i.d. ,且注意到 $ E\left[ {\log \left( {1 + {K^*}X(0)} \right)} \right] = {g^*}$ 故 利用 強大數法則 (請參閱下方 FACT) 可得當 $n \to \infty$ 我們有
\[\frac{1}{N}\sum\limits_{k = 0}^{N - 1} {\log \left( {1 + {K^*}X(k)} \right)}  \to E\left[ {\log \left( {1 + {K^*}X(0)} \right)} \right] = {g^*}\]almost surely。即為所求。 $\square$


=================
FACT: 強大數法則 (Strong Law of Large Numbers): 若 $X(1),X(2)...$ 為 i.i.d. 隨機變數且 $E[X(0)] $ 存在 。現令 $S(N):=X(1)+X(2)+...+X(N)$ ,則當 $N \to \infty$ 我們有
\[
\frac{S(N)}{N} \to E[X(0)]
\]almost surely
=================
Proof: Omitted. see R. Durrett, Probability Theory and Examples,





12/24/2016

[凸分析] 一些常用的凸集性質(1) - 任意凸集之交集仍為凸集

=================
FACT 1: 兩凸集之交集仍為凸集
令 $C_1, C_2$ 為兩凸集,則 $C_1 \cap C_2$ 為凸集。
=================

Proof:
若 $C_1,C_2$ 任一者為空集合,亦即 $C_i = \emptyset, \;\;\; i=1 \text{ or } 2$ 則 $C_1 \cap C_2 = \emptyset$ 故為凸集。若 $C_1, C_2 \neq \emptyset$ ,我們可令 $x,y \in C_1 \cap C_2 $ 與 $\theta \in [0,1]$ 我們要證明
\[
\theta x + (1-\theta) y  \in C_1 \cap C_2
\]
注意到$x,y \in C_1 \cap C_2 $ 表示 $x,y \in C_1$ 且同時 $x,y \in C_2$,由於 $C_1, C_2$ 為凸集,故 $\theta x + (1-\theta) y   \in C_1$ 且 $\theta x + (1-\theta) y   \in C_2$ 亦即,
\[
\theta x + (1-\theta) y  \in C_1 \cap C_2
\]故此得證。$\square$

上述結果可推廣到任意交集,亦即

=================
Theorem: 對任意  $i \in \mathcal{I}$ , 令 $C_i$ 為凸集,則
\[
\bigcap_{i \in \mathcal{I}} C_i
\]亦為凸集。
=================
Proof: omitted (與前述 FACT 的證明雷同)



凸集合的用途非常廣泛,比如說在線性代數中最常被使用的空間為向量空間的子空間,此子空間即為凸集和。



=================
FACT 2: Subspace 為凸集
令 $V$ 為任意 vector space,令 $W \subset V$ 且 $W \neq \emptyset$ 為 subspace,則 $W$ 為 凸集。
=================

Proof:
令 $x,y \in W$ 與 $\theta \in [0,1]$,我們要證明
\[
\theta x + (1-\theta) y  \in W \;\;\;\;\; (*)
\]注意到 $x,y \in W$ 且 $W$ 為 subspace 故我們知道對任意 $a,b \in \mathbb{R}$
\[
a x + b y \in W
\]現在取 $ a := \theta \in [0,1]$ 且 $b := 1- \theta$ 則 $(*)$ 自動成立。故 subspace 為 凸集。 $\square$



不只如此,子空間自身的交集仍為子空間

=================
FACT 3: Subspaces 交集仍為 Subspace
令 $V$ 為向量空間,令 $W,U$ 為 $V$ 之子空間,則 $W \cap U$ 仍為子空間。
=================

Proof:
由於子空間必定包含零點,故 $W \cap U \neq \emptyset$,現在取 $x, y \in W \cap U$ 與 $a,b \in \mathbb{R}$,我們要證明
\[
a x + b y \in W \cap U
\]由於 $x, y \in W \cap U$ ,故 $x,y \in W$ 且 $y \in U$ 又因為 $W,U$ 為子空間,故 $ a x + b y \in W $ 且 $ a x + b y \in U $ 亦即,
\[a x + b y \in W \cap U \] 至此得證。$\square$


由 FACT 2 與 FACT 3 可立即推得以下引理:

=================
Corollary:
Subspaces 之交集仍為凸集。
=================



另外關於凸集之交集的另一個主要應用來自 由 歐式空間線性不等式 與 線性等式所成之集合,一般稱之為 Polyhedra ,記作 $P$, 我們亦可使用上述 FACT 來推論 $ P $為凸集。

=================
Example: 
回憶 Polyhedran 定義為 $\mathbb{R}^n$ 空間中的 線性不等式 與 線性等式 所成之集合,亦即
\[
P := \{x \in \mathbb{R}^n: \exists A,b,C,d \text{s.t.} Ax \leq b, \;\;\; Cx = d\}
\]此集合等價為
\[
P= \bigcap \{\text{half-spaces and hyperplane}\}
\]由於 half-space 與 hyperplane為凸集 (why?) 故 $P$ 亦為凸集。
=================








12/08/2016

[投資理論] Markowitz's Mean-Variance 投資組合理論的潛在缺點

Markowitz 在 1952年 提出利用 Mean (或稱 一階動差) 與 Variance  (或稱 二階動差)這兩種統計量來判別一組 投資組合(portfolio) 的績效表現,該理論要求某投資組合具有較高 期望報酬 或者 較低 報酬變異,此理論被廣泛應用在現代金融 與 投資學,又稱 現代投資組合理論 。此文主要討論此理論具備的一些潛在的缺失:以下我們先給出基本定義:



考慮兩投資組合 $\{P_1, P_2\}$ 且令 $\{E_1, \sigma_1^2\}; \;\;\; \{E_2, \sigma_2^2 \}$ 分別為投資組合 $P_1$ 與 $P_2$ 之期望報酬 與 報酬變異
============================
Definition: Domination of Portfolios :
假設投資組合 $P_1$ 比另一 投資組合 $P_2$ 具有較高的期望報酬 與 較低的變異 (亦即 $E_1 > E_2$ 且 $\sigma_1^2 < \sigma_2^2$),則我們稱 $P_1$ dominates $P_2$ 。

我們稱 $P_1$ 為 dominate $P_2$ in minimum variance sense 若 $\sigma_1 < \sigma_2$
同理,我們稱 $P_1$ 為 dominate $P_2$ in maximum expected return sense 若 $E_1 > E_2$
============================


令 $P$ 為一組投資組合,我們利用上述討論,可以進一步給出 efficient portfolio 定義。
============================
Definition: Efficient Portfolio
1. 若沒有其他 投資組合可以 dominates $P$,則我們稱 $P$為 (absolutely) efficient

2. 若沒有其他 投資組合 可以 dominate $P$ in minimum variance sense 則我們稱 $P$ 為 efficient in variance sense

3. 同理,若沒有其他 投資組合 可以 dominate $P$ in maximum expected return sense 則我們稱 $P$ 為 efficient in expected return sense
============================

Comments:
1. 上述嚴格不等式 $>$ 可以替換為 較弱的不等式 $\geq$。
2. 上述 三種 efficient 投資組合 (absolute efficient, efficient in variance sense, efficient in expected return sense ) 一般泛稱為 efficient,不多做區分。順帶一提,這一類的 efficient portfolio 會落在 所謂的 效率前緣 (efficient frontier ),有興趣讀者可參閱一般投資學或者資產配置理論的相關書籍,在此不多做贅述。



Markowitz' Mean-Variance 理論的潛在缺失:
以下我們討論上述 Mean-Variance 理論的潛在缺失:我們同樣使用前述的設定:考慮兩投資組合 $\{P_1, P_2\}$ 且令 $
\{E_1, \sigma_1^2\}; \;\;\; \{E_2, \sigma_2^2 \}
$ 分別為投資組合 $P_1$ 與 $P_2$ 之 期望報酬 與 報酬變異

現假設 $E_1 < E_2$ 且 $\sigma_1^2 < \sigma_2^2$,則上述 Markowitz 理論並無法決定到底 $P_1$ 好 還是 $P_2$ 好。或者說 Markowitz 理論無法告知到底是 $P_1$ 或者 $P_2$ 較為 efficient。以下我們給出一個更具體的例子說明此一論點。

Example
考慮三組 彼此獨立隨機變數 $r_1 \sim U[1,3]$, $r_2 \sim U[10, 100]$ ,且 $r_3 = 0$ almost surely,分別表示三種資產的報酬,我們現在對其建構投資組合如下:令 $K_1,K_2,K_3$  分別為 $r_1,r_2, r_3$之權重 滿足 $K_i \geq 0$ 且 $\sum_{i}^3 K_i = 1$,則投資組合 (記作 $P$ ) 之報酬 (記作 $r_p$)可表為
\[
r_p := K_1 r_1 + K_2 r_2 + K_3 r_3
\]則我們可計算上述投資組合的期望資產
\begin{align*}
  \mathbb{E}\left[ {\sum\limits_{i = 1}^3 {{K_i}{r_i}} } \right] &= \sum\limits_{i = 1}^3 {{K_i}\mathbb{E}\left[ {{r_i}} \right]}  \hfill \\
   &= {K_1} \cdot 2 + {K_2} \cdot 55 + {K_3} \cdot 0 \hfill \\
   &= 2{K_1} + 55{K_2} \hfill \\
\end{align*} 且對應的報酬變異為
\begin{align*}
  Var\left[ {\sum\limits_{i = 1}^3 {{K_i}{r_i}} } \right] &= \sum\limits_{i = 1}^3 {{K_i}Var\left[ {{r_i}} \right]}  \hfill \\
  & = {K_1} \cdot \frac{1}{{12}}{\left( {3 - 1} \right)^2} + {K_2} \cdot \frac{1}{{12}}{\left( {100 - 10} \right)^2} + {K_3} \cdot 0 \hfill \\
   & = \frac{1}{3}{K_1} + 675{K_2} \hfill \\
\end{align*}
但是注意到若取 $K_3 :=1, (K_1 = K_2 = 0)$ 則我們可得 efficient portfolio (in variance sense) :因為此投資組合具有零變異。

另一方面,若取 $K_2 :=1, (K_1 = K_3 = 0)$,則我們亦得到另一組 efficient portfolio (in expected return sense):因為此投資組合具有最大正期望值。


Comments
事實上,由前述 Markowitz 理論的定義,那麼我們可以找出無窮多種  efficient portfolio,但 Markowitz 的理論並無法提供更進一步資訊來告訴我們何者才是真正最好的 投資組合。在經濟學中或一般金融工程領域,會建議投資人採用 效用函數 (utility function) 作為新的判準,來做最佳化投資組合的績效,比如說我們可定義效用函數 $U(x) := a x + \frac{1}{2}b x^2 $ 滿足 $a>0, b\geq 0$ ,則我們可以考慮 最佳化問題 如下
\[
\max_{K} \mathbb{E}[U(r_p)]
\] 有興趣讀者可參閱 相關文獻 或者 本 Blog 相關文章,在此不再贅述。



11/30/2016

[投資理論] 股價動態模型(1) - 離散時間乘法模型

此文我們將討論離散時間股價較為合宜的動態模型:令 $k=0,1,2,...,N-1$ 且 $S(k) >0$ 為時刻 $k$ 之股價 且 $S(0)$ 已知常數,現在考慮股價服從以下 乘法模型
\[
S(k+1) = u(k) S(k) \;\;\;\; (*)
\] 其中  $u(k)$ 為  mutually independent 隨機變數 (代表時刻 $k$ 到 $k+1$ 股價的相對變化,亦即 $u(k) = S(k+1)/S(k)$)。現在對上述乘法模型等號兩邊取對數
\begin{align*}
  \ln S(k + 1) &= \ln \left( {u(k)S(k)} \right) \hfill \\
  & = \ln u(k) + \ln \left( {S(k)} \right)
\end{align*}
上述等號對 $k=0,1,2...,N-1$ 皆成立。

Comments:
1. 上述乘法模型中的 $u(k)$ 導致下一時刻的股價產生隨機波動,此結果在一般經濟學中稱為 價格衝擊 (shocks) 在控制理論中被稱為 干擾 (disturbances) 。
2. 上述乘法模型為股價離散時間標準模型,若我們考慮上述 $k=0,1,...,N$ 發生在 時間範圍 $\Delta t$ 之間,則讓 $N \to \infty$ 我們可以近似 股價連續時間的標準模型,也就是 幾何布朗運動 (Geometric Brownian Motion),但此非本文重點在此不做贅述,有興趣的讀者可以參閱本 BLOG其他相關幾何布朗運動的文章。



對數常態分布的股價 (Log-normal Price)
現在對  $k=0,1,2...,N-1$ ,定義 $w(k):= \ln u(k)$ 且我們指定 $w(k)$ 服從具有 $E[w(k)] = \mu$ 與變異數 $Var(w(k)) = \sigma^2$ 的常態分佈 且 $w(k)$ mutually independent 。

Comments:
由於 $w(k):= \ln u(k)$,我們有 $u(k) = exp(w(k))$ 且 由於 $w(k) \sim N(\mu, \sigma^2)$ 故 $u(k)$ 為 log-normal 隨機變數 (亦即 取 log 之後為常態分配) 。


由乘法模型,不難得知
\[\ln S(k) = \ln \left[ {u(k - 1)u(k - 2) \cdots u\left( 0 \right)S(0)} \right]
\]故若對等號兩邊同取 log可知
\begin{align*}
  \ln S(k) &= \ln S\left( 0 \right) + \sum\limits_{i = 0}^{k - 1} {\ln u(i)}  \hfill \\
   &= \ln S\left( 0 \right) + \sum\limits_{i = 0}^{k - 1} {w(i)}  \hfill \\
\end{align*}
注意到 $\ln S(0)$ 為已知常數,且 $w(i)$ 為 mutually independent 的常態分佈隨機變數 滿足 期望值 $\mu$ 與變異數 $\sigma^2$,故由大學部機率論可知, $\sum_{i=0}^{k-1} w(i)$ 亦為常態隨機變數且其期望值為 $k \mu$ 變異數為 $k \sigma^2$,亦即
\[\sum\limits_{i = 0}^{k - 1} {w(i)} \sim N\left( {k\mu ,k{\sigma ^2}} \right)\]
又因為 $\ln S(0)$ 為已知常數,故 $\ln S(k)$ 亦為常態分佈滿足
\[\ln S(k)\sim N\left( {\ln S\left( 0 \right) + k\mu ,k{\sigma ^2}} \right)\]

Comments
一般在實務上的角度,真實股價 的確反映了 lognormal 分佈的行為但在分佈的兩端會有較大的不一致性,這種性質稱之為 skewness,在此不贅述。讀者可以自行任取市面上的股價進行驗證。

11/21/2016

[查經] 財富從何而來?


得 貨財 的能力從何而來?
申命記 8:17 - 18
恐怕你心裡說:『這貨財是我力量,我能力得來的。』
你要記念耶和華你的神,因為得貨財的力量是他給你的,為要堅定他向你列祖起誓所立的約,像今日一樣。

雅各書 4:13-15
你們有話說:「今天、明天我們要往某城裡去,在那裡住一年,做買賣得利。」
其實明天如何,你們還不知道。你們的生命是什麼呢?你們原來是一片雲霧,出現少時就不見了。 你們只當說:「主若願意,我們就可以活著,也可以做這事或做那事。」 

省思:上面的經文告訴我們,“得貨財的力量是神所賜的”,所以作為一個基督徒應當相信:賺錢的能力,生活的環境,自身的智慧與機會,以及身體健康 都來自上帝。主若願意,我們就可以做成這事或者那事。



財富是我們的倚靠嗎?

詩篇 52:7
說:「看哪!這就是那不以神為他力量的人,只倚仗他豐富的財物,在邪惡上堅立自己。」

箴言 11:28
倚仗自己財物的必跌倒,義人必發旺如青葉。

提摩太前書 6:17
你要囑咐那些今世富足的人,不要自高,也不要倚靠無定的錢財,只要倚靠那厚賜百物給我們享受的神。


積存資財的隱藏的禍患是什麼?
傳道書5:13-14
我見日光之下有一宗大禍患,就是財主積存資財反害自己。

何西阿書 13:6
這些民照我所賜的食物得了飽足,既得飽足,心就高傲,忘記了我。

省思:上面的經節提及了財主 積存資財 是一大禍患。基督徒可以發財,但不可貪財,總要認真盡自己本分做好工作,那麼自然有錢



貪求急速發財的有什麼後果

箴言28:20
誠實人必多得福,想要急速發財的不免受罰

箴言28:22
人有惡眼想要急速發財,卻不知窮乏必臨到他身

提前6:9 
但那些想要發財的人,就陷在迷惑,落在網羅和許多無知有害的私慾裡,叫人沉在敗壞和滅亡中




貪愛錢財的禍患

來13:5 
你們存心不可貪愛錢財,要以自己所有的為足:因為主曾說:我總不撇下你,也不丟棄你

提前6:10 
貪財是萬惡之根,有人貪戀錢財,就被引誘離了真道,用許多愁苦把自己刺透了。

箴1:19 
凡貪戀財利的,所行之路都是如此;這貪戀之心乃奪去得財者之命。

詩10:3 
因為惡人以心願自誇;貪財的背棄耶和華,並且輕慢他


省思:聖經的本質:上帝多給誰,就跟誰多收。可以問問自己是否能做到沒錢時能感謝,有錢時也能感謝。一天到晚想著賺錢,貪財必敗壞基督徒要自己讀聖經,才能分辨



資財的作用

傳5:19 
神賜人資財豐富,使他能以吃用,能取自己的分,在他勞碌中喜樂,這乃是神的恩賜。


省思:我要如何好好做自己本分?神自然賜福。你若有確定是上帝的帶領,就不必看數字
注意到上述經文中所說的是 "勞碌中喜樂"而非 "不用做工就喜樂..."



得貨財的正確與錯誤方式是什麼?

箴13:11 
不勞而得之財必然消耗;勤勞積蓄的,必見加增。

耶17:11 
那不按正道得財的,好像鷓鴣菢不是自己下的蛋;到了中年,那財都必離開他,他終久成為愚頑人。

箴10:4 
手懶的,要受貧窮;手勤的,卻要富足。

哈2:9 
為本家積蓄不義之財、在高處搭窩、指望免災的有禍了!
如果沒有貨才怎麼辦?

箴15:16 
少有財寶,敬畏耶和華,強如多有財寶,煩亂不安。

箴22:4 
敬畏耶和華心存謙卑,就得富有、尊榮、生命為賞賜。

箴23:4 
不要勞碌求富,休仗自己的聰明。



判斷是否為神所賜的福?

箴10:22 
耶和華所賜的福使人富足,並不加上憂慮。



專心追求貨財是正確的嗎?

箴23:5 
你豈要定睛在虛無的錢財上嗎?因錢財必長翅膀,如鷹向天飛去。

箴27:24 
因為資財不能永有,冠冕豈能存到萬代?

提前6:9 
但那些想要發財的人,就陷在迷惑、落在網羅和許多無知有害的私慾裡,叫人沉在敗壞和滅亡中。

太6:19-21 
不要為自己積儹財寶在地上;地上有蟲子咬,能銹壞,也有賊挖窟窿來偷。只要積儹財寶在天上;天上沒有蟲子咬,不能銹壞,也沒有賊挖窟窿來偷。因為你的財寶在哪裡,你的心也在那裡。

太6:24 
一個人不能事奉兩個主;不是惡這個,愛那個,就是重這個,輕那個。你們不能又事奉神,又事奉瑪門(瑪門:財利的意思)。

路12:16-19 
就用比喻對他們說:有一個財主田產豐盛;又說:我要這麼辦:要把我的倉房拆了,另蓋更大的,在那裡好收藏我一切的糧食和財物, 然後要對我的靈魂說:靈魂哪,你有許多財物積存,可作多年的費用,只管安安逸逸的吃喝快樂吧!


路12:21 
凡為自己積財,在神面前卻不富足的,也是這樣。


路12:33-34
你們要變賣所有的賙濟人,為自己預備永不壞的錢囊,用不盡的財寶在天上,就是賊不能近、蟲不能蛀的地方。


什麼使人孤單?

傳4:8 
有人孤單無二,無子無兄,竟勞碌不息,眼目也不以錢財為足。他說:我勞勞碌碌,刻苦自己,不享福樂,到底是為誰呢?這也是虛空,是極重的勞苦。



為何基督徒要奉獻?

代上29:14 
我算什麼,我的民算什麼竟能如此樂意奉獻?因為萬物都從你而來,我們把從你而得的獻給你。

申命 14:22-23:
你要把你撒種所產的,就是你田地每年所出的,十分取一分:又要把你的五穀,新酒,和油的十分之一,並牛群羊群中頭生的,吃在耶和華--你 神的面前,就是他所選擇要立為他名的居所。這樣,你可以學習時常敬畏耶和華---你的 神

瑪拉基書 3:8 - 10
人豈可奪取神之物呢?你們竟奪取我的供物。你們卻說:我們在何事上奪取你的供物呢?就是你們在當納的十分之一和當獻的供物上。因你們通國的人都奪取我的供物,咒詛就臨到你們身上。萬軍之耶和華說:你們要將當納的十分之一全然送入倉庫,使我家有糧,以此試試我,是否為你們敞開天上的窗戶,傾福與你們,甚至無處可容。

省思:奉獻的目的在於 學習時常敬畏 耶和華,因為 財貨從神而來的。


除了奉獻之外?
來13:16
只是不可忘記行善和捐輸的事,因為這樣的祭是神所喜悅的。

林後6:10 
似乎憂愁,卻是常常快樂的;似乎貧窮,卻是叫許多人富足的;似乎一無所有,卻是樣樣都有的。


除了財貨之外
箴19:14 房屋錢財是祖宗所遺留的;惟有賢慧的妻是耶和華所賜的。

耶9:23 耶和華如此說:智慧人不要因他的智慧誇口,勇士不要因他的勇力誇口,財主不要因他的財物誇口。


結語:上帝給我們多少就好好管理,並且誠實奉獻,一生當跑的路上要追求的是 好好做上帝的工,好好照顧家庭/妻小,好好關心別人。


其他的勸勉

提前3:2-3 因為那時人要專顧自己、貪愛錢財、自誇、狂傲、謗讟、違背父母、忘恩負義、心不聖潔、不因酒滋事,不打人,只要溫和,不爭競,不貪財;

提前3:8 作執事的,也是如此:必須端莊,不一口兩舌,不好喝酒,不貪不義之財;

提前6:10 貪財是萬惡之根。有人貪戀錢財,就被引誘離了真道,用許多愁苦把自己刺透了。


多1:7
監督既是神的管家,必須無可指責,不任性,不暴躁,不因酒滋事,不打人,不貪無義之財;

多1:11 這些人的口總要堵住。他們因貪不義之財,將不該教導的教導人,敗壞人的全家。

來13:5 
你們存心不可貪愛錢財,要以自己所有的為足;因為主曾說:我總不撇下你,也不丟棄你。

雅5:3 
你們的金銀都長了銹;那銹要證明你們的不是,又要吃你們的肉,如同火燒。你們在這末世只知積儹錢財。

彼前5:2 
務要牧養在你們中間神的群羊,按著神旨意照管他們;不是出於勉強,乃是出於甘心;也不是因為貪財,乃是出於樂意;

約一3:17 
凡有世上財物的,看見弟兄窮乏,卻塞住憐恤的心,愛神的心怎能存在他裡面呢?

10/18/2016

[凸分析] 集合上的 廣義直徑

 Definition: 令 $S \subset \mathbb{R}^n$ 則 $S$ 的 廣義直徑(generalized diameter) ,符號記作 $diam S$ 定義為
\[
diam S := \sup \{||x-y||: x,y \in S\}
\]

Comments:
如果上述集合為空集,則 $diam S = -\infty$

===================
Theorem:
若 $S \subset \mathbb{R}^n$ 則
\[
diam S = diam \; conv S
\]===================

Proof:
令 $S \subset \mathbb{R}^n$,我們要證明 $diam S = diam conv S$。故我們先證明
\[
diam S \leq diam \; cont S\;\;\;\;\; (*)
\]因為 $conv S \supset S$ 故由 廣義直徑的定義可知,上述不等式自動成立。接著我們證明
\[
diam S \geq diam \; conv S
\]現在任取 $x,y \in conv S$ , 則由 convex hull 的性質可知 存在 $x_i, y_i \in S$ 與 $\mu_i, \lambda_i \geq 0$ 且 $\sum_i \mu_i = \sum_j \lambda_j = 1$ 使得
\[
x = \sum_i^n \mu_i x_i; \;\;\; y = \sum_i^k \lambda_i y_i
\]現在我們觀察
\begin{align*}
  \left\| {x - y} \right\| &= \left\| {\sum\limits_i^n {{\mu _i}} {x_i} - \sum\limits_i^k {{\lambda _i}} {y_i}} \right\| \hfill \\
   &= \left\| {\sum\limits_i^n {{\mu _i}} \left( {\sum\limits_i^k {{\lambda _i}} } \right){x_i} - \sum\limits_i^k {{\lambda _i}} \left( {\sum\limits_i^n {{\mu _i}} } \right){y_i}} \right\| \hfill \\
   &= \left\| {\sum\limits_i^n {{\mu _i}} \sum\limits_i^k {{\lambda _i}} \left( {{x_i} - {y_i}} \right)} \right\| \hfill \\
  & \leqslant \sum\limits_i^n {{\mu _i}} \sum\limits_i^k {{\lambda _i}} \left\| {{x_i} - {y_i}} \right\| \hfill \\
  & \leqslant \sum\limits_i^n {{\mu _i}} \left( {\sum\limits_i^k {{\lambda _i}} } \right)diamS = diamS \hfill \\
\end{align*}
由於 $x,y$ 為任取,我們得到 $diam S \geq diam \; conv S \;\;\;\; (**)$。合併 $(*)$ 與 $(**)$ 我們可得 \[
diam S = diam \; conv S
\]

9/02/2016

[投資組合理論] 投資組合的 期望報酬 與 風險變異

投資組合(Portfolio)的報酬
考慮投資人手邊持有 $n$ 個資產 且每組資產對應的 (隨機)報酬率 為 $r_1,r_2,...,r_n$ 且對於 $i=1,2,...,n$ 我們定義 $r_i$ 的期望報酬 為 $E[r_i] \doteq \bar{r}_i$ ,現在投資人欲使用此 $n$ 個資產來 建構 合適的投資組合如下: 針對每一個資產,投資人將指派對應的 (確定)權重 (weights),亦即 對 $i=1,...,n$ 我們指派 $w_i$ 作為第 $i$ 個資產的權重,且我們要求權重須滿足 Self-finacing 條件,亦即:$$
\sum_{i=1}^n w_i =1
$$則投資人 整體投資組合 的報酬 我們記作 $r$ 可由下式表示
\[
r := w_1 r_1 + w_2 r_2 + \cdots + w_n r_n
\]則我們稱此投資組合為 $n$ 資產投資組合,且 $r$ 稱為 $n$ 資產投資組合的報酬率。那麼由於 $r_i$ 為 隨機,致使 $r$ 亦為隨機,故我們希望可以透過一些統計量幫助我們描述此 隨機的報酬率,一般而言,在投資組合理論裡面最常用的兩個統計量即為 期望值 與 變異數,( 一/二階動差) 來計算 投資組合的 期望報酬 與 風險變異。

Comments:
1. 在一般投資組合理論中,風險(Risk) 一般用 變異數(Variance) 來描述。但讀者應注意到變異數並非唯一的 風險可能描述,在較為進階的投資理論中還會提到其他用來描述 風險 的變量,比如說 絕對最大跌幅 (Absolute Maximum Drawdown),百分比最大跌幅 (Percentage Maximum Drawdown),風險價值 (Value of Risk, VaR) 或者 條件風險價值 (Conditional Value of Risk, CVaR)等等。

2. 有部分投資理論採用 變異數的平方根 (也就是 標準差 Standard Devision) 來定義 風險。為了區別起見,我們不稱其為"變異"


以下定理首先給出期望報酬率的結果

======================================
Theorem 1: 
上述 $n$資產的投資組合的期望報酬為
\[
E\left[ r \right] =\sum\limits_{i = 1}^n {w_i} \bar{r}_i
\]======================================

Proof:
回憶投資組合的報酬率為
$$
r := w_1 r_1 + w_2 r_2 + \cdots + w_n r_n
$$ 現在對 $r$ 取期望值,利用期望值的線性性質可立刻得到
\begin{align*}
  E\left[ r \right] &= E\left[ {{w_1}{r_1} + {w_2}{r_2} +  \cdots  + {w_n}{r_n}} \right] \hfill \\
   &= E\left[ {{w_1}{r_1}} \right] + E\left[ {{w_2}{r_2}} \right] +  \cdots  + E\left[ {{w_n}{r_n}} \right] \hfill \\
   &= {w_1}E\left[ {{r_1}} \right] + {w_2}E\left[ {{r_2}} \right] +  \cdots  + {w_n}E\left[ {{r_n}} \right] \hfill \\
&=\sum\limits_{i = 1}^n {{w_i}E\left[ {{r_i}} \right]} \hfill \\
&=\sum\limits_{i = 1}^n {w_i} \bar{r}_i\;\;\;\;\; \square
\end{align*}

接著讓我們計算投資組合的 風險變異 :令 $\sigma_i^2$ 表示第 $i$ 組資產的風險變異,且定義 $\sigma$ 表示整體投資組合的風險變異,且 $\sigma_{ij}$ 用以表示 第 $i$ 與 第 $j$ 組資產之間 ($i \neq j$)的共同風險變異 (covariance) ,另外我們註記 $\sigma_{ii} = \sigma_i^2$。有了以上的符號,我們現在給出以下結果:
======================================
Theorem 2: 上述 $n$ 資產投資組合的風險變異 為
\[
\sigma = \sum_{i,j=1}^n w_i w_j \sigma_{ij}
\]======================================

Proof:
開始計算投資組合的風險變異 $\sigma$ 如下
\begin{align*}
  {\sigma ^2} &: = E\left[ {{{\left( {r - E[r]} \right)}^2}} \right] \hfill \\
   &= E\left[ {{{\left( {\sum\limits_{i = 1}^n {{w_i}{r_i}}  - \sum\limits_{i = 1}^n {{w_i}E\left[ {{r_i}} \right]} } \right)}^2}} \right] \hfill \\
   &= E\left[ {{{\left( {\sum\limits_{i = 1}^n {{w_i}{r_i}}  - \sum\limits_{i = 1}^n {{w_i}{{\bar r}_i}} } \right)}^2}} \right] \hfill \\
   &= E\left[ {{{\left( {\sum\limits_{i = 1}^n {\left( {{w_i}{r_i} - {w_i}{{\bar r}_i}} \right)} } \right)}^2}} \right] \hfill \\
   &= E\left[ {\left( {\sum\limits_{i = 1}^n {{w_i}\left( {{r_i} - {{\bar r}_i}} \right)} } \right)\left( {\sum\limits_{j = 1}^n {{w_j}\left( {{r_j} - {{\bar r}_j}} \right)} } \right)} \right] \hfill \\
   &= E\left[ {\sum\limits_{i,j = 1}^n {{w_i}{w_j}\left( {{r_i} - {{\bar r}_i}} \right)} \left( {{r_j} - {{\bar r}_j}} \right)} \right] \hfill \\
  & = \sum\limits_{i,j = 1}^n {{w_i}{w_j}E\left[ {\left( {{r_i} - {{\bar r}_i}} \right)\left( {{r_j} - {{\bar r}_j}} \right)} \right]}  \hfill \\
   &= \sum\limits_{i,j = 1}^n {{w_i}{w_j}{\sigma _{ij}}} \;\;\;\; \square
\end{align*}


以下我們看個 兩資產 的非常簡單的例子

=======================
Example:
考慮投資人手上有 頻果公司股票 與  政府債卷 兩種資產,且假設此投資人做了非常完整的調查,並且計算出
  • 頻果公司股票的 期望報酬 與 風險變異 分別為 $\bar{r}_1 := 0.10$ 與 $\sigma_1^2 = 0.3$ 
  • 政府債卷的 期望報酬 與 風險變異 分別為 $\bar{r}_2 := 0.01$ 與 $\sigma_2 := 0.1$ 
且更進一步假設頻果公司股票 與 政府債卷的共變異為 $\sigma_{12} = \sigma_{21} =0.05$。若投資人考慮將對頻果公司投入 $60\%$資產且 政府債卷為 $40\%$資產,亦即 $w_1 =0.6$ 與 $w_2 =0.4$,

(a) 試求 此投資組合的期望報酬
(b) 試求此投資組合的風險變異
=======================

Solution (a)
由前述第一定理,可知期望報酬
\begin{align*}
  E\left[ r \right] &= \sum\limits_{i = 1}^2 {{w_i}E\left[ {{r_i}} \right]}  \hfill \\
   &= {w_1}E\left[ {{r_1}} \right] + {w_2}E\left[ {{r_2}} \right] \hfill \\
   &= \left( {0.6} \right)\left( {0.1} \right) + \left( {0.4} \right)\left( {0.01} \right) = 0.064 \hfill \\
\end{align*}
Solution(b)
由前述第二定理,可知風險變異
\begin{align*}
  {\sigma ^2} &= \sum\limits_{i,j = 1}^n {{w_i}{w_j}{\sigma _{ij}}}  \hfill \\
   &= {w_1}{w_1}{\sigma _{11}} + {w_1}{w_2}{\sigma _{12}} + {w_2}{w_1}{\sigma _{21}} + {w_2}{w_2}{\sigma _{22}} \hfill \\
   &= w_1^2\sigma _1^2 + 2{w_1}{w_2}{\sigma _{12}} + w_2^2\sigma _2^2 \hfill \\
   &= {\left( {0.6} \right)^2}\left( {0.3} \right) + 2\left( {0.6} \right)\left( {0.4} \right)\left( {0.01} \right) + {\left( {0.4} \right)^2}\left( {0.01} \right) \hfill \\
   &= 0.1336 \;\;\;\;\; \square
\end{align*}

Comments: 在實務上,以上述例子為例,若反過來給定 期望報酬 與 風險變異,則可反求 投資組合的權重 $w$,一般稱之為 資產配置 (asset allocation)

9/01/2016

[投資理論] 內部收益率 與 其存在性

首先給出內部收益率 (又稱 內部報酬率) 的定義:

==============================
Definition: Internal Rate of Return (IRR)
給定 現金流 $(x_0,x_1,...,x_n)$ ,則我們稱其對應的 內部收益率(Internal Rate of Return, IRR) 為一實數 $r > -1 $ 滿足
\[0 = {x_0} + \frac{{{x_1}}}{{1 + r}} + \frac{{{x_2}}}{{{{\left( {1 + r} \right)}^2}}} +  \cdots  + \frac{{{x_n}}}{{{{\left( {1 + r} \right)}^n}}}
\]==============================

以下我們看個關於 IRR的例子:假設初始現金流 $x_0$ 支出 1 元做某項投資,並且陸續將三年的報酬記錄如下:
  • 該投資第一年所獲得的現金流報酬 $x_1$ 為 $1$元,
  • 該投資第二年所獲得的現金流報酬 $x_2$ 為 $1$元,
  • 該投資第三年所獲得的現金流報酬 $x_3$為 $0$元,
則我們可以將上述投資的現金流簡記為 $(x_0,x_1,x_2,x_3) = (-1,1,1,0)$ 下面例子可以讓讀者練習計算 IRR

==============================
Example: 給定現金流 $(x_0,x_1,x_2,x_3) = (-1,1,1,0)$ 試求 內部收益率 $r=?$
==============================
ANS:
由 IRR 定義
\begin{align*}
 & 0 = {x_0} + \frac{{{x_1}}}{{1 + r}} + \frac{{{x_2}}}{{{{\left( {1 + r} \right)}^2}}} + \frac{{{x_n}}}{{{{\left( {1 + r} \right)}^3}}} \hfill \\
 &  \Rightarrow 0 =  - 1 + \frac{1}{{1 + r}} + \frac{1}{{{{\left( {1 + r} \right)}^2}}} + \frac{0}{{{{\left( {1 + r} \right)}^3}}} \hfill \\
  & \Rightarrow {\left( {1 + r} \right)^2} = r + 2 \hfill \\
  & \Rightarrow {r^2} + r - 1 = 0 \hfill \\
\end{align*}故可解得兩根 $r_1 \approx 0.61803$ 或者 $r_2 \approx -1.6180$,但由定義可知我們要求 內部收益率必須滿足 $r>-1$ 故
\[
r = r_1 \approx 0.618\;\;\;\;\; \square
\]


Comments:
1. 內部收益率本質為利率
2. 內部收益率之所以被稱為 "內部" 主因是因為 此 收益率 (利率) 僅僅由現金流所推定。
3.對於上述多項式方程,令
\[
c:=\frac{1}{1+r}
\]則我們可得到更為簡潔的多項式如下
\[
x_0+x_1 c + x_2 c^2 +\cdots +x_n c^n
\]
由於 IRR 要求求解 $n$ 階多項式,我們必須先解決 解的存在性問題:下面的定理將告訴我們何時解存在。

==============================
Main Theorem of Internal Rate of Return: 
令現金流 $(x_0, x_1,...,x_n)$ 滿足 $x_0 <0$ 且對於 $k=1,2,...,n$而言, $x_k \geq 0 $ 且至少有一項 $x_j >0$ ,則對於下列方程
\[
0 = x_0+x_1 c + x_2 c^2 +\cdots +x_n c^n
\]存在唯一正實數解 $c_0$
==============================

Proof:
$$
f(c) :=x_0+x_1 c+x_2 c^2 +\cdots +x_n c^n
$$ 為一 以 $c$ 為變數的 $n$ 次多項式函數,我們要證明 $f$ 有唯一正實數解。

我們首先證明解的存在性:由於 $f$ 為多項式函數,故立即知道 $f$ 為對 參數 $c$ 連續。另外我們觀察
\[
f(0) = x_0 <0
\] 且由於至少現金流中至少有一項 $x_j >0$,故若對 $f$ 取導數可得
$$
f'(c) = x_1 + 2x_2 c + \cdots + j x_j c^{j-1} +\cdots+nx_n c^{n-1} > 0
$$亦即我們知道 $f(c)$ 為對 $c$ 嚴格遞增,現在利用 連續函數中間值定理(Intermediate Value Theorem) 可知,必存在一解 $c_0$ 使得 $f(c_0) =0$ 。

接著我們證明 $c_0$ 解 為唯一:
利用 $f$ 的遞增性質,可推知此 $c_0$ 為唯一 (因為遞增故不存在 $c_2$ 使得 再次又交會於零,亦即 不存在另外一點 使得 $f(c_2) =0$)。

最後我們證明 $c_0 >0$
回憶因為 $f(0) <0$ 且 $f$ 遞增,故所求之解 $c_0$ 必為正數。 $\square$


Comment:
1. 有時候在求解上述 $n$ 次多項式的時候 可能我們會解出 複數根 (complex roots) 的情況,此時一般而言我們通常選具有最大實部的複數根作為我們的解。

2. 內部收益率是非常有用的工具,撇除上述的理論部分,其計算上其實非常容易,市面上的軟體諸如 Microsoft Excel 或者免費的 Google Sheets 都可以幫助我們快速計算 IRR,以下我們使用前述的 IRR 來給出一個 計算退休的投資計畫的例子:

Example: 
考慮某投資人剛找到工作,手邊身無分文,但他預計 30 年後要退休,且這名投資人樂觀的預計這三十年中,他可以省吃儉用每年投資固定 10萬元來儲備其退休金,並且我們假設他 $30$ 年所需要的退休金 為 3000 萬元,則我們有
\[
$(x_1,x_2,x_3, ...., x_{30}, U ) = (-10,-10,-10,...,-10, 3000)$
\] 我們想問如果投資人想建構某投資計畫,則該投資計畫之每年的報酬率要達到多少才可能達成上述的退休計畫呢?

NOTE: 注意到此例並不滿足 IRR 存在且唯一 定理的充分條件。(因為 $x_2...,x_{30} <0$)

但我們仍然能用數值逼近的方式計算 IRR ,以下我們用 Google Sheets 來實現上述的範例,首先建構下表



接著我們利用 函數 $irr(B2:B32)$ (公式我輸入在上表中的 $C32$位置) 即可立刻計算每年所需的投資報酬率,在此例中為 $12.5133\%$。也就是說如果我們採用每年投資 10萬元,三十年後要達到 3000萬退休金的每年投資報酬率必須要有 $12.5133\%$,

[MATLAB] 如何使用 Latex 數學符號來標示圖形的 x,y 軸

一般在 MATLAB 使用圖形常會加入 x,y 軸來幫助讀者了解圖形內容,有時候我們想要在 x-label 顯示 數學式子來使其更為簡潔:比如說我想要在 x-軸加入 $\hat{K}$ 則只要在 MATLAB 中使用以下指令即可:

xlabel('$$\hat{K}$$','Interpreter','Latex')
注意到上述指令中, "$$...$$" 符號用來告知 MATLAB 我們要使用 Latex 語法,下圖為執行上述指令 x-label 後,在圖形上顯示的樣子:


更為進階的 latex語法也完全支援:

xlabel('$$\hat{K}, \tilde{x}, \int_\mathcal{X} f_X(x)dx$$','Interpreter','Latex')
上述指令執行後結果如下圖:


8/14/2016

[變分法] 離散泛函極值的必要條件

此文主要討論離散泛函的極值與其必要條件,也就是所謂的離散版本的 Euler-Lagrange Equation,推薦讀者可先複習先前介紹過的 連續泛函 的極值與必要條件的相關知識,整體推導而言可謂非常類似。

考慮離散泛函
\[\left\{ \begin{align*}
  &J\left( x \right): = \sum\limits_{k = 0}^{N - 1} {F\left( {x\left( k \right),x\left( {k + 1} \right),k} \right)} ; \hfill \\
  &x\left( {{0}} \right) = {x_0};x\left( {{N}} \right) = {x_1} \hfill \\
\end{align*}  \right.
\]其中 $F(x,y,t), \frac{{\partial F}}{{\partial x}}, \frac{{\partial F}}{{\partial y}}$ 在其定義域上連續函數。我們的目標是求序列 $x(0), x(1),...,x(N)$ 使得上述泛函 $J(x)$ 達到極值。

Comments:
前述設定中的離散狀態 $x(k) := x(t_k)$ 其中 $t_k = kT$ 且 $T$ 為取樣週期 (sampling period)

=====================================
Theorem: 離散版本的 Euler-Lagrange Equation
若 $x(1),...,x(N - 1) $ 使得上述泛函 $J(x)$ 達到極值,則對任意 $k=1,2,...,N-1$
\[\frac{{\partial F\left( {x(k),x(k + 1),k} \right)}}{{\partial x\left( k \right)}} + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}} =0\]=====================================

Proof: 令 $\delta x(k)$ 為 $x(k)$ 的變分,由於 $x(0) = x_0$ 與 $x(N)=x_1$,故 $\delta x(0) = \delta x(N) =0$ ,現在我們觀察 $J(x)$ ,由假設可知  $x(1),...,x(N - 1) $ 使得泛函 $J$ 達到極值,故
\[
J(x + \alpha \delta x) \geq J(x)
\]且此表明 $ J\left( {x + \alpha \delta x} \right)$ 在 $\alpha =0$ 處達到極值,由變分與泛函極值關係可知
\[
\delta J\left( {x\left( k \right)} \right) = {\left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( k \right) + \alpha \delta x\left( k \right)} \right)} \right|_{\alpha  = 0}} = 0
\]其中
\[J\left( {x(k) + \alpha \delta x(k)} \right) = \sum\limits_{k = 0}^{N - 1} {F\left( {x(k) + \alpha \delta x(k),x(k + 1) + \alpha \delta x(k + 1),k} \right)}
\]因此
\[
\delta J\left( {x\left( k \right)} \right) = {\left. {\frac{\partial }{{\partial \alpha }}\sum\limits_{k = 0}^{N - 1} {F\left( {x(k) + \alpha \delta x(k),x(k + 1) + \alpha \delta x(k + 1),k} \right)} } \right|_{\alpha  = 0}} = 0
\]故我們可推得
\[\begin{align*}
  &{\left. {\frac{\partial }{{\partial \alpha }}\sum\limits_{k = 0}^{N - 1} {F\left( {x(k) + \alpha \delta x(k),x(k + 1) + \alpha \delta x(k + 1),k} \right)} } \right|_{\alpha  = 0}} = 0 \hfill \\
 &  \Rightarrow {\left. {\sum\limits_{k = 0}^{N - 1} {\frac{\partial }{{\partial \alpha }}F\left( {x(k) + \alpha \delta x(k),x(k + 1) + \alpha \delta x(k + 1),k} \right)} } \right|_{\alpha  = 0}} \hfill \\
 &  \Rightarrow {\left. {\sum\limits_{k = 0}^{N - 1} {\frac{{\partial F}}{{\partial x\left( k \right)}}\delta x(k) + \frac{{\partial F}}{{\partial x(k + 1)}}\delta x(k + 1)} } \right|_{\alpha  = 0}} = 0  \;\;\;\; (*)
\end{align*}
\] 現在觀察上式的第二項,利用變數變換 定義 $k:=m-1$ 則我們可改寫為
\[\begin{gathered}
  \sum\limits_{k = 0}^{N - 1} {\frac{{\partial F\left( {x(k),x(k + 1),k} \right)}}{{\partial x(k + 1)}}\delta x(k + 1)}  = \sum\limits_{m = 1}^N {\frac{{\partial F\left( {x(m - 1),x(m),m - 1} \right)}}{{\partial x(m)}}\delta x(m)}  \hfill \\
   = \frac{{\partial F\left( {x(N - 1),x(N),N - 1} \right)}}{{\partial x(N)}}\delta x(N) + \sum\limits_{m = 1}^{N - 1} {\frac{{\partial F\left( {x(m - 1),x(m),m - 1} \right)}}{{\partial x(m)}}\delta x(m)}  \hfill \\
   = \frac{{\partial F\left( {x(N - 1),x(N),N - 1} \right)}}{{\partial x(N)}}\delta x(N) + \sum\limits_{k = 1}^{N - 1} {\frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}}\delta x(k)}  \hfill \\
\end{gathered} \]現在將上述結果代回 $(*)$,故可得
\[\small \begin{align*}
  \delta J\left( {x\left( k \right)} \right) &= \sum\limits_{k = 0}^{N - 1} {\frac{{\partial F}}{{\partial x\left( k \right)}}\delta x(k) + \frac{{\partial F}}{{\partial x(k + 1)}}\delta x(k + 1)}  \hfill \\
  & = \sum\limits_{k = 0}^{N - 1} {\frac{{\partial F}}{{\partial x\left( k \right)}}\delta x(k) + \frac{{\partial F\left( {x(N - 1),x(N),N - 1} \right)}}{{\partial x(N)}}\delta x(N) + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}}\delta x(k)}  \hfill \\
 &  = \frac{{\partial F\left( {x(N - 1),x(N),N - 1} \right)}}{{\partial x(N)}}\delta x(N) + \sum\limits_{k = 0}^{N - 1} {\left( {\frac{{\partial F}}{{\partial x\left( k \right)}} + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}}} \right)\delta x(k)}  \hfill \\
\end{align*}
\]注意到上式中 $\delta x(N) =0$ 且由於 $\delta x(k)$ 為任意變分,故由 $\delta J = 0$ 我們可知
\[\begin{align*}
 & \frac{{\partial F\left( {x(N - 1),x(N),N - 1} \right)}}{{\partial x(N)}}\delta x(N) +  \hfill \\
  \begin{array}{*{20}{c}}
  {}&{}
\end{array}&\;\;\;\; \sum\limits_{k = 0}^{N - 1} {\left( {\frac{{\partial F\left( {x(k),x(k + 1),k} \right)}}{{\partial x\left( k \right)}} + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}}} \right)\delta x(k)}  = 0
\end{align*} \]亦即對任意 $k=0,1,...,N-1$,
\[\frac{{\partial F\left( {x(k),x(k + 1),k} \right)}}{{\partial x\left( k \right)}} + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}} = 0\;\;\;\; \square
\]

8/11/2016

[變分法] 連續泛函極值的必要條件

這次要介紹最簡單形式的 泛函極值問題的 必要條件,此條件一般又稱之為 Euler-Largrange Eqution。此方程可謂泛函極值的房角石,亦為之後在最佳控制理論中的最大值原理扮演開路先鋒,是極為重要的角色。在介紹之前,我們先做一般性的用語與基本性質介紹。


======================
Definition: 泛函
令 $\Omega$ 為 賦範函數空間 (normed function space),若 對任意函數 $x(t) \in \Omega$ 都存在一個實數與之對應,則我們稱 $J$ 是定義在 $\Omega$ 上的 泛函 (functional),記作 $J(x(t))$
======================

Comment:
1. 簡而言之,泛函 一詞即表示為由 函數空間 映射到 實數軸 上的函數 $J: \Omega \to \mathbb{R}$ 。
2. 再以下的討論中,集合 $\Omega$ 又稱為 泛函 $J$ 的 容許集 (admissible set)


現取 $x_1, x \in \Omega$ 且 $\delta x := x_1 - x$ ,我們定義 關於 $\delta x$ 的 泛函增量 (increment) 如下
\[
\Delta J(\delta x)  := J(x_1) - J(x) =  J( x + \delta x) - J(x)
\]則由此 泛函增量,我們可以定義何謂泛函的變分。

======================
Definition: 泛函的變分
給定泛函 $J : \Omega \to \mathbb{R}$,若存在 一線性泛函 $L(x, \delta x)$ 使得泛函增量可被表為
\[
\Delta J(\delta x) = L(x, \delta x) + r(x, \delta x) \cdot | |\delta x||
\]其中 $r(x, \delta x)$ 為 其他高階剩餘項(remainder) 滿足 當 $| |\delta x|| \to 0 \Rightarrow r(x, \delta x) \to 0$,則我們稱上式中的 $L(x, \delta x)$ 為 $J(x)$ 的 變分 (variation),記作 $\delta J := L(x, \delta x)$
======================

Comment:
1. 上述定義中的 線性泛函項 $L$ 與 其他高階剩餘項 $r$,可視為透過 Taylor 級數展開而得。
2. 變分 (variation) 一詞在文獻中又稱 differential
3. 若泛函變分存在,則該 變分 為唯一,在此不證明,有興趣讀者可參閱 [1]。
4. 關於線性泛函及其相關定義請讀者可參閱 [變分法] 淺論 線性泛函 
5. 有些文獻定義的泛函是透過所謂 Gateaux differentials 與 Freshet differential,但為求論述簡潔,在此不多作介紹,有興趣的讀者可以參閱 [2]


======================
Theorem: 泛函極值與變分關係
給定泛函 $J : \Omega \to \mathbb{R}$,若其變分存在,則 其變分可表為參數 $\alpha$ 的方向導數,亦即 變分滿足下式
\[\delta J(x(t)) = {\left. {\frac{\partial }{{\partial \alpha }}J(x(t) + \alpha \delta x(t))} \right|_{\alpha  = 0}}\]======================

Proof: 給定泛函 $J : \Omega \to \mathbb{R}$ 且假設其變分存在,我們要證明
\[\delta J(x(t)) = {\left. {\frac{\partial }{{\partial \alpha }}J(x(t) + \alpha \delta x(t))} \right|_{\alpha  = 0}}
\]首先由 $\delta J$ 存在可知:存在一線性泛函 $L$ 始得 泛函增量 $\Delta J$滿足
\[\begin{align*}
  \Delta J &= J\left( {x + \alpha \delta x} \right) - J\left( x \right) \hfill \\
   &= L(x,\alpha \delta x) + r(x,\alpha \delta x) \cdot || \alpha \delta x || \hfill \\
\end{align*}
\]由於 $L$ 為線性泛函,故 $L(x,\alpha \delta x) = \alpha L(x,\delta x)$,現在觀察
\[\begin{align*}
  {\left. {\frac{\partial }{{\partial \alpha }}J(x(t) + \alpha \delta x(t))} \right|_{\alpha  = 0}} &= \mathop {\lim }\limits_{\alpha  \to 0} \frac{{J(x + \alpha \delta x) - J\left( x \right)}}{\alpha }\\
   &= \mathop {\lim }\limits_{\alpha  \to 0} \frac{{L(x,\alpha \delta x) + r(x,\alpha \delta x)||\alpha \delta x||}}{\alpha } \hfill \\
   &= \mathop {\lim }\limits_{\alpha  \to 0} \frac{{L(x,\alpha \delta x)}}{\alpha }  + \underbrace {\mathop {\lim }\limits_{\alpha  \to 0} \frac{{r(x,\alpha \delta x) ||\alpha \delta x||}}{\alpha }}_{ = 0}  \hfill \\
   &= \mathop {\lim }\limits_{\alpha  \to 0} \frac{{\alpha L(x,\delta x)}}{\alpha }  \hfill \\
   &= L(x,\delta x) = \delta J(x) \;\;\;\;\; \square
\end{align*}
\]


======================
Theorem:
令 $J$ 為泛函且其變分存在,若 $J(x)$ 在 $x_0 \in \Omega$ 有(局部)極值,則其在 $x_0$ 之變分
\[
\delta J(x_0) =0
\] ======================
Comment: 上述定理中的 $x_0$ 又稱為 泛函 $J$ 的臨界點(critical point) 或者稱 不動點 (stationary point)。

Proof: 由於變分存在,我們可將變分用 以單變數參數 $\alpha$ 的方向導數表示
\[{\left. {\delta J\left( x \right) = \frac{\partial }{{\partial \alpha }}J(x + \alpha \delta x)} \right|_{\alpha  = 0}}\]由於 $J(x)$ 在 $x_0 \in \Omega$ 有局部極值,故我們可知 $\alpha =0$ 為$J(x_0 + \alpha \delta x)$ 的局部極值 (以極小值為例,可知對任意 $\alpha \in \mathbb{R}$, $J(x_0) \leq J(x_0 + \alpha \delta x)$,且極小值發生在 $\alpha = 0$),故
\[{\left. {\delta J\left( {{x_0}} \right) = \frac{\partial }{{\partial \alpha }}J({x_0} + \alpha \delta x)} \right|_{\alpha  = 0}} = 0\;\;\;\; \square
\]


在討論一般設定之後,以下我們開始針對特殊形式的泛函來建構必要條件:考慮泛函
\[
J(x(t)) := \int_{t_0}^{t_1} F(t,x,\dot{x}) dt; \;\;\; x(t_0) :=x_0; \;\;\; x(t_1) \doteq x_1
\]且令其  admissible set 為
\[
\Omega := \{x(t) : x(t) \in C^2[t_0, t_1], \; x(t_0) = x_0, x(t_1) = x_1\}
\]且 $F(t, x, \dot{x})$ 為 $C^2$  (二階可導且連續),我們欲求上述泛函極值的必要條件,此結果極為鼎鼎大名的 Euler-Largrange 方程,但在我們證明主要定理之前,底下我們先給個前置定理,此定理又稱為變分基本定理。


======================
Lemma: 變分基本引理
設函數 $F(t)$ 在區間 $[t_0, t_1]$ 上連續,若對於任意滿足 $\eta(t_0) = \eta(t_1) =0$ 的充分光滑函數 $\eta(t)$ 我們都有
\[
\int_{t_0}^{t_1} F(t) \eta(t) dt =0
\]則 $F(t) = 0$ 對 $t \in [t_0,t_1]$
======================

Proof: 利用反證法,假設 存在 $\xi \in (t_0,t_1)$ 使得 $F(\xi) \neq 0$,欲證明矛盾。不失一般性情況下我們假設 $F(\xi) >0$ 則由於 $F$的連續性,可知必存在 以 $\xi$ 為中心的鄰域 $N_\xi :=(\xi_1,\xi_2) \subset (t_0, t_1)$ 使得 對任意 $t \in N_\xi$,我們有 $F(t) > 0$。現在我們構造 $\eta(t)$ 函數如下
\[\eta \left( t \right): = \left\{ \begin{gathered}
  0,\begin{array}{*{20}{c}}
  {}&{}&{}&{}
\end{array}t \in \left[ {{t_0},{\xi _1}} \right) \hfill \\
  {\left[ {\left( {t - {\xi _1}} \right)\left( {t - {\xi _2}} \right)} \right]^2},\begin{array}{*{20}{c}}
  {}&{}
\end{array}t \in \left[ {{\xi _1},{\xi _2}} \right] \hfill \\
  0,\begin{array}{*{20}{c}}
  {}&{}&{}&{}
\end{array}t \in \left( {{\xi _2},{t_1}} \right] \hfill \\
\end{gathered}  \right.\]且注意到上述 $\eta(t)$ 函數滿足 $\eta(t_0) = \eta(t_1) = 0$ 且為連續函數,然而若我們觀察
\[
\int_{t_0}^{t_1} F(t) \eta(t) dt = \int_{\xi_1}^{\xi_2} F(t) \eta(t) dt > 0
\]此結果與我們的假設矛盾。$\square$



======================
Theorem: 泛函極值的必要條件 Euler-Lagrange Equation
設函數 $F(t, x, \dot{x})$ 具有連續二階偏導數,且設泛函\[
J(x(t)) := \int_{t_0}^{t_1} F(t,x,\dot{x}) dt; \;\;\; x(t_0) :=x_0; \;\;\; x(t_1) \doteq x_1
\]在 $x(t) \in \Omega$ 達到極值,則 $x(t)$ 滿足下列方程
\[\frac{\partial }{{\partial x}}F\left( {t,x,\dot x} \right) - \frac{d}{{dt}}\left( {\frac{\partial }{{\partial \dot x}}F\left( {t,x,\dot x} \right)} \right) = 0\]
======================

Proof: 首先令 $\phi(t) := \delta x(t)$,則由於 $x(t_0)=x_0$與 $x(t_1) = x_1$ 可知,$\phi(t)$ 滿足 $\phi(t_0) = \phi(t_1)=0$,現在由泛函極值與變分的關係可知下式必定成立:
\[\delta J\left( {x\left( t \right)} \right) = \left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right)} \right|_{\alpha = 0} = 0 \;\;\;(\star)
\]現在觀察
\[
J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right) = \int_{{t_0}}^{{t_1}} F (t,x + \alpha \phi ,\dot x + \alpha \dot \phi )dt
\]故我們可先行計算
\[{\left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right)} \right|_{\alpha  = 0}} = {\left. {\frac{\partial }{{\partial \alpha }}\int_{{t_0}}^{{t_1}} F (t,x + \alpha \phi ,\dot x + \alpha \dot \phi )dt} \right|_{\alpha  = 0}}
\]由 Libneiz Rule 可得
\[\begin{align*}
  {\left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right)} \right|_{\alpha  = 0}} &= {\left. {\frac{\partial }{{\partial \alpha }}\int_{{t_0}}^{{t_1}} F (t,x + \alpha \phi ,\dot x + \alpha \dot \phi )dt} \right|_{\alpha  = 0}} \hfill \\
   &= {\left. {\int_{{t_0}}^{{t_1}} {\frac{\partial }{{\partial \alpha }}F} (t,x + \alpha \phi ,\dot x + \alpha \dot \phi )dt} \right|_{\alpha  = 0}} \hfill \\
   &=  {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}}\phi  + \frac{{\partial F}}{{\partial \dot x}}\dot \phi } \right]} dt} \right|_{\alpha  = 0}}\;\;\;\; (*)
\end{align*}
\]注意到上述積分第二項可透過 integration by part 求得
\[\int_{{t_0}}^{{t_1}} {\frac{{\partial F}}{{\partial \dot x}}\dot \phi dt}  = \left. {\frac{{\partial F}}{{\partial \dot x}}\phi } \right|_{{t_0}}^{{t_1}} - \int_{{t_0}}^{{t_1}} {\phi \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} dt\]由於 $\phi(t_0) = \phi(t_1) = 0$,故我們得
\[\begin{gathered}
  \int_{{t_0}}^{{t_1}} {\frac{{\partial F}}{{\partial \dot x}}\dot \phi dt}  = \underbrace {\left. {\frac{{\partial F}}{{\partial \dot x}}\phi } \right|_{{t_0}}^{{t_1}}}_{ = 0} - \int_{{t_0}}^{{t_1}} {\phi \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} dt \hfill \\
   \Rightarrow \int_{{t_0}}^{{t_1}} {\frac{{\partial F}}{{\partial \dot x}}\dot \phi dt}  =  - \int_{{t_0}}^{{t_1}} {\phi \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} dt \hfill \\
\end{gathered}
\]現在將其帶回 $(*)$ 我們得到
\[\begin{align*}
  {\left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right)} \right|_{\alpha  = 0}}
   &= {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}}\phi  - \phi \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} \right]} dt} \right|_{\alpha  = 0}} \hfill \\
   &= {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}} - \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} \right]} \phi dt} \right|_{\alpha  = 0}} \hfill \\
\end{align*}
\]由於 $(\star)$ 可知,
\[\begin{align*}
  {\left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right)} \right|_{\alpha  = 0}}
&= {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}}\phi  + \frac{{\partial F}}{{\partial \dot x}}\dot \phi } \right]} dt} \right|_{\alpha  = 0}} \hfill \\
   &= {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}}\phi  - \phi \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} \right]} dt} \right|_{\alpha  = 0}} \hfill \\
   &= {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}} - \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} \right]} \phi dt} \right|_{\alpha  = 0}} = 0 \hfill \\
\end{align*}
\]由於 ${\frac{{\partial F}}{{\partial x}} - \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}}$ 在區間 $[t_0,t_1]$ 連續,且 $\phi$ 滿足 $\phi(t_0) = \phi(t_1) =0$ 且 $\phi \in C^2$,利用前述引理可知在 $[t_0,t_1]$ 上,
\[{\frac{{\partial F}}{{\partial x}} - \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} = 0\;\;\;\; \square\]


[1] I. M. Gelfand and S. V. Fomin, Calculus of Variations, 2000
[2] David G. Luenberger, Optimization By Vector Space Methods, 1997

8/07/2016

[凸分析] 擬凸函數 取積分後不保證其 擬凸性

回憶在 凸分析 中,兩凸函數 $f_1, f_2$ 之合仍為 convex,且此特性可進一步推廣至有限函數和,無窮組函數和,甚至積分都對,此篇文章中,我們將針對 擬凸函數(quasiconvex function) 來檢驗上述性質。令 $X$ 為隨機變數,現令 函數 $f(X,K)$ 為 quasiconvex in $K$ almost surely,則我們想問對其取積分之後是否仍為 quasiconvex in $K$?,亦即 $E[ f(X, K) ]$ 是否仍為 quasiconvex in $K$?

再構造反例之前,我們先給出 quasiconvex 函數的定義:

=================
Definition: 我們稱 $f: dom(f) \subset \mathbb{R}^n \to \mathbb{R}$ 為 擬凸函數 (quasiconvex function) 若下列條件成立:
對任意 $ \alpha \in \mathbb{R}$,集合
\[
S_{\alpha} := \{x \in dom(f) : f(x) \leq \alpha \}
\] 為 convex 集。
=================


Comments:
1. Quasiconvex 在有些文獻中又稱為 unimodal。
2. 所謂的擬凸性質 (Quasiconvexity) 可視為是 凸性 (Convexity) 的推廣,關於 quasiconvex 函數更詳細的介紹,建議讀者參考 [1],在此我們不做贅述。


現在我們可以著手回答一開始本篇文章所關心的問題:若 $f(X,K)$ 為 quasiconvex in $K$,是否取期望值 (積分)之後 $E[f(X,K)]$ 亦為 quasiconvex in $K$? 此答案是否定的,以下我們構造反例:

Counter Example: 令 $K \in [0,1]$ 且 $X$ 為隨機變數滿足 $X = 0 $ with probability $1/2$ 且 $X=1$ with probability $1/2$,取 $$
f(X,K) := (1 - X) K  - X K^2
$$ 則可知此函數 $f$ 為 quasiconvex in $K$ almost surely (WHY?),在此我們繪製所有可能的 $X$ 及其對應的函數圖形如下


可看出給定 $\alpha \in \mathbb{R}$,不論在 $X=0$ 或者 $X=1$ 均可得知對應的集合 $S_\alpha$ 為 convex,故可推知 $f(X,K)$ 為 quasiconvex with probability one。

然後,現在我們檢驗其期望值
\[\begin{align*}
  E[f(X,K)] = \frac{{ - {K^2}}}{2} + \frac{K}{2}
\end{align*} \]不再是 quasiconvex。讀者可自行繪製上述函數對應的集合 $S_\alpha$ 即可立刻發現不為 convex; 舉例而言,取 $\alpha := 0.05$,且繪製 $E[f(X,K)]$ 如下圖


可發現 $S_{\alpha=0.05} =\{K \in [0,1]: E[f(X,K)] \leq 0.05 \}$ 的集合大約可表為
 $$
\{K: K \in [0,0.15] \bigcup [0.85,1]\}
$$故可立刻判斷 $S_{\alpha = 0.05}$ 不是 convex 集,由此可知 $E[f(X,K)]$ 非 quasiconvex 。


[1] S. P. Boyd and L. Vandenberghe, Convex Optimization, Cambridge University Press, 2004.

6/15/2016

[機率論] 期望值保存遞增函數的遞增性質

令 $X$ 為具有任意分佈 $f_X$ 的隨機變數 且我們將其支撐集 (support set) 記作 $\cal X$,考慮參數 $K \in [0,1]$ 與 函數 $g(X,K)$ 為對參數 $K$ 遞增函數 with probability one,我們想問當我們對該函數取期望值時,是否 $ E[g(X,K)] $是否仍為對 $K$ 遞增?

答案為肯定的,我們將其記錄如下



令 $X$ 為具有任意分佈 $f_X$ 且 其支撐集為 $\cal X$ 隨機變數,考慮參數 $K \in [0,1]$
=====================
Theorem: 函數 $g(X,K)$ 為對參數 $K$ 遞增 with probability one,則 $ E[g(X,K)] $ 仍為對 $K$ 遞增
=====================

Proof:
令 $K_1,K_2 \in [0,1]$ 且 $K_1 \geq K_2$,我們要證明
\[
E[g(X,K_1)] \geq E[g(X,K_2)]
\]現在觀察
\[\left\{ \begin{gathered}
  E[g(X,{K_1})] = \int_{\cal X} g (x,{K_1}){f_X}(x)dx; \hfill \\
  E[g(X,{K_2})] = \int_{\cal X} g (x,{K_2}){f_X}(x)dx \hfill \\
\end{gathered}  \right.\]由於 $g(X,K)$ 為對參數 $K$ 遞增函數 with probability one,故可知對任意實現 $X=x$, $g(x,K_1) \geq g(x, K_2)$,又因為 分佈函數 $f_X$ 的非負性質,不難得知
\[
\int_{\cal X} g(x, K_1)f_X(x)dx \geq  \int_{\cal X} g(x, K_2)f_X(x)dx
\]亦即
\[
E[g(X,K_1)] \geq E[g(X,K_2)]
\]

5/15/2016

[投資理論] 投資組合理論(1)-效用函數與風險趨避性質

這篇文章我們將討論基礎的投資組合理論中關於 效用函數 (Utility Function) 與其性質,建議讀者具備 基礎統計/機率關於期望值計算 與 一點點最佳化 的 能力可以較為有效率理解本文內容。

現在令 $V$ 表示 投資人在 "未來" 的持有資產 (為隨機變數),則我們說 效用函數 為一函數,以下我們記作 $u : \mathbb{R} \to \mathbb{R}$,其設計目的在於使 投資人具有某種 "判準"(criterion) 使得可以透過 最大化效用函數的期望值 $E[u(V)]$ 來達成投資目標,亦即我們希望
\[
\sup E[u(V)] \;\;\;\; (*)
\]
讀者若對上述 $sup$ 符號不熟,可先想成 $max$ 即可。

注意到上述效用函數的定義十分抽象,還是沒有說明什麼事效用函數,故我們先回答下面兩個問題:
  1. 該如何選擇效用函數 $u(\cdot)$?
  2. 效用函數有什麼種類?
一般而言,在財務上,效用函數的選用是基於個人投資的喜好與風險容忍度以及整體金融環境所定。舉例而言,最簡單的效用函數為令 $u(x) := x$ ,則 由前述目標 $(*)$ 可知我們想要最大化期望資產,也就是
\[
sup E[V]
\]


以下為一些常見的效用函數
1. 對數 效用函數 $u(x) = \log (x)$ (Kelly 賭博理論,又稱 Logarithmic Growth Criterion)
2. 指數 效用函數 $u(x) = -e^{-ax}$ 且 $a>0$
3. 冪次 效用函數 $u(x) :=x^a$ 且 $0<a<1$
4. 二次 效用函數 $u(x) := x - ax^2$ 且 $0<a$ 與 $x < 1/(2a)$ (Markowitz 效率前緣,又稱 Mean-Variance Criterion)

Comments:
對效用函數額外加上常數或者乘上一個常數不改變不等式:亦即 若存在效用函數 $u$ 且兩個不同手邊資產 $V_1, V_2$ 使得
$$
E[u(V_1)] \le E[u(V_2)]
$$
則對任意常數 $a \in \mathbb{R}$ 與 $b>0$ ,利用期望值的線性性質,下列不等式仍成立:
\[
E[a + b u(V_1)] = a + b E[u(V_1)] \le a + b E[u(V_2)] = E[a + b u(V_2)]
\]

由上述 Comment ,我們可以定義兩效用函數之間的等價:

Definition: 給定效用函數 $u$ ,我們可以定義另一個效用函數 $\tilde{u}$ 滿足
\[
\tilde{u}(x) = a + b u(x)
\]其中 $b>0$ ,則此新的效用函數 $\tilde u$ 與原本的 $u$ 等價。


嚴格來說,效用函數的選取效/建構必須滿足以下兩點

Principle 1: 效用函數的遞增性質 (投資者不喜歡損失):亦即 對任意兩個未來資產 $V_1, V_2$ 滿足 $V_1 < V_2$ 則效用函數必須反映
\[
u(V_1) < u(V_2)
\]

Principle 2: 投資者為風險趨避 (Risk Aversion):效用函數必須為 concave 函數。簡而言之,投資人傾向於交易具有確定收益資產的投資標的 (或者說傾向於避免交易具有不確定性收益的投資標的)。

上述 Principle 2 等價以下定義

Definition: Risk Averse Utility
我們說 效用函數 $U$ 在區間 $[a,b]$上 風險趨避 若 $U$ 在 $[a,b]$上為 concave 函數。若 $U$ 為 concave everywhere 則我們稱 $U$ 風險趨避


Comments:
1. 給定函數 $u$  在區間 $[a,b]$ 上二次可導,我們稱 $u$ 為在區間 $[a,b]$ 上 concave 若下列條件成立:
對任意 $x \in [a,b]$,其 $u$ 之二階導數 $u''(x) \le 0$

2. 回憶 Jensen's inequality: 令 $u$ 為 concave 函數,則對任意隨機變數 $V$ 而言,
\[
E[u(V)] \le u(E[V])
\]

不確定資產的確定性等價 (Certainty Equivalent to Uncertain Wealth $V$)
Definition: 給定 $V$ 為未來持有資產 (隨機變數),我們稱 $V$ 的 certainty equivalent 為一常數資產 $C$ 滿足
\[
u(C) := E[u(V)]
\]

由 Jensen's inequality 我們可推得
\[
u(C) \le u(E[V])
\]由 $u$ 遞增且 concave 性質,可推得
\[
C \le E[V]
\]現在令 $V := W + \varepsilon$ 其中 $W$ 為初期手邊資產 (數學上視為平衡點 equilibrium)且 $\varepsilon$ 假設為 均值為 $0$ 的隨機風險 (數學上視為在平衡點附近的擾動 (perturbation near the equilibrium)),則
\[
E[u(V)] = E[u(W + \varepsilon)]
\]現在我們可問 投資者願意額外付多少來屏除此隨機擾動 $\varepsilon$,這額外付出的價格稱之為 風險溢價 (risk premium) ,我們記作 $\pi$ 且定義為
\[
E[u(W + \varepsilon)] := u(W-\pi)
\]
以下我們討論該如何獲取風險溢價:

現在若考慮隨機風險很小,亦即 $\varepsilon << 1$ ,則我們分別對上式在 $W$處做泰勒展開可得
\[\begin{gathered}
  E[u(V )] \cong E\left[ {u\left( W \right) + u'\left( W \right)\varepsilon  + \frac{{u''\left( W \right)}}{2}{\varepsilon ^2}} \right] \hfill \\
   = u\left( W \right) + u'\left( W \right)\underbrace {E\left[ \varepsilon  \right]}_{ = 0} + \frac{{u''\left( W \right)}}{2}E\left[ {{\varepsilon ^2}} \right] \hfill \\
   = u\left( W \right) + \frac{{u''\left( W \right)}}{2}Var\left( \varepsilon  \right) \;\;\;\; (*)\hfill \\
\end{gathered}
\]故此
\[u(W - \pi ) \cong u\left( W \right) - u'\left( W \right)\pi \;\;\;\; (**)
\]由 $(*)$ 與 $(**)$ 可得
\[\begin{gathered}
  E[u(W + \varepsilon )] = u(W - \pi ) \hfill \\
   \Rightarrow u\left( W \right) + \frac{{u''\left( W \right)}}{2}Var\left( \varepsilon  \right) \cong u\left( W \right) - u'\left( W \right)\pi  \hfill \\
   \Rightarrow \pi  \cong \frac{{Var\left( \varepsilon  \right)}}{2}\left( {\frac{{u''\left( W \right)}}{{ - u'\left( W \right)}}} \right): = \frac{{Var\left( \varepsilon  \right)}}{2}\left( {{A_u}\left( W \right)} \right) \hfill \\
\end{gathered} \]其中 $A_u(W)$ 被稱作 Arrow-Pratt absolute risk aversion coefficient。

Definition:
我們說投資人 1 使用效用函數 $u_1$ 是比投資人2 使用效用函數 $u_2$ 更加風險趨避 若下列條件成立:給定初始資產 $W$ 與 zero-mean 隨機風險 $\varepsilon$ 使得
\[
A_{u_1}(W) > A_{u_2} (W)
\]

上述定義等價為 如果存在某初始資產 $W$ 與 zero-mean 風險 $\varepsilon$ 使得 投資人 1 願意付出比投資人 2 更高的風險溢價 來降低隨機風險,亦即 ($\pi_1 > \pi_2$),

4/19/2016

[微分方程] 變動參數法 求解 二階 常係數 非齊次 微分方程

考慮二階線性非齊次微分方程
\[
L(y) := a_0 y'' + a_1y' + a_2y =f
\]其中 $a_0,a_1,a_2$ 為常數且 $f$ 為在某區間 $I$ 上有定義的任意函數,且 $L$ 為 linear operator。一般而言,求解二階線性非齊次 微分方程可透過 待定係數法 (Undetermined Coefficient Method)求解,然而此法僅適用於特定(常見)的外力函數 $f$,比如 $f= c t^k e^{mt}$ 其中 $c$ 為常數,$k$ 為非負整數,$m$ 為實數或者複數。但除此之外其他形式的 $f$,待定係數法並無法協助我們求解特解,故我們在此介紹一種更泛用的解法 稱作 變動參數法 (Variation of Parameter Method)來求解 二階 常係數 非齊次 微分方程 。

Comment:
此法事實上觀賞價值大於實用價值。因為對於任意高階 ODE 此法失效,但若讀者熟悉系統理論,可知道我們有更強大的工具來幫助我們求解 高階 ODE問題:亦即所謂狀態空間表示法 (State Space Representation),可以將任意高階ODE降為 一階 ODE 系統方程,再透過線性系統理論進行直接求解。


以下我們直接進入主題,考慮二階線性非齊次微分方程
\[
L(y) := a_0 y'' + a_1y' + a_2y =f
\]
現在令 $\phi_1$ 與 $\phi_2$ 為對 $L(y) = 0$ 的一組解基底,且令
\[
\psi := u_1 \phi_1 + u_2 \phi_2
\]其中 $u_1, u_2$為待定函數。(注意,上式中的 $u_1, u_2$ 不為常數而是以 $t$ 為變數的函數!)

現在觀察
\[\begin{array}{l}
\psi  = {u_1}{\phi _1} + {u_2}{\phi _2}\\
\psi ' = {u_1}'{\phi _1} + {u_1}{\phi _1}' + {u_2}'{\phi _2} + {u_2}{\phi _2}'\\
\psi '' = {u_1}''{\phi _1} + {u_2}''{\phi _2} + 2{u_1}'{\phi _1}' + 2{u_2}'{\phi _2}' + {u_1}{\phi _1}'' + {u_2}{\phi _2}''
\end{array}\]由於 $L(\phi_1) = 0$ 且 $L(\phi_2) =0$ ,透過一連串代數整理,我們有
\[\begin{array}{l}
L(\psi ) = {a_0}\psi '' + {a_1}\psi ' + {a_2}\psi \\
 = {a_0}\left( {{u_1}''{\phi _1} + {u_2}''{\phi _2} + 2{u_1}'{\phi _1}' + 2{u_2}'{\phi _2}' + {u_1}{\phi _1}'' + {u_2}{\phi _2}''} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + {a_1}\left( {{u_1}'{\phi _1} + {u_1}{\phi _1}' + {u_2}'{\phi _2} + {u_2}{\phi _2}'} \right) + {a_2}\left( {{u_1}{\phi _1} + {u_2}{\phi _2}} \right)\\
 = {a_0}\left( {{u_1}''{\phi _1} + {u_2}''{\phi _2} + 2{u_1}'{\phi _1}' + 2{u_2}'{\phi _2}'} \right) + {a_1}\left( {{u_1}'{\phi _1} + {u_2}'{\phi _2}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + {u_1}\underbrace {L\left( {{\phi _1}} \right)}_{ = 0} + {u_2}\underbrace {L\left( {{\phi _2}} \right)}_{ = 0}\\
 = {a_0}\left( {{u_1}''{\phi _1} + {u_2}''{\phi _2} + 2{u_1}'{\phi _1}' + 2{u_2}'{\phi _2}'} \right) + {a_1}\left( {{u_1}'{\phi _1} + {u_2}'{\phi _2}} \right)
\end{array}
\]注意到由於我們要求 $L(\psi ) = f$ 故我們得到條件:
\[{a_0}\left( {{u_1}''{\phi _1} + {u_2}''{\phi _2} + 2{u_1}'{\phi _1}' + 2{u_2}'{\phi _2}'} \right) + {a_1}\left( {{u_1}'{\phi _1} + {u_2}'{\phi _2}} \right)=f\;\;\;\;\; (\star)
\]由於 $u_1, u_2$ 待定,故我們需要兩條方程來解之,現在觀察上述條件,若我們假設
\[{{u_1}'{\phi _1} + {u_2}'{\phi _2}}=0\;\;\;\; (*)
\]則
\[{{u_1}''{\phi _1} + {u_2}''{\phi _2} + {u_1}'{\phi _1}' + {u_2}'{\phi _2}'}=0
\]故現在讓 $(*)$ 成立,則條件 $(\star)$ 可被大幅簡化為
\[{a_0}\left( {{u_1}'{\phi _1}' + {u_2}'{\phi _2}'} \right) = f\]至此我們獲得了兩條方程來解我們的 $u_1, u_2$,亦即
\[\left\{ \begin{array}{l}
{u_1}'{\phi _1} + {u_2}'{\phi _2} = 0\;\\
{u_1}'{\phi _1}' + {u_2}'{\phi _2}' = \frac{f}{{{a_0}}}
\end{array} \right.\]由上述可解得
\[\begin{array}{l}
u_1' = \frac{{\left| {\begin{array}{*{20}{c}}
0&{{\phi _2}}\\
{f/{a_0}}&{{\phi _2}'}
\end{array}} \right|}}{{\underbrace {\left| {\begin{array}{*{20}{c}}
{{\phi _1}}&{{\phi _2}}\\
{{\phi _1}'}&{{\phi _2}'}
\end{array}} \right|}_{ = W\left( {{\phi _1},{\phi _2}} \right)}}};{u_2}' = \frac{{\left| {\begin{array}{*{20}{c}}
{{\phi _1}}&0\\
{{\phi _1}'}&{f/{a_0}}
\end{array}} \right|}}{{\underbrace {\left| {\begin{array}{*{20}{c}}
{{\phi _1}}&{{\phi _2}}\\
{{\phi _1}'}&{{\phi _2}'}
\end{array}} \right|}_{ = W\left( {{\phi _1},{\phi _2}} \right)}}}\\
 \Rightarrow {u_1}' = \frac{{ - f{\phi _2}}}{{{a_0}W\left( {{\phi _1},{\phi _2}} \right)}};{u_2}' = \frac{{{\phi _1}f}}{{{a_0}W\left( {{\phi _1},{\phi _2}} \right)}}
\end{array}\]由 $u_1', u_2'$ 可透過積分求得 $u_1, u_2$,亦即
\[{{u_1} =  - \int {\frac{{f\left( s \right){\phi _2}\left( s \right)}}{{{a_0}W\left( {{\phi _1},{\phi _2}} \right)\left( s \right)}}ds} ;\begin{array}{*{20}{c}}
{}&{}
\end{array}{u_2}^\prime  = \int {\frac{{{\phi _1}\left( s \right)f\left( s \right)}}{{{a_0}W\left( {{\phi _1},{\phi _2}} \right)\left( s \right)}}} ds}\]

以下我們看個例子:

Example:
試利用 variation of parameter 法求解
\[
y''(t) + y(t) = t
\]
Proof:
首先求解 null solution $y_n(t)$:令 $\phi(t) = e^{st}$ 代入 ODE 中可得
\[
(s^2 + 1)e^{st} = 0
\]故 $s_{1,2} = \pm i$ 故可得
\[
\phi_1(t) = e^{s_1 t}; \;\;\; \phi_2(t) = e^{s_2 t}
\]讀者可驗證上述 $\phi_1, \phi_2$ 彼此線性獨立 (驗證 Wronksian) 故 null solution
\[\begin{array}{l}
{y_n}(t) = {c_1}{\phi _1}(t) + {c_2}{\phi _2}(t)\\
 \;\;\;\;\;\;= {c_1}{e^{it}} + {c_2}{e^{ - it}}
\end{array}\]一旦我們得到 $y_n$ 則可利用 variation of parameter 法 求 particular solution  $y_p(t)$ 令
\[
\psi(t) := c_1(t) \phi_1(t) + c_2(t) \phi_2(t) = c_1(t) e^{it} + c_2(t) e^{-it}
\] 則我們可計算
\[\begin{array}{l}
\psi (t) = {c_1}\left( t \right){e^{it}} + {c_2}\left( t \right){e^{ - it}}\\
\psi '(t) = \underbrace {\left( {{c_1}'\left( t \right){e^{it}} + {c_2}'\left( t \right){e^{ - it}}} \right)}_{: = 0} + \left( {{c_1}\left( t \right)i{e^{it}} - {c_2}\left( t \right)i{e^{ - it}}} \right)\\
\psi ''(t) = {c_1}'\left( t \right)i{e^{it}} - {c_1}\left( t \right){e^{it}} - {c_2}'\left( t \right)i{e^{ - it}} - {c_2}\left( t \right){e^{ - it}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {c_1}'\left( t \right)i{e^{it}} - {c_2}'\left( t \right)i{e^{ - it}} - {c_1}\left( t \right){e^{it}} - {c_2}\left( t \right){e^{ - it}}
\end{array}\]注意到上述推倒中我們強制讓
\[{{c_1}'\left( t \right){e^{it}} + {c_2}'\left( t \right){e^{ - it}}} :=0 \;\;\; (*)
\] 現在將上述 $\psi, \psi', \psi''$ 代入 ODE中可得
\[\begin{array}{l}
\psi ''(t) + \psi (t) = t\\
 \Rightarrow \left( {{c_1}'\left( t \right)i{e^{it}} - {c_2}'\left( t \right)i{e^{ - it}} - {c_1}\left( t \right){e^{it}} - {c_2}\left( t \right){e^{ - it}}} \right) + {c_1}\left( t \right){e^{it}} + {c_2}\left( t \right){e^{ - it}} = t\\
 \Rightarrow {c_1}'\left( t \right)i{e^{it}} - {c_2}'\left( t \right)i{e^{ - it}} = t \;\;\;\;\; (**)
\end{array}\]現在觀察 $(*)$ 與 $(**)$ 我們得到一組聯立方程
\[\begin{array}{l}
\left\{ \begin{array}{l}
{c_1}'\left( t \right){e^{it}} + {c_2}'\left( t \right){e^{ - it}} = 0\\
{c_1}'\left( t \right)i{e^{it}} - {c_2}'\left( t \right)i{e^{ - it}} = t
\end{array} \right.\\
 \Rightarrow \left\{ \begin{array}{l}
{c_1}'\left( t \right) = \frac{{\left| {\begin{array}{*{20}{c}}
0&{{e^{ - it}}}\\
t&{ - i{e^{ - it}}}
\end{array}} \right|}}{{\left| {\begin{array}{*{20}{c}}
{{e^{it}}}&{{e^{ - it}}}\\
{i{e^{it}}}&{ - i{e^{ - it}}}
\end{array}} \right|}} = \frac{t}{{2i}}{e^{ - it}};\\
{c_2}'\left( t \right) = \frac{{\left| {\begin{array}{*{20}{c}}
{{e^{it}}}&0\\
{i{e^{it}}}&t
\end{array}} \right|}}{{\left| {\begin{array}{*{20}{c}}
{{e^{it}}}&{{e^{ - it}}}\\
{i{e^{it}}}&{ - i{e^{ - it}}}
\end{array}} \right|}} =  - \frac{t}{{2i}}{e^{it}}
\end{array} \right.
\end{array}\]對 $c_1'(t)$ 與 $c_2'(t)$取積分,可解得 $c_1, c_2$ 如下
\[\left\{ \begin{array}{l}
{c_1}\left( t \right) = \frac{1}{{2i}}\int {t{e^{ - it}}dt}  = \frac{1}{2}{e^{ - it}}(t - i);\\
{c_2}\left( t \right) =  - \frac{1}{{2i}}\int {t{e^{it}}dt}  = \frac{1}{2}{e^{it}}(t + i)
\end{array} \right.\]故 特解
\[\begin{array}{l}
{y_p}(t) = {c_1}(t){e^{it}} + {c_2}(t){e^{ - it}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{2}{e^{ - it}}(t - i){e^{it}} + \frac{1}{2}{e^{it}}(t + i){e^{ - it}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = t
\end{array}\]最後 完整解
\[
y(t) = y_n(t) + y_p(t) = (c_1 e^{it } + c_2 e^{-i t}) + t
\]

Comment:
事實上,上述例子可透過 待定係數求解 特解,亦即令
\[
y_p(t) := At + B
\]其中 $A,B$ 為待定常數,現在觀察 $y_p ' = A$ 且
\[
y_p''(t) = 0
\]故代入 $y'' + y =t$ 可得
\[
0 + (At+B) = t
\] 亦即 $A=1, B=0$ 亦即我們可直接解得特解
\[
y_p(t) = t
\]而無需如前述 變動餐數法繁複的手段來進行求解。

4/01/2016

[微分方程] 二階常係數 線性 齊次微分方程

首先回憶標準二階微分方程 (2nd ODE)可表為
\[
y'' = f(t,y',y'')
\]現在我們考慮上述方程的一類重要的子集:二階線性常係數 齊次微分方程 (2nd Order Linear Constant Coefficient Homogeneous Ordinary Differential Equation) ,該子集的方程一般可寫作
\[
y'' + py' + q y = 0,\;\;\;\; -\infty < t < \infty \;\;\;\;\; (\star)
\]其中 $p, q \in \mathbb{R}$。讀者可注意到 我們仍處在線性 ODE 的世界,亦即對 $y,y'$ 與 $y''$ 皆線性。我們的目標是要對上述 ODE 就進行求解,亦即要找到某函數 $\phi(t)$ 對 $t \in (-\infty, \infty)$ 都滿足 $(\star)$ 。

Comments: 讀者也許會對於上述 $(\star)$ 為何稱之為 $y'' = f(t,y'=,y')$ 的一類子集感到疑惑,在此我們邀請讀者仔細檢查 $(\star)$,應可發現若令
\[
f(t,y,y') := -(py' + q y )
\] 則確實可看出 $(\star)$ 式 具有 標準二階 ODE 之形式。

以下定理給了我們一個重要的結果來界定 解的形式 與條件:

====================
Theorem: 令 $\phi_1(t)$ 與 $\phi_2(t)$ 在 $t \in (-\infty, \infty)$ 為對下列 二階微分方程的 IVP 問題:
\[
y'' + p y' + qy = 0, \;\;\;\; y(t_0) = y_0;\;\;\;\; y'(t_0) = v_0
\]的兩組解。則
(1) 對任意常數 $c_1,c_2 \in \mathbb{R}$ 其線性組合 $c_1 \phi_1(t) + c_2 \phi_2(t)$ 亦為上述ODE之解。
(2) 除此之外,若下列行列式函數
\[\Delta \left[ {{\phi _1},{\phi _2}} \right]\left( {{t_0}} \right) := \left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right| \ne 0,\begin{array}{*{20}{c}}
{}&{}
\end{array}{t_0} \in \left( { - \infty ,\infty } \right)
\]則對 上述 ODE 的任意解 $\phi(t)$ 滿足以下條件:存在 $c_1, c_2 \in \mathbb{R}$ 使得
$$
\phi(t) = c_1 \phi_1(t) + c_2 \phi_2(t)
$$====================

Comments:
上述行列式條件一般稱為 Wronskian

Proof:
令 $\phi_1(t)$ 與 $\phi_2(t)$ 在 $t \in (-\infty, \infty)$ 為對下列二階 ODE \[ y''+ p y' + qy = 0 \]的解。首先證明則對任意常數 $c_1,c_2 \in \mathbb{R}$ 其線性組合 $c_1 \phi_1(t) + c_2 \phi_2(t)$ 亦為上述ODE之解。故給定任意常數 $c_1,c_2$,令\[ \phi(t) = c_1 \phi_1(t) + c_2 \phi_2(t) \] 則我們僅需證明上式滿足 ODE,現在觀察 \[\begin{array}{l} \phi '' + p\phi ' + q\phi \\ \begin{array}{*{20}{c}} {}&{} \end{array} = {\left( {{c_1}{\phi _1}(t) + {c_2}{\phi _2}(t)} \right)^{\prime \prime }} + p{\left( {{c_1}{\phi _1}(t) + {c_2}{\phi _2}(t)} \right)^\prime } + q\left( {{c_1}{\phi _1}(t) + {c_2}{\phi _2}(t)} \right)\\ \begin{array}{*{20}{c}} {}&{} \end{array} = {c_1}\left( {{\phi _1}^{\prime \prime }(t) + p{\phi _1}^\prime (t) + q{\phi _1}(t)} \right) + {c_2}\left( {{\phi _2}^{\prime \prime }(t) + p{\phi _2}^\prime (t) + q{\phi _2}(t)} \right)\\ \begin{array}{*{20}{c}} {}&{} \end{array}{c_1}\underbrace {\left( {{\phi _1}''(t) + p{\phi _1}'(t) + q{\phi _1}(t)} \right)}_{ = 0} + {c_2}\underbrace {\left( {{\phi _2}''(t) + p{\phi _2}'(t) + q{\phi _2}(t)} \right)}_{ = 0} = 0 \end{array}
\]上述最後一行等式成立因為我們利用了已知假設  $\phi_1(t)$ 與 $\phi_2(t)$ 在 $t \in (-\infty, \infty)$為對下列二階微分方程 $y'' + p y' + qy = 0$ 的解,亦即
\[\left\{ \begin{array}{l} {\phi _1}''(t) + p{\phi _1}'(t) + q{\phi _1}(t) = 0\\ {\phi _2}''(t) + p{\phi _2}'(t) + q{\phi _2}(t) = 0 \end{array} \right.\]

接著我們證 $(2)$,令 $\phi(t)$ 為上述 ODE 的任意解且固定時刻 $t_0 \in (-\infty, \infty)$,則我們可定義
\[
\phi(t_0) := y_0;\;\;\; \phi'(t_0)"=v_0
\]現在我們要證明存在 $c_1, c_2 \in \mathbb{R}$ 使得 $\phi(t) = c_1 \phi_1(t) + c_2 \phi_2(t)$。觀察若 $\phi \left( t \right) = {c_1}{\phi _1}\left( t \right) + {c_2}{\phi _2}\left( t \right)$ 則 $\phi '\left( t \right) = {c_1}{\phi _1}'\left( t \right) + {c_2}{\phi _2}'\left( t \right)$,故此我們可針對 任意時刻 $t_0$寫下
\[\left\{ \begin{array}{l}
\phi \left( {{t_0}} \right) = {c_1}{\phi _1}\left( {{t_0}} \right) + {c_2}{\phi _2}\left( {{t_0}} \right) = {y_0}\\
\phi '\left( {{t_0}} \right) = {c_1}{\phi _1}'\left( {{t_0}} \right) + {c_2}{\phi _2}'\left( {{t_0}} \right) = {v_0 }
\end{array} \right.\]亦即我們得到兩條線性方程且未知數為 $c_1,c_2$ 回憶高中數學,利用 Cramer Rule可知上述線性方程有 唯一解 若且唯若
\[ {c_1} = \frac{{\left| {\begin{array}{*{20}{c}}
{{y_0}}&{{\phi _2}\left( {{t_0}} \right)}\\
{{v_0}}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right|}}{{\underbrace {\left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right|}_{ = \Delta [{\phi _1},{\phi _2}]\left( {{t_0}} \right)}}};{c_1} = \frac{{\left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{y_0}}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{v_0}}
\end{array}} \right|}}{{\underbrace {\left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right|}_{ =  \Delta [{\phi _1},{\phi _2}]\left( {{t_0}} \right)}}}
\]注意到由假設前提可知,對任意 $t_0 \in (-\infty, \infty)$,我們有 $\Delta[\phi_1,\phi_2](t_0) \neq 0$。故我們取上述 $c_1, c_2$ 則任意解 $\phi$ 皆可表成\[
\phi(t) = c_1 \phi_1(t) + c_2 \phi_2(t)
\]且上述等式對任意 $t \in (-\infty, \infty)$ 成立且滿足初始條件。 $\square$


Comments:
1. 微分方程與線性代數彼此之間存在巨大的連結,比如說上述定理中我們先假設有兩解 $\phi_1, \phi_2$ 接著我們才說其他的解亦可透過此兩解做線性組合。所有滿足 ODE 的解所構成之集合稱之為解空間 (Solution Space) 。現在我們提供一個更簡潔(抽象)的觀點:若我們將微分看作算子(operator) ,亦即
\[\begin{array}{l}
y'' + py' + qy = 0\\
 \Rightarrow \left( {\frac{{{d^2}}}{{d{t^2}}} + p\frac{d}{{dt}} + q} \right)\left( y \right) = 0\\
 \Rightarrow L\left( y \right) = 0
\end{array}
\]則讀者可驗證微分算子 $L(\cdot)$ 為 線性算子,且其解空間
\[
\{\phi: L (\phi) = 0\}
\]空間等價為 線代中的零空間(Null Space)

2. 我們稱 $\phi_1, \phi_2$ 為在 $t \in (-\infty, \infty)$ 的一組解空間的 基底 ( basis) 若且唯若 $\Delta[\phi_1, \phi_2](t_0) \neq 0$ 對任意 $t_0 \in (-\infty, \infty)$,那麼該如何找到此兩解?我們要求此兩解滿足 Wronskian 行列式條件
\[
{\Delta [{\phi _1},{\phi _2}]\left( {{t_0}} \right)} \neq 0
\]事實上此條件等價說明 $\phi_1, \phi_2$ 彼此線性獨立。

3. 由於此系統為二階系統,我們僅需找到兩個彼此線性獨立的解 $\phi_1, \phi_2$,亦即 對任意 $p,q$ 且任意 $t_0 \in (-\infty, \infty)$,下列 Wronkian
\[\Delta \left( {{t_0}} \right): = \left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right| \ne 0
\]

4. 在前述證明中,我們在最後需回頭驗證上述結果是否滿足初始條件 $y(t_0) = y_0, \; y'(t_0) = v_0$,且且我們稱 $\phi(t)$
$$
\phi(t) := c_1 \phi_1(t) + c_2 \phi_2(t),\;\;\; -\infty< t < \infty, \;\;c_1,c_2\in \mathbb{R}
$$ 為 general solution。


儘管我們有了前述定理的幫助,知道對任意二階ODE 我們要先找出兩組線性獨立解,則其餘所有可能的解可透過此兩組線性獨立解基底做線性組合而得,但我們還有一個問題尚待解決:也就是該如何事先找到此兩組線性獨立解 $\phi_1, \phi_2$?一個常用的辦法為 先猜出解的形式,再來決定 待定係數,我們將此法稱作 Guess Method:


透過 Guess Method 來找出 $\phi_1(t), \phi_2(t)$:
由於我們要求解的方程為 ODE ,故我們可猜測 $e^{zt}, \;\;\; t \in (-\infty, \infty)$ 為解候選 (solution candidate),其中 $z$ 為待定常數 (注意到在此 $z$ 不一定要是實數,可以是複數)。則
\[\begin{array}{l}
y'' + py' + qy = 0\\
 \Rightarrow {z^2}\left( {{e^{zt}}} \right) + pz\left( {{e^{zt}}} \right) + q\left( {{e^{zt}}} \right) = 0\\
 \Rightarrow \left( {{z^2} + pz + q} \right){e^{zt}} = 0
\end{array}\]因此 $e^{zt}$ 為 $y''+p y' + qy=0$ 的解 若且唯若
\[
(z^2 + p z + q) e^{zt} = 0
\]因為 $e^{zt} \neq 0$ ,故充分必要條件可簡化成
\[
z^2 + p z + q =0
\]上述 等式 稱為 特性方程式 (Characteristic equation) 或者 輔助方程 (Auxiliary equation),由於此特性方程為二次函數,回憶中學數學裡,我們可對其求根 $z$ 如下
\[
{z_{1,2}} = \frac{{ - p \pm \sqrt {{p^2} - 4q} }}{2}
\]注意到上述 $z$ 現在我們討論以下三種可能

Case 1: $p^2 > 4 q$,則 $z_{1,2}$ 為 實數 且 相異

Case 2: $p^2 < 4q$,則 $z_{1,2}$ 為一對共軛複數

Case 3: $p^2 = 4q$ ,則 $z_1 = z_2$ (重根)

以下我們分別針對此三種情況來求出 我們對二街常係數齊次 ODE 所需要的線性獨立解 $\phi_1$ 與 $\phi_2$:

對於 Case 1,我們有 $\phi_1(t) = e^{z_1 t}$ 且 $\phi_2(t) = e^{z_2 t}$ 且 $z_1 \neq z_2$,故我們檢驗 Wronskian
\[\begin{array}{l}
\Delta \left( {{t_0}} \right) = \left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right|\\
 \Rightarrow \Delta \left( {{t_0}} \right) = \left| {\begin{array}{*{20}{c}}
{{e^{{z_1}{t_0}}}}&{{e^{{z_2}{t_0}}}}\\
{{z_1}{e^{{z_1}{t_0}}}}&{{z_2}{e^{{z_2}{t_0}}}}
\end{array}} \right|\\
 \Rightarrow \Delta \left( {{t_0}} \right) = \left( {{z_2} - {z_1}} \right){e^{{z_1}{t_0}}}{e^{{z_2}{t_0}}}
\end{array}
\] 由於 $z_1 \neq z_2$ 且 $e^{(z_1 + z_2)t_0}$ 永遠不為零,則 $\Delta(t_0) \neq 0$ 對任意 $t_0 \in (-\infty, \infty)$ ,故對於 Case 1,建構線性組合
\[
\phi(t) := c_1 \phi_1(t) + c_2 \phi_2(t), \;\;\;\; t\in (-\infty, \infty)
\]且此即為我們的 general solution。

同理,對於 Case 2 ,此時
\[{z_{1,2}} = \frac{{ - p \pm i\sqrt {4q - {p^2}} }}{2}\]故我們檢驗 Wronskian
\[\begin{array}{*{20}{l}}
{\Delta \left( {{t_0}} \right) = \left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}^\prime \left( {{t_0}} \right)}&{{\phi _2}^\prime \left( {{t_0}} \right)}
\end{array}} \right|}\\
{ \Rightarrow \Delta \left( {{t_0}} \right) = \left| {\begin{array}{*{20}{c}}
{{e^{{z_1}{t_0}}}}&{{e^{{z_2}{t_0}}}}\\
{{z_1}{e^{{z_1}{t_0}}}}&{{z_2}{e^{{z_2}{t_0}}}}
\end{array}} \right|}\\
\begin{array}{l}
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {{z_2} - {z_1}} \right){e^{\left( {{z_1} + {z_2}} \right){t_0}}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {\frac{{ - p + i\sqrt {4q - {p^2}} }}{2} - \frac{{ - p - i\sqrt {4q - {p^2}} }}{2}} \right){e^{\left( {\frac{{ - p + i\sqrt {4q - {p^2}} }}{2} + \frac{{ - p - i\sqrt {4q - {p^2}} }}{2}} \right){t_0}}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {i\sqrt {4q - {p^2}} } \right){e^{\left( { - 2p} \right){t_0}}} \ne 0
\end{array}
\end{array}\]故對於 Case 2,我們亦可建構線性組合
\[
\begin{array}{l}
\phi (t): = {c_1}{\phi _1}(t) + {c_2}{\phi _2}(t)\\
 \Rightarrow \phi (t) = {c_1}{e^{{z_1}{t_0}}} + {c_2}{e^{{z_2}{t_0}}}
\end{array}
\]其中 \[{z_{1,2}} = \frac{{ - p \pm i\sqrt {4q - {p^2}} }}{2}
\]此即為我們的 general solution。

對於 Case 3 ,我們陷入重根的情況,此時 $z_1 = z_2 = -p/2$,也就是說我們僅有一解
\[
\phi_1(t)  = e^{z_1t} = e^{-(p/2)t}
\] 但我們知道對於二階 ODE 要構成完整的解空間,需要兩組線性獨立解,故我們需要再找出一組解與其 $\phi_1(t)$線性獨立。故我們猜測有一待定函數 $w(t)$ 使得
\[
\phi_2(t) := e^{z_2 t} w(t) = e^{}
\]亦為對 二皆 ODE 之一解,則 $\phi_2$ 滿足
\[
\phi_2'' + p \phi_2' + q \phi_2 = 0 ,\;\;\; t \in (-\infty, \infty)
\]此表示
\[
\begin{array}{l}
{\phi _2}^{\prime \prime } + p{\phi _2}^\prime  + q{\phi _2} = 0\\
 \Rightarrow {\left( {{e^{{z_2}t}}w(t)} \right)^{\prime \prime }} + p{\left( {{e^{{z_2}t}}w(t)} \right)^\prime } + q\left( {{e^{{z_2}t}}w(t)} \right) = 0\\
 \Rightarrow \left( {{z_2}^{}w'(t) + w''\left( t \right)} \right){e^{{z_2}t}} + {z_2}{e^{{z_2}t}}\left( {{z_2}^{}w(t) + w'\left( t \right)} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + p\left( {{z_2}{e^{{z_2}t}}w(t) + w'\left( t \right){e^{{z_2}t}}} \right) + q\left( {{e^{{z_2}t}}w(t)} \right) = 0\\
 \Rightarrow \left[ {w''\left( t \right) + \left( {q - \frac{{{p^2}}}{4}} \right)w(t)} \right]{e^{ - \frac{p}{2}t}} = 0
\end{array}\]由於在 Case 3 我們知道 $p^2 = 4q$ 故上述條件退化成
\[\begin{array}{l}
\left[ {w''\left( t \right) + \underbrace {\left( {q - \frac{{{p^2}}}{4}} \right)}_{ = 0}w(t)} \right]{e^{ - \frac{p}{2}t}} = 0\\
 \Rightarrow w''\left( t \right){e^{ - \frac{p}{2}t}} = 0
\end{array}
\]但注意到 $e^{-pt/2} \neq 0$ 故我們要求 $w''(t) =0$對任意 $t \in (-\infty,\infty)$ 故我們僅需選擇 $w(t)$ 使得 $w''(t)=0$ 成立。那麼不難發現可令 $w(t)$ 為多項式形式,故我們猜測以下兩組 $w(t)$ 作為 候選:
\[
w(t) = 1 \;\;\; w(t) = t
\]但注意到若 $w(t) =1$ 則我們的解 $\phi_2(t) = e^{z_2 t} w(t) = e^{z_2 t} =\phi_1(t)$ 不符合線性獨立要求,故我們選 $w(t) = t$ 則
$$
\phi_2(t) := e^{z_2 t} w(t) =  e^{z_2 t} t = t \phi_1(t)
$$ 現在我們檢驗 Wronskian:
\[\begin{array}{l}
\Delta [{\phi _1},{\phi _2}]\left( {{t_0}} \right) = \left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}^\prime \left( {{t_0}} \right)}&{{\phi _2}^\prime \left( {{t_0}} \right)}
\end{array}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left| {\begin{array}{*{20}{c}}
{{e^{ - pt/2}}}&{t{e^{ - pt/2}}}\\
{\left( {\frac{{ - p}}{2}} \right){e^{ - pt/2}}}&{{e^{ - pt/2}} + \left( {\frac{{ - p}}{2}} \right)t{e^{ - pt/2}}}
\end{array}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {e^{ - pt/2}}\left( {{e^{ - pt/2}} + t\left( {\frac{{ - p}}{2}} \right){e^{ - pt/2}}} \right) - t{e^{ - pt/2}}\left( {\frac{{ - p}}{2}} \right){e^{ - pt/2}}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {e^{ - pt}} \ne 0
\end{array}
\]故可知\[
\phi_2(t) = t e^{-pt/2}
\]確實為另一解,且此解與先前的 $\phi_1$ 彼此線性獨立。

3/28/2016

[控制理論] 具有負實部特徵值之 LTV系統 並不保證系統穩定

考慮線性非時變 (Linear Time-Invariant, LTI)系統利用狀態空間表示:
\[
{\bf \dot x} = A {\bf x} + B {\bf u}
\] 回憶在大學部自動控制課程中,我們知道 LTI 系統穩定 的 充分必要條件 為系統矩陣 $A$ 之特徵值具有負實部 (或者等價論述為 極點 pole 落在 複數平面的左半面)。現在我們想問若 系統為 線性時變 (Linear Time-Varying, LTV)系統是否此條件依然成立?

答案是否定的,以下為一個極為出色的反例:考慮線性時變系統 ${\bf \dot x} = A(t) {\bf x} $ 其中
\[A\left( t \right): = \left[ {\begin{array}{*{20}{c}}
{ - 1}&{{e^{2t}}}\\
0&{ - 1}
\end{array}} \right]
\] 且給定初始狀態為 $x_1(0) = x_2(0)=1$ 則由於此系統 $A(t)$ 矩陣為三角矩陣,其特徵值為對角線元素,亦即 $\lambda_{1,2} = -1$,具有負實部。然而,若我們求解此 LTV 系統,亦即觀察
\[{\bf{\dot x}}\left( t \right) = \left[ {\begin{array}{*{20}{c}}
{ - 1}&{{e^{2t}}}\\
0&{ - 1}
\end{array}} \right]\left[ \begin{array}{l}
{x_1}\left( t \right)\\
{x_2}\left( t \right)
\end{array} \right] = \left[ \begin{array}{l}
 - {x_1}\left( t \right) + {e^{2t}}{x_2}\left( t \right)\\
 - {x_2}\left( t \right)
\end{array} \right]\]故我們可首先解得
\[\begin{array}{*{20}{l}}
{{{\dot x}_2}\left( t \right) =  - {x_2}\left( t \right)}\\
\begin{array}{l}
 \Rightarrow {x_2}\left( t \right) = {e^{ - t}}{x_2}\left( 0 \right)\\
 \Rightarrow {x_2}\left( t \right) = {e^{ - t}}
\end{array}
\end{array}
\]再將此 $x_2(t)$ 帶回 $\dot x_1(t)$ 式中,可求解 $x_1$ 如下
\[\begin{array}{*{20}{l}}
{{{\dot x}_1}\left( t \right) =  - {x_1}\left( t \right) + {e^{2t}}{x_2}\left( t \right)}\\
{ \Rightarrow {{\dot x}_1}\left( t \right) =  - {x_1}\left( t \right) + {e^{2t}}{e^{ - t}}}\\
{ \Rightarrow {x_1}\left( t \right) = {e^{ - t}}{x_1}\left( 0 \right) + \int_0^t {{e^{ - \left( {t - \tau } \right)}}{e^\tau }d\tau } }\\
{ \Rightarrow {x_1}\left( t \right) = {e^{ - t}} + {e^{ - \left( t \right)}}\int_0^t {{e^{2\tau }}d\tau } }\\
{ \Rightarrow {x_1}\left( t \right) = \frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}}
\end{array}\]故系統之解為
\[{{\bf{x}}\left( t \right) = \left[ \begin{array}{l}
{e^{ - t}}\\
\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}
\end{array} \right]}\]但注意到若我們計算上述之狀態的 2-norm 且取極限 $t \to \infty$ 會發現
\[\begin{array}{l}
\mathop {\lim }\limits_{t \to \infty } \left\| {{\bf{x}}\left( t \right)} \right\| = \mathop {\lim }\limits_{t \to \infty } \left\| {\left[ \begin{array}{l}
{e^{ - t}}\\
\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}
\end{array} \right]} \right\|\\
 = \mathop {\lim }\limits_{t \to \infty } {\left( {\left[ {\begin{array}{*{20}{c}}
{{e^{ - t}}}&{\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}}
\end{array}} \right]\left[ \begin{array}{l}
{e^{ - t}}\\
\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}
\end{array} \right]} \right)^{1/2}}\\
 = \mathop {\lim }\limits_{t \to \infty } {\left( {{e^{ - 2t}} + {{\left( {\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}} \right)}^2}} \right)^{1/2}} = \infty
\end{array}\]亦即系統狀態發散。

上述結果闡釋了對於 LTV 系統而言,負實部特徵值 (左半面極點) 不保證系統穩定。

3/11/2016

[凸分析] 支撐函數

以下我們給出凸分析中 常用的函數,稱作 支撐函數 (Support Function):

=====================
Definition: Support Function
令 $\mathcal{X}$ 為 $\mathbb{R}^n$ 中的任意緊緻集合 (compact set),我們稱函數 $h_{\mathcal{X}}: \mathbb{R}^n \to \mathbb{R} \bigcup \{+\infty\}$ 為 support function of $\cal X$ 若下列條件成立:對任意 $ {\bf y} \in \mathbb{R}^n$
\[
h_{\cal X}( {\bf y }) := \sup_{ {\bf x} \in \mathcal{X}} {\bf y}^T {\bf x}
\]=====================

Comments:
1. $\mathbb{R}^n$ 空間中,緊緻集合(compact set) 等價 有界封閉集 (closed and bounded set)


以下我們有一個極為重要的結果:任意集合的支撐函數 與 該集合的凸包 (convex hull) 之支撐函數相等。令 $\cal X$ 為任意集合,以下我們令 $conv( {\mathcal{X}})$ 為該集合 $\cal X$ 的凸包。對凸包定義不熟悉的讀者可先行閱讀: [凸分析] 凸集合 與 凸包 

======================
Claim:
令 $conv ({\mathcal {X}})$ 為緊緻集 $\cal X$ 的 convex hull 則
\[
h_{\cal X} ({\bf y}) = h_{conv({\mathcal{X} })} ({\bf y})
\]=====================

Proof: 
給定任意 $\bf y$$\in \mathbb{R}^n$,我們需證明 $ h_{\cal X} ({\bf y}) \le h_{conv({\mathcal{X} })} ({\bf y}) $ 與 $ h_{\cal X} ({\bf y}) \ge h_{conv({\mathcal{X} })} ({\bf y}) $

故現在我們首先證明 $ h_{\cal X} ({\bf y}) \le h_{ conv({\mathcal{X} })} ({\bf y})$ :注意到由於 $conv({\mathcal{X} }) \supset {\cal X}$ ,故
\[
\sup_{ {\bf x} \in \mathcal{X}} {\bf y}^T {\bf x} \le \sup_{ {\bf x} \in conv(\mathcal{X})} {\bf y}^T {\bf x} \;\;\;\;\;\; (*)
\]
接著我們證明 $h_{\cal X} ({\bf y}) \ge h_{ conv({\mathcal{X} })} ({\bf y}) $ :我們從不等式右方出發,首先觀察凸包中的任意點 $\bf x$ $\in conv(\mathcal{X})$ 均可被有限個 ${\bf x}^i \in \mathcal{X}$ 且 $i=1,2,...,m$  透過 convex combination 組合而得,亦即存在一組非負常數 $\lambda_{i} \ge 0$ 且 $\sum_{i=1 }^m \lambda_i =1 $,$i=1,2,...,m$ 使得
\[
{\bf x} = \sum_{i=1}^m \lambda_i {\bf x}^i
\]現在我們觀察內積 ${\bf y}^T {\bf x}$, 我們有
\[{{\bf{y}}^T}{\bf{x}} = {{\bf{y}}^T}\left( {\sum\limits_{i = 1}^m {{\lambda _i}} {{\bf{x}}^i}} \right) = \sum\limits_{i = 1}^m {{\lambda _i}} {{\bf{y}}^T}{{\bf{x}}^i}
\]且我們知道必定存在 ${\bf x}^{i^*} \in \mathcal{X}$  使得
\[\sum\limits_{i = 1}^m {{\lambda _i}} {{\bf{y}}^T}{{\bf{x}}^i} \le \sum\limits_{i = 1}^m {{\lambda _i}} {{\bf{y}}^T}{{\bf{x}}^{{i^*}}}\]由上述不等式可推得
\[\begin{array}{l}
\sum\limits_{i = 1}^m {{\lambda _i}} {{\bf{y}}^T}{{\bf{x}}^i} \le \sum\limits_{i = 1}^m {{\lambda _i}} {{\bf{y}}^T}{{\bf{x}}^{{i^*}}}\\
 \Rightarrow \sum\limits_{i = 1}^m {{\lambda _i}} {{\bf{y}}^T}{{\bf{x}}^i} \le {{\bf{y}}^T}{{\bf{x}}^{{i^*}}}\sum\limits_{i = 1}^m {{\lambda _i}}  = {{\bf{y}}^T}{{\bf{x}}^{{i^*}}} \le \mathop {\sup }\limits_{{\bf{x}} \in X} {{\bf{y}}^T}{\bf{x}} \;\;\;\; (**)
\end{array}\]故由 $(*)$ 與 $(**)$ 我們得到
\[
h_{\cal X} ({\bf y}) = h_{conv({\mathcal{X} })} ({\bf y})
\]

3/10/2016

[微分方程] 人口增長模型

考慮以下初始值問題
\[
\frac{dy}{dt} = ky - cy^2, \;\; y(0) = A \in \mathbb{R}
\]上述微分方程用以描述 具備外在競爭關係 $(-cy^2)$ 的 (人口)成長模型 $(ky)$。一般稱之為 Logistic Equation of Population Growth

Comments:
1. 上述 Logistic Equation 具備 $y' = f(y)$ 形式,其中 $f(y) := ky - cy^2$ ,亦即函數 $f$ 僅與 $y$ 有關而無直接與時間 $t$相關,我們稱此類微分方程為 autonomous equation。


現在我們開始求解 Logistic Equation

Solution:
令 $\phi(t) \neq 0$ 為上述 IVP 在某區間 $I$ 包含 $t=0$ 的解,則在此區間 $I$ 上,我們有
\[
\phi '\left( t \right) = k\phi \left( t \right) - c{\phi ^2}\left( t \right) \;\;\;\;\; (*)
\]注意到儘管上式為非線性,但其具備分離變數形式,故若
\[\begin{array}{l}
k\phi \left( t \right) - c{\phi ^2}\left( t \right) \ne 0\\
 \Rightarrow \left( {k - c\phi \left( t \right)} \right)\phi \left( t \right) \ne 0
\end{array}
\]亦即 $\phi \left( t \right) \ne 0 $ 且 ${k - c\phi \left( t \right)} \neq 0$(或者等價 $\phi(t) \neq k/c$) 則我們可以將 $(*)$ 改寫為
\[\begin{array}{l}
\phi '\left( t \right) = k\phi \left( t \right) - c{\phi ^2}\left( t \right)\\
 \Rightarrow \frac{{\phi '\left( t \right)}}{{k\phi \left( t \right) - c{\phi ^2}\left( t \right)}} = 1
\end{array}
\]對上式兩邊同積分從 $0$ 到 $t$ 可得
\[\int_0^t {\frac{{\phi '\left( s \right)}}{{k\phi \left( s \right) - c{\phi ^2}\left( s \right)}}ds}  = \underbrace {\int_0^t 1 dt}_{ = t}
\]現在令變數變換 $u:= \phi(s)$ 且使用初始條件 $\phi(0) = A$ 我們可將上述積分改寫如下
\[\begin{array}{l}
\int_A^{\phi \left( t \right)} {\frac{1}{{ku - c{u^2}}}} du = t\\
 \Rightarrow \int_A^{\phi \left( t \right)} {\frac{1}{{u\left( {k - cu} \right)}}} du = t \;\;\; (**)
\end{array}
\]注意到左式被積函數可透過部分分式展開如下
\[\frac{1}{{u\left( {k - cu} \right)}} = \frac{C}{u} + \frac{D}{{k - cu}}
\]其中 $C = 1/k$ 且 $D =c/k$ 故 $(**)$ 式子改寫為
\[\begin{array}{l}
\frac{1}{k}\int_A^{\phi \left( t \right)} {\frac{1}{u}} du + \frac{c}{k}\int_A^{\phi \left( t \right)} {\frac{1}{{k - cu}}} du = t\\
 \Rightarrow \frac{1}{k}\left( {\ln \left| {\phi \left( t \right)} \right| - \ln |A|} \right) + \left( {\frac{1}{{ - k}}} \right)\left( {\ln \left| {k - c\phi \left( t \right)} \right| - \ln \left| {k - cA} \right|} \right) = t\\
 \Rightarrow \frac{1}{k}\left( {\ln \left| {\frac{{\phi \left( t \right)}}{A}} \right|} \right) - \frac{1}{k}\left( {\ln \left| {\frac{{k - c\phi \left( t \right)}}{{k - cA}}} \right|} \right) = t\\
 \Rightarrow \frac{1}{k}\ln \left| {\frac{{\phi \left( t \right)\left( {k - cA} \right)}}{{A\left( {k - c\phi \left( t \right)} \right)}}} \right| = t
\end{array}
\]由上述結果不難求解 $\phi(t)$ 如下
\[\begin{array}{l}
\phi \left( t \right) = \frac{{kA{e^{kt}}}}{{\left( {k - cA} \right) + cA{e^{kt}}}}\\
 \Rightarrow \phi \left( t \right) = \frac{{kA}}{{\left( {k - cA} \right){e^{ - kt}} + cA}}
\end{array}\]自此我們求解完畢,讀者可自行驗證上述解 $\phi(t)$ 確實滿足 Logistic Equaiton 與初始條件。

Comments:
1. 若 $c = 0$,我們可得
\[{\left. {\phi \left( t \right)} \right|_{c = 0}} = {\left. {\frac{{kA}}{{\left( {k - cA} \right){e^{ - kt}} + cA}}} \right|_{c = 0}} = A{e^{kt}}\]亦即滿足 $y' = ky$ 之解。

2. 若 $c \neq 0$ 且 $A \neq 0$ 則我們可推得系統其中的一個穩態解
\[\mathop {\lim }\limits_{t \to \infty } \phi \left( t \right) = \mathop {\lim }\limits_{t \to \infty } \frac{{kA}}{{\left( {k - cA} \right){e^{ - kt}} + cA}} = \frac{k}{c}\]
3. 若 初始條件 $y(0) = A = 0$ 則 $\phi(t) = 0$ 為第二個穩態解

4. 一般我們稱邏輯函數 (Logistic Function) 為
\[L\left( t \right) = \frac{1}{{1 + {e^{ - t}}}}\]讀者可驗證其函數圖形具有 $S$ 形。現在注意到我們上述所求得的解 $\phi(t)$ 形式具備此邏輯函數的形式,故其 ODE
\[
\frac{dy}{dt} = ky - cy^2
\]我們稱其為 Logistic Equation (of Population Growth)

3/08/2016

[凸分析] 凸集合 與 凸包

Definition: Convex Set
我們說一個集合 $C \subset \mathbb{R}^k$ 為 凸集合 ( convex set )若下列條件成立:
給定任意 $c^1, c^2 \in C$ 且 $\lambda \in [0,1]$ 則 $\lambda c^1 + (1-\lambda)c^2 \in C$


另外我們稱 $\lambda c^1 + (1-\lambda)c^2 $ 為 $c^1, c^2$ 所成的凸組合 ( convex combination )

Comments:
1. 事實上 凸組合 即為 線性組合(linear combination) 但係數必須為非負,且係數之合必須為 $1$
2. 上述集合 $C$ 可為向量空間。
3. 上述集合 $C$ 若為空集合,亦即 $C = \emptyset$ 則 $C$ 視為 convex set 。
4.  一般而言,凸組合可推廣至如下定義:我們稱 $c^1,...,c^m$ 的凸組合為
\[
\lambda_1 c^1 + ... + \lambda_m c^m
\]其中 $\lambda_1 + ... + \lambda_m = 1$。在應用數學中,我們可將 $\lambda_i$ 視為 機率 或者某向量 $c^i $ 佔整體的成分比率。


Example:
1. $\mathbb{R}^n$ 空間為 convex set
2. 過點 $x_0 \in \mathbb{R}^n$,延方向 $d \in \mathbb{R}^n$ 的直線
\[
l := \{x \in \mathbb{R}^n: x = x_0 + t d, \;\; t \in \mathbb{R}\}
\]

以下為  convex set 的一些基本但常用的性質

=================
Proposition: 令 $V$ 為向量空間,且 $K$ 與 $G$ 為 $V$ 上的兩 convex sets,則
1. 對任意 $\alpha \in \mathbb{R}$ , $\alpha K := \{x: x=\alpha k, k\in K\}$ 為 convex set。
2. $K+G$ 為 convex set,其中
\[
K+G := \{k+g: k \in K, g\in G\}
\]=================

Proof: 1: 給定 $\alpha \in \mathbb{R}$,欲證 $\alpha K$ 為 convex,故令 $x_1, x_2 \in \alpha K$ 且 $\lambda \in [0,1]$,則存在 $k_1, k_2 \in K$ 我們有 $x_1 = \alpha k_1$ 與 $x_2 = \alpha k_2$,故我們僅需證明
\[
\lambda  x_1 + (1-\lambda ) x_2 \in \alpha K
\] 現在觀察
\[\begin{array}{l}
\lambda {x_1} + (1 - \lambda ){x_2} = \lambda \alpha {k_1} + (1 - \lambda )\alpha {k_2}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \alpha \left( {\lambda {k_1} + (1 - \lambda ){k_2}} \right)
\end{array}
\]由於 $k_1, k_2 \in K$ 且 $K$ 為 convex 故
\[\alpha \left( {\lambda {k_1} + (1 - \lambda ){k_2}} \right) \in \alpha K
\]

Proof: 2: 令 $C:= K+G$,現在我們欲證 $C $ 為 convex,故令 $x_1, x_2 \in C$ 且 $\lambda \in [0,1]$,則存在 $k_1, k_2 \in K$ 與 $g_1, g_2 \in G$ 使得我們有 $x_1 =k_1+g_1$ 與 $x_2 = k_2 + g_2$,故我們僅需證明
\[
\lambda  x_1 + (1-\lambda ) x_2 \in Z
\] 現在觀察
\[\begin{array}{l}
\lambda {x_1} + (1 - \lambda ){x_2} = \lambda \left( {{k_1} + {g_1}} \right) + (1 - \lambda )\left( {{k_2} + {g_2}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \left( {\lambda {k_1} + (1 - \lambda ){k_2}} \right) + \left( {\lambda {g_1} + (1 - \lambda ){g_2}} \right)
\end{array}\]由於 $k_1, k_2 \in K$ 且 $g_1, g_2 \in G$ 且 $K,G$ 為 convex 故
\[\left( {\lambda {k_1} + (1 - \lambda ){k_2}} \right) + \left( {\lambda {g_1} + (1 - \lambda ){g_2}} \right) \in Z = G+K\;\;\;\; \square
\]

Proposition: 令 $\cal C$ 為任意 convex sets 所成的集合,則對其中任意的 convex sets 取任意交集 \[
\bigcap_{K \in \mathcal{C}} K
\]仍為 convex

Proof: 令 $C:= \bigcap_{K \in \mathcal{C} } K$。若 $C = \emptyset$ 則上述 Proposition 自動滿足。

若 $C \neq \emptyset$ 則我們要證明 $ C = \bigcap_{K \in \mathcal{C}} K $ 為 convex,故令 $x_1, x_2 \in C$ 且 $\lambda \in [0,1]$,則對任意 $K \in \mathcal{C}$,我們可知 $x_1, x_2 \in K$ 。且由於 $K$ 為 convex, 故對任意  $K \in \mathcal{C}$ 而言,我們有
\[
\lambda x_1 + (1- \lambda)x_2 \in K
\]由上述結果我們可立即推知 $\lambda x_1 + (1- \lambda)x_2 \in C$,也就是說 $C$ 為 convex。$\square$


Definition: Half-Spaces
給定任意非零向量 $b \in \mathbb{R}^n$ 且 任意常數 $\beta \in \mathbb{R}^1$,我們稱
\[
\{ x : x^T b \le \beta\};\;\;\;\; \{ x : x^T b \ge \beta\}
\]為 閉 半空間 (Closed Half-Spaces)。同理我們稱
\[
\{ x: x^T b <\beta \};\;\;\;\; \{ x: x^T b >\beta\}
\]為 開半空間 (Closed Half-Spaces)。

FACT: 半空間為 convex set。
Proof: omitted


Theorem: 
令 $b_i \in \mathbb{R}^n$ 且 $\beta_i \in \mathbb{R}^1$ 對 $i \in I$ 其中 $I$ 為任意 index set。則
\[
C :=\{ x \in \mathbb{R}^n : x^T b_i \le \beta_i, \;\; \forall \; i \in I\}
\]為 convex

上述定理對所有不等式與等式 $\leq, \geq, >, <, =$皆成立,故我們可推論具有 $n$ 變數的 任意線性不等式所構成的集合皆為 convex set。



有了上述結果,我們可以進一步介紹所謂的凸包 (Convex Hull):

=================
Definition: Convex Hull
給定集合 $C \subset \mathbb{R}^k$ ,則我們稱此集合的 凸包 (convex hull),記作 $conv (C)$,為包含集合 $C$ 的最小 convex set ,亦即若 $\cal C^+$ 為所有包含 $C$ 的 convex set 所成的集合,則
\[
conv (C) := \bigcap_{C^+ \in \mathcal{C^+}} C^+
\]=================

Comments:
1. 若上述定義中給定的集合 $C$ 已經為 convex set 則 $conv C = C$
2. $conv (C) \supset C$
3. 給定有限點 $p^1,p^2,...,p^m$,則其所成的集合 $\{p^1,p^2,...,p^m\}$ 可用來產生凸包,寫作 $conv\{p^i\}$ 且 $\{p^1,p^2,...,p^m\}$ 稱為 set of generators
4. 上述 convex hull 可以透過給定 set of generators $\{p^1,p^2,...,p^m\}$,用 MATLAB 指令 convhull 來產生,以下我們引用 MATLAB 程式碼透過隨機產生一組 $\{p_1, ..., p_{20}\}$ 並利用此 20個點 來長出 convex hull

MATLAB CODE:
x = rand(20,1);
    y = rand(20,1);
    plot(x,y, 'o');
    k = convhull(x,y)
    hold on, plot(x(k), y(k), '-r')

執行之後結果如下圖
Convex Hull Example


接著我們介紹 Polytopes 與 Polygons

Definition: Polytope
集合 $P \subset \mathbb{R}^k$ 稱為一個 polytope 若
1. $P$ 為 透過有限點 $\{p^1,p^2,...,p^m\}$ 所產生的 convex hull,亦即
\[
P := conv\{p^i\}
\]
下圖顯示了在 $\mathbb{R}^2$ 空間中的 Polytope 的例子

Comments:
1. 在 $\mathbb{R}^2$ 空間中的 polytope,在數學上另外給一個名字稱其為 (convex) polygon
2. 由 Polytope 定義可知, Polytope 與 Convex Polygon 皆為 convex set


極限點
令 $P = conv\{p^i\} $ 為 $\mathbb{R}^k$ 中的 polytope,則我們稱點 $p \in P$ 為 $P$中的一個極限點 (extreme point) 若下列條件成立:
如果 $p$ 無法被其他 $P$ 中相異的點用 convex combination 表示。


Comments:
1. 由上述極限點定義可知,對任意 polytope $P$而言,給定set of generators $\{p^i\}$ $i=1,2.,...,m$ 則 $P$ 極限點所成的集合必為 set of generators 的子集
2. 極限點所成的集合稱為 minimal generating set。
3. 在線性規劃問題中, Polytope 多半透過有限多組線性不等式 $A{\bf  x} \le {\bf b}$ 表示。


給定 Polytope $P=conv\{p^1, p^2,...,p^m\}$ 則任意點 $p \in P$ 都可透過 $p^i$ 用 convex combination 表示,亦即存在實數 $\lambda_1,\lambda_2,...,\lambda_m \ge 0$ 使得 $\sum_{i=1}^m \lambda_i =1$ 與
\[
p = \sum_{i=1}^m \lambda_i p^i
\]


Definition: Unit Simplex

\[
\Lambda := \left \{\lambda  \in {\mathbb{R}^m}:{\lambda _i} \ge 0,\;\; i = 1,2,...,m,\;\;\sum\limits_{i = 1}^m {{\lambda _i} = 1}\right \}\]


Theorem: Cartheodory's Theorem
令 $P$ 為 $\mathbb{R}^k$ 中的 polytope,則其中任意一點 $p \in P \subset \mathbb{R}^k$皆可透過最多 $k+1$ 個 extreme point 用 convex combination 表示。


[最佳化] C^2 函數一階逼近的餘項積分表示

令 $f: \mathbb{R}^m \to \mathbb{R}$ 為 $C^2$-函數。對 $f$ 在 $y$ 附近使用一階泰勒展開: \[ T_y(x) := f(y) + \nabla f(y)^\top (x - y) \] 則其餘項 $R(x,y)$ 訂為 $$R(...