[隨筆] 台北經驗-捷運

台北經驗-捷運 現代詩 - 謝宗翰

夕陽 依戀著黃昏的彩霞

在西下之前 奮力透出 最後幾縷微光

萬紫千紅的霓虹街景，悄悄的 隨後跟上

沾染了這座不眠城市，讓 它 看起來更顯嬌媚與瘋狂

形形色色的人們，佇足在擁擠的車廂

我斜靠在車門旁，看著他們。

想知道

它們手中 提著的，身上 背著的，

以及 心中藏著的 一整天的份量。

會有多少的感動? 或者多少的失望?

轉眼兒，催促人們到站的提示聲一再播放，

原本的熙熙攘攘，轉眼間 車廂，隨之空蕩

我瞇起眼，看著人們，最後會走向何方?

想問問

這麼多迷濛又錯綜的步伐，

是否還有誰能記得，各自最初想走的夢想?

[線性系統] 淺談動態系統的可控制性(2)

延續前篇，考慮 $n$ 維度 $p$ 組輸入的狀態方程

\[{\bf{\dot x}} = {\bf{Ax}} + {\bf{Bu}}\]由於輸出方程與控制性無關在此我們僅討論狀態方程。

我們先回憶 系統狀態可控制的定義
=====================
Definition: (Controllability for LTI system)
我們稱狀態方程
\[
{\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right) + {\bf{Bu}}\left( t \right)
\] 或者一組 $\left( {{\bf{A,B}}} \right)$ 為在時刻 $t_0$ 可控制(controllable)，若下列條件成立:
對任意初始狀態 ${\bf{x}}\left( 0 \right) = {\bf x}_0$ 與 終止狀態 ${\bf x}_1$，存在 一組輸入訊號 ${\bf u}(t)$ 使得可以在 有限時間 內將 ${{\bf{x}}_0}$ 送至 ${{\bf{x}}_1}$。反之我們稱此 $\left( {{\bf{A,B}}} \right)$ 不可控制 (uncontrollable)。
======================

Comment:
注意!! 上述的可控性定義並 "無" 限制 控制力大小。

現在我們給出 控制性 有關的結果整合在下面

=========================

Theorem: Controllability equivalence statements

下列 4個 陳述完全等價(if and only if)：

1. $n$維度的 pair $(\bf{A,B})$ 為 controllable

2. 對任意 $t>0$，$n \times n$ 的矩陣

\[{{\bf{W}}_C}(t): = \int_{\rm{0}}^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{{\bf{A}}^T}\left( {t - \tau } \right)}}} d\tau \]為 nonsingular。

3. $n \times np$ 的控制性矩陣 controllability matrix

\[C: = \left[ {\begin{array}{*{20}{c}}
{\bf{B}}&{{\bf{AB}}}&{{{\bf{A}}^2}{\bf{B}}}& \cdots &{{{\bf{A}}^{n - 1}}{\bf{B}}}
\end{array}} \right]\]為 full rank (rank $=n$)

4. 若 $A$ 矩陣 所有的 eigenvalue 皆具有 負實部，則下列 Lyapunov equation

\[{\bf{A}}{{\bf{W}}_C} + {{\bf{W}}_C}{{\bf{A}}^T} =  - {\bf{B}}{{\bf{B}}^T}\]有唯一解 

\[{{\bf{W}}_C}: = \int_{\rm{0}}^\infty  {{e^{{\bf{A}}\tau }}{\bf{B}}{{\bf{B}}^T}{e^{{{\bf{A}}^T}\tau }}} d\tau \]且為 正定矩陣 (positive definite matrix)。

=========================

Proof: $ (1) \Leftrightarrow (2)$

我們先證 $(2) \Rightarrow (1)$ 亦即假設對任意 $t>0$，$n \times n$ 的矩陣

\[{{\bf{W}}_C}(t): = \int_{\rm{0}}^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{{\bf{A}}^T}\left( {t - \tau } \right)}}} d\tau \]為 nonsingular。我們要證明 $(\bf{A,B})$ 為 controllable。

由 controllable 定義，我們給定任意初始狀態 ${\bf{x}}\left( 0 \right) = {{\bf{x}}_0}$ 與 任意終端狀態 ${\bf{x}}\left( {{t_1}} \right) = {{\bf{x}}_1}$，需找出一個控制力 $\bf u$ 使得在有限時間 $t_1$ 內 使 ${{\bf{x}}_0}$ 移動到 ${{\bf{x}}_1}$。

故現在回憶對於 ${\bf{\dot x}} = {\bf{Ax}} + {\bf{Bu}}$ 其 在 時刻$t_1$ 對應的解為
\[{\bf{x}}\left( {{t_1}} \right) = {e^{{\bf{A}}{t_1}}}{\bf{x}}\left( 0 \right) + \int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } \]現在我們令控制力為
\[{\bf{u}}\left( t \right): =  - {{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{{\bf{W}}_C}^{ - 1}\left( {{t_1}} \right)\left[ {{e^{{\bf{A}}\left( {{t_1}} \right)}}{{\bf{x}}_0} - {{\bf{x}}_1}} \right]
\]由於我們假設 ${ = {{\bf{W}}_C}\left( {{t_1}} \right)}$ 為 nonsingular，反矩陣存在!。現在我們代入 $(*)$ 可得
\[\begin{array}{*{20}{l}}
{{\bf{x}}\left( {{t_1}} \right) = {e^{{\bf{A}}{t_1}}}{{\bf{x}}_0} - \int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{{\bf{A}}^T}\left( {{t_1} - \tau } \right)}}{{\bf{W}}_C}^{ - 1}\left( {{t_1}} \right)\left[ {{e^{{\bf{A}}\left( {{t_1}} \right)}}{{\bf{x}}_0} - {{\bf{x}}_1}} \right]d\tau } }\\
{ \Rightarrow {\bf{x}}\left( {{t_1}} \right) = {e^{{\bf{A}}{t_1}}}{{\bf{x}}_0} - \underbrace {\left[ {\int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{{\bf{A}}^T}\left( {{t_1} - \tau } \right)}}d\tau } } \right]}_{ = {{\bf{W}}_C}\left( {{t_1}} \right)}{{\bf{W}}_C}^{ - 1}\left( {{t_1}} \right)\left[ {{e^{{\bf{A}}\left( {{t_1}} \right)}}{{\bf{x}}_0} - {{\bf{x}}_1}} \right]}\\
{ \Rightarrow {\bf{x}}\left( {{t_1}} \right) = {{\bf{x}}_1}}
\end{array}\]亦即此 $\bf u$ 確實幫我們把 ${{\bf{x}}_0}$ 移動到 ${{\bf{x}}_1}$。

接著我們證明 $(1) \Rightarrow (2)$。
利用歸謬法，假設 $(\bf{A,B})$ 為 controllable 且我們讓 ${{{\bf{W}}_C}\left( {{t_1}} \right)}$ 為 singular。故可知存在一向量 $v$ 使得
\[{{\bf{W}}_C}\left( {{t_1}} \right)v ={ \bf 0}
\]對上式等號兩邊同乘 $v^T$ 得到 ${{{\bf{W}}_C}\left( {{t_1}} \right)}$的二次式：
\[\begin{array}{l}
{v^T}{{\bf{W}}_C}\left( {{t_1}} \right)v = 0\\
 \Rightarrow {v^T}\left( {\int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}d\tau } } \right)v = 0\\
 \Rightarrow \int_0^{{t_1}} {{v^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}vd\tau }  = 0\\
 \Rightarrow \int_0^{{t_1}} {{{\left( {{{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}v} \right)}^T}\left( {{{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}v} \right)d\tau }  = 0\\
 \Rightarrow \int_0^{{t_1}} {\left\| {{{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}v} \right\|_2^2d\tau }  = 0\\
 \Rightarrow {{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}v = \bf{0}
\end{array}\]上式對任意 $\tau \in [0, t_1] $ 都成立。

現在由於 我們已假設  $(\bf{A,B})$ 為 controllable ，故由可控制性的定義可知：給定任意初始狀態 ${\bf{x}}\left( 0 \right) = {{\bf{x}}_0}$ 與 任意終端狀態 ${\bf{x}}\left( {{t_1}} \right) = {{\bf{x}}_1}$，必存在一組控制力 $\bf u$ 使得在有限時間 $t_1$ 內 使 ${{\bf{x}}_0}$ 移動到 ${{\bf{x}}_1}$。

故現在我們給定初始狀態為 ${{\bf{x}}_0}: = {e^{ - {\bf{A}}{t_1}}}v$ 且 ${{\bf{x}}_1} := \bf{0}$ 則由狀態空間的解可知
\[\begin{array}{*{20}{l}}
{{\bf{x}}\left( {{t_1}} \right) = {e^{{\bf{A}}{t_1}}}{\bf{x}}\left( 0 \right) + \int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } }\\
{ \Rightarrow {\bf{0}} = v + \int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } }
\end{array}\]對上式兩邊同乘 $v^T$ 可得
\[0 = {v^T}v + \int_0^{{t_1}} {{v^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau }  \ \ \ \ (\star)
\]由於先前我們已知 ${{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}v = {\bf{0}} \Leftrightarrow {v^T}{e^{{{\bf{A}}^T}\left( {{t_1} - \tau } \right)}}{\bf{B}} = {\bf{0}}$ ，故 $(\star)$ 變成
\[\begin{array}{*{20}{l}}
{0 = {v^T}v + \underbrace {\int_0^{{t_1}} {{v^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } }_{ = 0}}\\
{ \Rightarrow 0 = \left\| v \right\| \Leftrightarrow v = 0}
\end{array}\]上式結果 $v =0$ 與 ${{{\bf{W}}_C}\left( {{t_1}} \right)}$ 的 singularity 矛盾 ( 因為 Singularity 告訴我們 必定存在一組 "非零" 向量 $v$ 使得 ${{{\bf{W}}_C}\left( {{t_1}} \right)}v=0$)。$\square$

[分享]從事學問的目的是甚麼?

從事學問的目的是甚麼?我完全認同本日(092011)劉校長說的下面這句話

從事學問並不是為了得獎或發表論文，而是為了探索新知識、新技術及對社會有所貢獻，讓自己從中得到快樂，才能在漫長求知過程中，有源源不斷的動力。-清大前校長、現任蒙民偉榮譽講座教授 劉炯朗，

===================================
是的，研究人員應追求學問，探索新知識，不是為了發表論文。是要讓自己開心有動力做研究，探究學術之美不是為了升等或得獎。希望自己也能把這些話謹記在心 :)

[數學分析] 逐點收斂與均勻收斂(4) - Uniform boundedness and Equicontinuity

回憶對於 實數sequence 而言，我們有以下結果：
=================
Theorem: Convergence of Real Numbers 
1. 若 $\{p_n \}$ 為一個在 compact metric space $X$ 的實數 sequence，則存在一 subsequence $\{p_{n_i}\}$ 在 $X$ 上收斂。

2. (Bolzano-Weierstrass Theorem) 任意 $\mathbb{R}^k$ 中有界 sequences 都必有收斂 subsequence。
=================

那麼現在我們想問，如果是 函數 sequence 是否有類似結果可以使用?
Q1. 任意 收斂函數sequence 是否都有均勻收斂 sequence ?
Q2. 如果我們有一組 "有界" 的 函數 sequence，那麼是否此組有界函數 sequence 仍有 收斂 subsequence? 如果有? 是甚麼樣的收斂(逐點? or 均勻?) 如果沒有? 我們該怎麼修正。

讀者可以發現我們想要 模仿 實數sequence 的 Bolzano-Weierstrass theorem 到 函數 sequence 中，故第一個問題便是甚麼叫做 "有界" 的函數sequence ? 故以下我們給出 有界函數sequence (bounded function sequences)的定義 ：

=======================
Definition: ( Boundedness of Sequence of Function)
令 $\{f_n \}$ 為定義在 $E \subset X$ 上函數 sequence。
我們說 $\{f_n \}$ 為在 $E$ 上逐點有界(pointwise bounded)  若下列條件成立：
存在一個有限值域函數 $\phi(x)>0$ 使得 對任意 $x\in E$ 與 對 $n=1,2,3,...$，\[
|f_n(x)|< \phi(x)
\]
我們說 $\{f_n \}$ 為在 $E$ 上均勻有界(uniformly bounded)  若下列條件成立：
存在一個(夠大的)數字 $M\in \mathbb{R}$ 使得 對任意 $x\in E$ 與 $n=1,2,3,...$，\[
|f_n(x)|<M
\]=======================

現在看個例子

Example 1

令 $x \in [0,1]$ 且 $n \in \mathbb{N}$，定義函數sequence

\[ f_n(x) = \frac{x^2}{x^2 +(1 - nx)^2} \]試問 

1. 此函數sequence 是否均勻有界?

2. 此函數 sequence 是否收斂? 是否均勻收斂?

3. 此函數 sequence 是否具有均勻收斂 subsequence $\{f_{n_k} \}$?

Solution

1. 給定 $x\in [0,1]$ 觀察

\[\left| {{f_n}(x)} \right| = \left| {\frac{{{x^2}}}{{{x^2} + {{\left( {1 - nx} \right)}^2}}}} \right| \le 1\]故選 $M=1$ $\{f_n\}$ 在 $[0,1] $均勻有界。

2. 現在檢驗收斂性

\[\mathop {\lim }\limits_{n \to \infty } {f_n}(x) = \mathop {\lim }\limits_{n \to \infty } \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}} = \mathop {\lim }\limits_{n \to \infty } \frac{1}{{1 + {n^2}}} = 0
\] 但若我們檢驗 supnorm可發現
\[\left\| {{f_n}(x) - 0} \right\| = \mathop {\sup }\limits_{x \in [0,1]} \left| {\frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}} \right| = 1 \ne 0
\]故此函數不均勻收斂。

3. 令子數列如下
\[{f_{{n_k}}}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - {n_k}x)}^2}}}
\]現在觀察若 $x = \frac{1}{{{n_k}}}$ 則
\[{f_{{n_k}}}\left( {\frac{1}{{{n_k}}}} \right) = \frac{{{x^2}}}{{{x^2}}} = 1
\]故在 $[0,1]$ 上 無均勻收斂的 subsequence；亦即如果我們選 $\varepsilon = 1/2 >0$  則 對所有的 $N>0$，$n_k >N$ 存在一個 $x = \frac{1}{n_k} \in [0,1]$ 使得
\[\left| {{f_{{n_k(x)}}} - f(x)} \right| = \left| 1 - 0 \right| =1 \ge 1/2
\]

現在我們看個比連續以及均勻連續更強的定義，此定義可以幫我們連結均勻收斂 等相關概念
======================
Definition: Equicontinuity
令 $\mathcal{F}$ 為在 $E \subset X$上的 函數 $f$ 的 family，我們說此 family $\mathcal{F}$ 為 等度連續 (equicontinuous) on $E$ 若下列條件成立
對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對任意 $x,y \in E, f \in \mathcal{F}$
\[
d(x,y) < \delta \Rightarrow |f(x) - f(y)| < \varepsilon
\]======================

Comment: 
sequence of functions $f_n$ 可以看成是一個 函數 的 family $\mathcal{F}$，$f_n \in \mathcal{F} \;\; \forall n$。

如前例

Example 2

令 $x \in [0,1]$ 且 $n \in \mathbb{N}$，定義函數sequence

\[{f_n}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}
\]試問 $f_n$ 是否為 equicontinuous?

Solution
令 $x,y \in [0,1]$，觀察
\[\left| {{f_n}\left( x \right) - {f_n}\left( y \right)} \right| = \left| {\frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}} - \frac{{{y^2}}}{{{y^2} + {{(1 - ny)}^2}}}} \right| \ \ \ \ (*)
\]若我們取 $x = 1/n$ 與 $y = 2/n$ 滿足則當 $n \rightarrow \infty$ 我們有 $d(x,y) \rightarrow 0$；但若將上述 $x,y$兩點代入 $(*)$
\[\left| {{f_n}\left( {\frac{1}{n}} \right) - {f_n}\left( {\frac{2}{n}} \right)} \right| = \left| {1 - \frac{{\frac{4}{{{n^2}}}}}{{\frac{4}{{{n^2}}} + 1}}} \right| = \left| {\frac{{{n^2}}}{{4 + {n^2}}}} \right| \rightarrow 1\]亦即 無論 $n$ 多大 $|f_n(x) - f_n(y)|$之差都不會到 $0$。故並非 equicontinuous。$\square$


Example 3
令 $K \subset \mathbb{R}$ 為 compact ，且對任意 $R \in \mathbb{R}$ 滿足 $R<\infty$ 定義
\[
B_R:=\{f \in C(K): |f(x) - f(y)| < R|x-y|\}
\] 試證 上述集合 $B_R$ 為 equicontinuous。

Proof:
給定 $f \in B_R$，我們要證明 $f$ 為 uniform continuous  亦即 $\varepsilon >0$，存在 $\delta >0$ 使得 $u,v \in K$，$|u-v|<\delta \Rightarrow |f(u) - f(v)| <\varepsilon$。注意到 $f \in B_R$ 故 $|f(u) - f(v)| < R|u-v|$ 現在選 $\delta := \varepsilon /2R$ 則
\[|f(u) - f(v)| < R|u - v| = R\frac{\varepsilon }{{2R}} < \varepsilon
\]

接著我們介紹等度連續的判斷定理：

=======================
令 $\{f_n\}$ 為函數 sequence
Theorem: 
若 $K$ 為 compact metric space 且 $f_n \in \cal{C}(K)$ 且 $\{f_n\}$ 在 $K$上均勻收斂，則
$f_n$ 在 $K$ 上等度連續。
=======================
Proof: omitted.

現在回頭再看看剛剛的例子

Example 

令 $x \in [0,1]$ 且 $n \in \mathbb{N}$，定義函數sequence

\[{f_n}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}
\]試問 $f_n$ 是否為 equicontinuous?

我們發現主因是 

\[{f_n}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}
\]並未在 $K$ 上均勻收斂，故並非等度連續!!



現在我們可以回答在文章開始時的問題：
在甚麼條件下，一組函數 Sequence 可以具有 均勻收斂的 subsequence?

=============================
Theorem: Sufficient Condition for Existence of Uniform Convergent Subsequence
若 $K$ 為 compact set，$\{f_n\}$ 為有界連續函數 sequence ( $ f_n \in \mathcal{C}(K),\;\; \forall n\in \mathbb{N}$) 且 $f_n$ 為 pointwise bounded 與 equicontinuous on $K$ 則
1. $\{f_n\}$ 為 uniformly bounded on $K$
2. $\{f_n\}$ 具有均勻收斂 subsequence
============================
Proof: omitted.


以下我們看個例子說明我們確實需要 $f_n$ pointwise bounded

Example 4
同 Example 3，令 $K \subset \mathbb{R}$ 為 compact ，且對任意 $R \in \mathbb{R}$ 滿足 $R<\infty$ 定義
\[
B_R:=\{f \in C(K): |f(x) - f(y)| < R|x-y|\}
\] 試問 sequence $\{f_n\} \subset B_R$ 是否有 convergent subsequence?

Proof:
注意到儘管 $K$ 為 compact，且 $B_R$ 為 equicontinuous，但是 $\{f_n\}$ 不一定為 pointwise bounded，比如說若選 $f_n(x) := r x + n$  ($0 < r < R$ ) 則 $f_n \in B_R$ 因為
\[|{f_n}(x) - {f_n}(y)| = |rx + n - ry - n| = r|x - y| < R|x - y|\]
但是 讀者可察覺 $f_n(x)$ 並無 pointwise bounded。(事實上 $f_n(x) \to \infty$)

[系統理論] 連續時間週期訊號的 Fourier Series Representation (2) - Coefficients determination

延續前篇，回憶 對於 週期訊號 $x(t)$ 我們可寫下其對應的 Fourier Series Representation 如下
\[
x(t) = \sum_{k=-\infty}^{\infty} a_k e^{j k \omega_0 t}
\] 其中 $\omega_0$ 為週期訊號的基本頻率 (fundamental frequency)。$a_k$ 稱為 Fourier Series 的係數。之前我們已經討論過 給定 Fourier Series 係數，我們可以重建週期 $x(t)$，現在我們專注 在 給定 週期訊號 $x(t)$，如何反求 Fourier Series 的係數。

如前所述，現在給定 平滑(smooth)有界 週期訊號 $x(t)$ 且假設其可以寫下對應的 Fourier Series Representation：
 \[
x(t) = \sum_{k=-\infty}^{\infty} a_k e^{j k \omega_0 t}
\] 對兩邊同乘 $e^{-j n \omega_0 t}, \; n \in \mathbb{Z}$  可得
\[x(t){e^{ - jn{\omega _0}t}} = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}{e^{ - jn{\omega _0}t}}}
\]接著在對等式兩邊同積分從$0$ 積到 $x(t)$ 的基本週期(fundamental period) $T$ $(T=2\pi/\omega_0)$，亦即
\[\begin{array}{l}
\int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt = \int_0^T {\sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}{e^{ - jn{\omega _0}t}}} } dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {{a_k}\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}} } dt \ \ \ \ (*)
\end{array}\]注意到上述運算中要求積分與無窮級數順序互換，此運算需要較為嚴謹的數學討論，但在此我們僅僅指出若 訊號為有界平滑函數(無窮階導數存在)，且僅有有限個不連續跳點，則上述積分與無窮級數順序互換之運算成立。另外我們注意到上式中的積分部分可利用 Euler formula： $e^{j \omega t} = \cos \omega t + j \sin \omega t$可得
\[\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}dt}  = \int_0^T {\cos \left( {\left( {k - n} \right){\omega _0}t} \right)dt}  + j\int_0^T {\sin \left( {\left( {k - n} \right){\omega _0}t} \right)dt} \]觀察上式，當 $k =n$ 時，我們可計算積分值，但當 $k \neq n$時，對 $\sin, \cos$ 一個週期的積分值為 $0$，也就是說
\[\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}dt}  = \left\{ \begin{array}{l}
T,\begin{array}{*{20}{c}}
{}
\end{array}k = n\\
0,\begin{array}{*{20}{c}}
{}
\end{array}k \ne n
\end{array} \right.
\]故 $(*)$ 可改寫為
\[\begin{array}{l}
\int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt = \sum\limits_{k =  - \infty }^\infty  {{a_k}\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}dt} } \\
 \Rightarrow \int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt = {a_n}T\\
 \Rightarrow {a_n} = \frac{1}{T}\int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt \ \ \ \ (\star)
\end{array}
\]故若訊號 $x(t)$ 具有 Fourier Series Representation (亦即，可以被表示成 諧波相關 complex exponentials 的線性組合)，則 Fourier Series 的係數由上式 $(\star)$給出。

我們可以給一個總結如下：
對於連續時間 週期訊號 $x(t)$ 若 Fourier Series Representation存在：則下列的對偶關係式成立
\[\left\{ \begin{array}{l}
x(t) = \sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}}\\
{a_k} = \frac{1}{T}\int_T^{} {x(t){e^{ - jk{\omega _0}t}}} dt
\end{array} \right.
\]上述的 Fourier Series 係數 $a_k$ 是用來 measure 週期訊號 $x(t)$ 中 每一次諧波分量的成分大小。另外 $a_0$ 表示 直流(DC) 分量，亦即讓 $k=0$，則 $a_k$式 $(\star)$ 變成
\[{a_0} = \frac{1}{T}\int_T^{} {x(t)} dt\]

現在我們看個例子:

Example
令
\[x\left( t \right) = 1 + \sin {\omega _0}t + 2\cos {\omega _0}t + \cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right)
\]試求 Fourier Series 係數 $a_k$

Solution
注意到 $x(t)$ 的最後一項 $\cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right)$ 可用 三角函數和差化積得到
\[\begin{array}{l}
\cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right) = \cos \left( {2{\omega _0}t} \right)\cos \left( {\frac{\pi }{4}} \right) + \sin \left( {2{\omega _0}t} \right)\sin \left( {\frac{\pi }{4}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \cos \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }} + \sin \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }}
\end{array}
\]故 $x(t)$ 變為
\[ \Rightarrow x\left( t \right) = 1 + \sin {\omega _0}t + 2\cos {\omega _0}t + \cos \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }} + \sin \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }}
\]利用 Fourier Series 定義，我們首先將其改寫為 complex exponential 的線性組合，利用 Euler formula，我們可得
\[\begin{array}{l}
x\left( t \right) = 1 + \frac{1}{{2j}}\left( {{e^{j{\omega _0}t}} - {e^{ - j{\omega _0}t}}} \right) + \left( {{e^{j{\omega _0}t}} + {e^{ - j{\omega _0}t}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} + \frac{1}{{2\sqrt 2 }}\left( {{e^{j\left( {2{\omega _0}t} \right)}} + {e^{ - j\left( {2{\omega _0}t} \right)}}} \right) + \frac{1}{{j2\sqrt 2 }}\left( {{e^{j\left( {2{\omega _0}t} \right)}} - {e^{ - j\left( {2{\omega _0}t} \right)}}} \right)
\end{array}
\]整理上式得到
\[\begin{array}{l}
x\left( t \right) = \underbrace 1_{{a_0}} + \underbrace {\left( {1 + \frac{1}{{2j}}} \right)}_{{a_1}}{e^{j{\omega _0}t}} + \underbrace {\left( {1 - \frac{1}{{2j}}} \right)}_{{a_{ - 1}}}{e^{ - j{\omega _0}t}}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} + \underbrace {\frac{{\sqrt 2 }}{4}\left( {1 + \frac{1}{j}} \right)}_{{a_2}}{e^{j\left( {2{\omega _0}t} \right)}} + \underbrace {\frac{{\sqrt 2 }}{4}\left( {1 - \frac{1}{j}} \right)}_{{a_{ - 2}}}{e^{ - j\left( {2{\omega _0}t} \right)}} \ \ \ \ \square
\end{array}\]

Example 2: Sinc function
考慮週期方波如下圖所示

試求其 Fourier Series coefficients $a_k$：
Solution
首先判斷上式週期訊號 $x(t)$ 的週期為 $T$。
利用 $(\star)$ 我們可先計算 $a_0$
\[\begin{array}{*{20}{l}}
{{a_0} = \frac{1}{T}\int_T^{} {x(t)} dt}\\
{ \Rightarrow {a_0} = \frac{1}{T}\int_{ - T/2}^{T/2} {x(t)} dt = \frac{1}{T}\int_{ - {T_1}}^{{T_1}} 1 dt = \frac{{2{T_1}}}{T}}
\end{array}\]接著計算 $a_k$
\[\begin{array}{*{20}{l}}
{{a_k} = \frac{1}{T}\int_T^{} {x(t){e^{ - jk{\omega _0}t}}} dt}\\
{ \Rightarrow {a_k} = \frac{1}{T}\int_{ - {T_1}}^{{T_1}} {{e^{ - jk{\omega _0}t}}} dt = \frac{1}{{jk{\omega _0}T}}\left( {{e^{jk{\omega _0}{T_1}}} - {e^{ - jk{\omega _0}{T_1}}}} \right)}\\
{\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{2}{{k{\omega _0}T}}\left( {\frac{{{e^{jk{\omega _0}{T_1}}} - {e^{ - jk{\omega _0}{T_1}}}}}{{2j}}} \right) = \frac{{2\sin \left( {k{\omega _0}{T_1}} \right)}}{{k{\omega _0}T}}}
\end{array}\]注意到 $T := \frac{2 \pi}{\omega_0}$，故我們可進一步改寫上式得到
\[{a_k} = \frac{{\sin \left( {k{\omega _0}{T_1}} \right)}}{{k\pi }},\begin{array}{*{20}{c}}
{}
\end{array}k \ne 0\]且 $a_0 = \frac{T_1}{T}$。上式 $a_k$ 稱為 sinc function。

有了上述結果，我們可以做些實驗看看此係數的分布
我們固定 $T = 4 T_1$，則 Fourier Series coefficient 的分布如下圖

若將週期提高為 $T = 16 T_1$，則分布如下

Gibbs Phenomenon of Periodic Square Wave
延續上方例子，現在若限制 $|k| \le N$ ，且將每一個 $a_k$ 透過 complex exponential 做有限$N$項的線性組合，可得到前有限 $N$項的訊號，記做$x_N(t)$，
\[
x_N(t) = \sum_{k=-N}^{N} a_k e^{j k \omega_0 t}
\]我們試圖看看用此訊號 $x_N(t)$ "近似" 原本 $x(t)$ (以無窮項的 Fourier Series Representation) 看看是否確實還原我們的週期方波訊號。現在讓 $N$ 分別為 $1, 3,7,19,79$我們會得到下圖

上圖會發現方波確實被還原，但在不連續端點部分出現過大的 overshoot ，且不論 $N$ 如何增加，只要是有限的 $N$，該處的不連續 overshoot現象都回持續存在 (約 9% overshoot 在不連續點處)，此一現象稱為 Gibbs phenomenon。

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[系統理論] 連續時間週期訊號的 Fourier Series Representation (1) - Periodic signal represents by linear combination of complex exponentials

在系統理論中，週期訊號是非常重要的一類訊號，我們將在這篇文章介紹 對於週期訊號的頻域處理： Fourier Series Representation。本質上想法就是企圖將 週期訊號 透過 Complex exponentials 展開 (或者等價 用 sin 與 cos 展開)。

Comment:
1. 上述句子提及的展開 表示 週期訊號 可以透過 complex exponential 透過線性組合 建構。
2. 儘管 Fourier Series 對"大部分" 週期訊號 (e.g., 連續週期訊號)都成立。但若欲擴展到 "任意" 週期訊號的 Fourier Series Representation 須加上額外條件保證 Fourier Sereis 收斂，此部分會在後續文章再做討論。
3. 注意到若訊號為 "非週期"訊號，則 Fourier Series 不能使用，需引入 Fourier Transform!! 關於 Fourier Transform 的議題我們會在之後再做討論。 (基本想法仍不變，只是將非週期訊號 "看成" 週期訊號 但週期為無窮大)


======================
Definition: (Continuous Time Periodic Signal)
我們稱一個訊號 $x(t)$ 為週期訊號 (periodic signal) 若下列條件成立：
對任意時間 $t>0$ 存在一正實數 $T >0$，使得
\[
x(t) = x(t + T)
\]======================
下圖為連續時間的週期訊號的一個例子

我們稱 $T_0$ 為 週期訊號 $x(t)$ 的基本週期(fundamental period) 若下列條件滿足：
取最小週期 $T_0 = T>0$ 使得 $x(t) = x(t+T)$仍然成立。

由基本週期的定義，我們可透過 $\omega = \frac{2 \pi}{T}$ 定義 基本頻率 (fundamental frequency, $\omega_0$)
\[
\omega_0 := \frac{2 \pi}{T_0}
\] Example
考慮
\[x\left( t \right) = 1 + \sin {\omega _0}t + 2\cos {\omega _0}t + \cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right)
\]則上述訊號 為週期訊號 (或者週期訊號的線性組合)，且 fundamental frequency 為 $\omega_0$。

下面是一些常見的 週期訊號 ：
-----------
Example
1. $x(t) = \cos \omega_0 t$
2.  $x(t) = e^{j \omega_0 t}$
-----------

Proof:
給定 $t>0$，
1. 先證 $\cos \omega_0 t$ 為週期訊號，亦即要證明 存在一個 $T >0$ 使得
\[
\cos(\omega_0 (t + T)) = \cos( \omega_0 (t))
\]現在令 $T := \frac{2\pi}{ |\omega_0|} >0$，則
\[\begin{array}{*{20}{l}}
{\cos ({\omega _0}(t + T)) = \cos ({\omega _0}(t + \frac{{2\pi }}{{\left| {{\omega _0}} \right|}}))}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \cos ({\omega _0}t \pm 2\pi ) = \cos ({\omega _0}t)}
\end{array}\]亦即 $\cos \omega_0 t$ 確實為週期訊號。

2. 我們接著證 $e^{ j \omega_0 t}$ 為週期訊號，亦即要證明 存在一個 $T >0$ 使得
\[
e^{j\omega_0 (t + T)} = e^{j\omega_0 t}
\]同樣取 $T := \frac{2\pi}{ |\omega_0|} >0$，則
\[\begin{array}{l}
{e^{j{\omega _0}(t + T)}} = {e^{j{\omega _0}\left( {t + \frac{{2\pi }}{{\left| {{\omega _0}} \right|}}} \right)}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {e^{j({\omega _0}t \pm 2\pi )}} = \cos ({\omega _0}t \pm 2\pi ) + jsin\left( {{\omega _0}t \pm 2\pi } \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \cos ({\omega _0}t) + jsin\left( {{\omega _0}t} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {e^{j({\omega _0}t)}}
\end{array}\]亦即 $e^{j\omega_0 t} $ 確實為週期訊號。$\square$。


現在我們考慮訊號為 Complex exponentials，亦即
\[
x(t) = e^{j \omega_0 t}
\]其對應的 fundamental frequency 為 $\omega_0$ 。

現在我們定義一組與諧波相關(harmonically related)的 complex exponentials  如下
\[
\phi_k(t) := e^{j k \omega_0 t}
\]上述 $\phi_k(t)$ 仍為週期訊號且 fundamental frequency 仍為 $\omega_0$，現在若我們把週期訊號 透過 線性組合疊加 寫成下列無窮級數形式：
\[
x\left( t \right): = \sum\limits_{k =  - \infty }^\infty  {{a_k}{\phi _k}\left( t \right)}  = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} \ \  \ \ (*)
\]則我們說上述訊號 $x(t)$ 仍為 一個週期為 $T$ 的訊號。

NOTE: 上述的無窮級數形式稱為週期訊號 $x(t)$ 的 Fourier Series Representation。亦即，給定係數 $a_k$，我們便可以透過 complex exponentials 的線性組合 來建構週期訊號 $x(t)$。

Comments:
對於
\[
x\left( t \right): = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} \ \  \ \ (*)
\]
注意到 $k=0$時，上式 $(*)$為常數。
\[x\left( t \right): = {\left. {\sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} } \right|_{k = 0}} = {a_0}
\]若 $k= \pm 1$時，此時 $(*)$ 可寫為
\[x\left( t \right): = {\left. {\sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} } \right|_{k =  \pm 1}} = {a_1}{e^{j{\omega _0}t}} + {a_{ - 1}}{e^{ - j{\omega _0}t}}
\]上式仍為 週期函數且 fundamental freqeuncy 為 $\omega_0$，我們稱為 1次諧波分量 (first harmonic compoenents)
同理，若 $k = \pm2$時，我們亦可得到週期函數，且 fundamental frequency 為 $2 \omega_0$，稱為 2次諧波分量 (second harmonic componenents)，以此類推，若 $k= \pm N$時，我們透過 $(*)$仍得到的週期函數，且 fundamental frequency 為 $N \omega_0$ 稱為 N次諧波分量。

我們現在看個例子：
考慮週期訊號 $x(t)$ 具有 fundamental frequency $2 \pi$ 表為
\[x\left( t \right) = \sum\limits_{k =  - 3}^3 {{a_k}{e^{jk2\pi t}}}
\]其中 $a_0 =1, \; a_1 = a_{-1} = 1/4$, $a_2 = a_{-2}=1/2$, $a_3 = a_{-3} = 1/3$。試求原本 $x(t) = ?$
Solution:
將給定係數 $a_k, k= -3,-2,-1,0,1,2,3$帶入上式，我們可得
\[{\small
\begin{array}{l}
x\left( t \right) = \sum\limits_{k =  - 3}^3 {{a_k}{e^{jk2\pi t}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {a_0} + {a_1}{e^{j2\pi t}} + {a_{ - 1}}{e^{ - j2\pi t}} + {a_2}{e^{j4\pi t}} + {a_{ - 2}}{e^{ - j4\pi t}} + {a_3}{e^{j6\pi t}} + {a_{ - 3}}{e^{ - j6\pi t}}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 1 + \frac{1}{4}\left( {{e^{j2\pi t}} + {e^{ - j2\pi t}}} \right) + \frac{1}{2}\left( {{e^{j4\pi t}} + {e^{ - j4\pi t}}} \right) + \frac{1}{3}\left( {{e^{j6\pi t}} + {e^{ - j6\pi t}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 1 + \frac{1}{2}\left( {\frac{{{e^{j2\pi t}} + {e^{ - j2\pi t}}}}{2}} \right) + \frac{1}{1}\left( {\frac{{{e^{j4\pi t}} + {e^{ - j4\pi t}}}}{2}} \right) + \frac{2}{3}\left( {\frac{{{e^{j6\pi t}} + {e^{ - j6\pi t}}}}{2}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 1 + \frac{1}{2}\left( {\cos 2\pi t} \right) + \frac{1}{1}\left( {\cos 4\pi t} \right) + \frac{2}{3}\left( {\cos 6\pi t} \right) \square
\end{array}
}\]

現在如果反過來，如果給定週期訊號 $x(t)$，如何反求 Fourier Series Represetnation 的係數 $a_k$ ? 我們將留待下一篇文章在做介紹。

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[線性系統] 離散時間 LTI 系統的漸進穩定度

考慮離散時間系統
\[
x(k+1) = Ax(k) + Bu(k)
\]若 $A$ 為 穩定矩陣，且 $u(k) \to 0$ 則 $x(k) \to 0$

Proof:
我們要證明  $x(k) \to 0$，故給定任意 $\varepsilon>0$，要證明 存在 $M>0$ 使得 對任意 $k \ge M$，我們有
\[
|x(k)| \le \varepsilon
\]
注意到該系統 $x(k+1) = Ax(k) + Bu(k)$ 的解為
\[{x(k) = {A^k}x(0) + \sum\limits_{i = 0}^{k - 1} {{A^{k - 1 - j}}Bu(j)} }
\]兩邊同取 norm 並利用三角不等式 可得
\[\begin{array}{*{20}{l}}
{\left| {x(k)} \right| = \left| {{A^k}x(0) + \sum\limits_{i = 0}^{k - 1} {{A^{k - 1 - j}}Bu(j)} } \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le \left| {{A^k}} \right|\left| {x(0)} \right| + \sum\limits_{i = 0}^{k - 1} {\left| {{A^{k - 1 - j}}} \right|\left| B \right|} \left| {u(j)} \right|}
\end{array}\ \ \ \ \ (*)
\]回憶 Horn 與 Johnson (1985) 的結果：
==================
FACT:
\[
|A^k| \le c \lambda^k, \; c>0 \;\; \max_i |eig_i(A)| < \lambda <1
\]==================
故
\[\left| {x(k)} \right| \le c{\lambda ^k}\left| {x(0)} \right| + c\left| B \right|\sum\limits_{j = 0}^{\infty} {{\lambda ^{k - 1 - j}}\left| {u(j)} \right|} \]現在利用已知假設 $u(k) \to 0$ 我們可推知必存在 $ N > 0$ 使得 對任意 $k \ge N$，我們有
\[\left| {u(k)} \right| \le \frac{{\varepsilon \left( {1 - \lambda } \right)}}{{2c{\lambda ^k}\left| B \right|}}\]將上述結果代入 $(*)$ 可得
\[\begin{array}{l}
\left| {x(k)} \right| \le c{\lambda ^k}\left| {x(0)} \right| + c\left| B \right|\sum\limits_{j = 0}^\infty  {{\lambda ^{k - 1 - j}}\frac{{\varepsilon \left( {1 - \lambda } \right)}}{{2c{\lambda ^k}\left| B \right|}}} \\
 \Rightarrow \left| {x(k)} \right| \le c{\lambda ^k}\left| {x(0)} \right| + \frac{\varepsilon }{2}
\end{array}\]由於 $\lambda <1$ 我們可選 $M'>0$ 使得 對任意 $k \ge \max (M', N)$
\[
c\lambda^k |x(N)| \le \varepsilon/2, \;\; \forall k \ge m'
\]現在結合前述結果我們可推得 對任意 $k \ge M = \max(M', N)$，
\[\left| {x(k)} \right| \le \varepsilon
\]即為所求。 $\square$

[Win8] 系統插斷異常占用CPU資源可能的解決方法

前陣子偶然發現個人 Sony Vaio 筆電 (Windows 8 作業系統) 的 "系統插斷" 程式 經常呈現異常性占用CPU資源 10~30% 左右，此類問題多半是硬體相衝所導致。下圖為 "系統插斷" 正常CPU使用情況圖

經過查詢之後發現 主因是筆電內建顯卡(Intel HD Graphics 3000) 與 獨立顯卡 (AMD Radeon 6700M) 硬體相衝問題。(多半是 Intel 顯卡有相衝問題，需要更新驅動)

解決方法很簡單，如果有發現異常 系統插斷占用，可以前往 Intel  與 AMD 官方網站 更新顯卡驅動到最新版本便可解決。

[線性系統] 淺談動態系統的可控制性(1)

一般而言控制理論中有三大重要性質

1. 可控制性 (controllability)
2. 可觀測性 (observability)
3. 穩定性 (stability)

這次主要是介紹 動態系統 的 可控制性(Controllability)。

考慮 $n$ 個狀態 且 $p$ 組輸入的狀態方程
\[{\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right){\bf{x}}\left( t \right) + {\bf{B}}\left( t \right){\bf{u}}\left( t \right)
\]其中 ${\bf A}(t)$ 為 $n \times n$ 時變矩陣，${\bf B}(t)$ 為 $n \times p$ 時變矩陣。

控制性的基本想法如下：
若系統某狀態 $\bf x$ 可以透過某對應的控制力 $\bf u$ 來影響 (在有限時間 $t$ 中從任意狀態 $x_0$ 被移動到指定狀態 $x(t)$)，則我們稱此狀態為可控制。

由於輸出方程與系統控制性無關，我們這邊只考慮狀態方程。

以下先給出對於線性非時變系統 其 系統可控制性的定義

=====================
Definition: (Controllability for LTI system)
我們稱狀態方程
\[
{\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right) + {\bf{Bu}}\left( t \right)
\] 或者一組 $\left( {{\bf{A,B}}} \right)$ 為在時刻 $t_0$ 可控制(controllable)，若下列條件成立:
對任意初始狀態 ${\bf{x}}\left( t_0 \right) = {\bf x}_0$ 與 終止狀態 ${\bf x}_1$，存在時刻 $t_1 \ge t_0$ 與 一組輸入訊號 ${\bf u}(t)$ 使得可以在有限時間 $t_1$ 內將 ${{\bf{x}}_0}$ 送至 ${{\bf{x}}_1}$。反之我們稱此 $\left( {{\bf{A,B}}} \right)$ 不可控制 (uncontrollable)。
======================

那麼該如何檢驗控制性? 我們給初以下方法：
======================
Theorem: Controllability and Controllability Matrix Test
考慮 $n$ 階 LTI System 表為
\[
{\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right) + {\bf{Bu}}\left( t \right)
\] 我們說 系統為 完全狀態可控制 若且為若 下列控制性矩陣(controllability matrix)
\[
\mathcal{C} :=[{\bf B}\;\; {\bf AB}\;\; {\bf A}^2{\bf B}\;\;...\;\; {\bf A}^{n-1}{\bf B}]
\]為 full rank 。(亦即 $\text{rank}({\cal C}) = n$)
======================

Comment: 若 $\text{rank}({\cal C}) = n -1$ 則表示系統有1個狀態不可控；若 $\text{rank}({\cal C}) = n -2$ 表系統有2個狀態不可控；以此類推；若 $\text{rank}({\cal C}) = 0$ 表系統所有狀態不可控。

另外我們還有另一個等價的方法可以檢驗控制性：
不過在介紹之前我們需要先介紹 線性獨立 (linearly independent) 的時間函數 $f_i(t)$ 以及如何判別一組時間函數是否彼此為線性獨立：

======================
Definition: (Linear independence of time functions)
考慮 $f_1(t), f_2(t), ..., f_n(t)$ 為連續函數。我們說此組連續函數為彼此 線性相依 (linear dependent) 若下列條件成立：
存在一組不全為零的純量 $\alpha_1, \alpha_2, ..., \alpha_n$ ，使得
\[
\alpha_1 f_1(t) + \alpha_2 f_2(t) + ... + \alpha_n f_n(t) = 0, \; \forall t \in [t_0,t_1]
\]反之，此組 $f_1(t), f_2(t), ..., f_n(t)$ 稱為彼此線性獨立(linear independent) (此時 所有的係數 $\alpha_i =0$)。
=====================

=====================
Theorem: 
給定 $t_0$ 為初始時刻，$t_1$ 為終止時刻，現在定義
\[
{\bf F}\left( t \right): = \left[ {\begin{array}{*{20}{c}}
{{f_1}\left( t \right)}\\
{{f_2}\left( t \right)}\\
 \vdots \\
{{f_n}\left( t \right)}
\end{array}} \right]
\] 與
\[
{\bf W}(t_1) := \int_{t_0}^{t_1} {\bf F}(\tau) {\bf F}^T(\tau) d \tau,
\]則 $f_i$ 在區間 $[t_0,t_1]$ 之間彼此互為線性獨立 若且為若 $W(t_1)$ 為 nonsingular 矩陣。
=====================

Proof:
首先證明 $(\Rightarrow)$
利用歸謬法(Suppose toward to contradiction)，假設 $W(t_1)$ 為 singular。則 $W(t_1)$ 有線性相依的行或者列向量，故存在一組不全為零的向量 $\alpha$ 使得
\[\alpha^T {\bf W}(t_1) \alpha=0,
\]亦即
\[\begin{array}{l}
{\alpha ^T}{\bf{W}}({t_1})\alpha  = 0\\
 \Rightarrow {\alpha ^T}{\bf{W}}({t_1})\alpha  = {\alpha ^T}\left( {\int_{{t_0}}^{{t_1}} {{\bf{F}}(\tau ){{\bf{F}}^T}(\tau )} d\tau } \right)\alpha  = 0\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{{t_0}}^{{t_1}} {\underbrace {{\alpha ^T}{\bf{F}}(\tau )}_{: = {\bf{\xi }}\left( \tau  \right)}\underbrace {{{\bf{F}}^T}(\tau )\alpha }_{: = {{\bf{\xi }}^T}\left( \tau  \right)}} d\tau  = 0\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{{t_0}}^{{t_1}} {{\bf{\xi }}\left( \tau  \right){{\bf{\xi }}^T}\left( \tau  \right)} d\tau  = \int_{{t_0}}^{{t_1}} {{{\left\| {{\bf{\xi }}\left( \tau  \right)} \right\|}^2}} d\tau  = 0\\
 \Rightarrow {\left\| {{\bf{\xi }}\left( \tau  \right)} \right\|^2} = 0 \Rightarrow {\bf{\xi }}\left( \tau  \right) = 0 \Rightarrow {\alpha ^T}{\bf{F}}(\tau ) = 0
\end{array}
\]
亦即我們有 $f_i$ 之間彼此線性相依。此結果與原本 $f_i$ 線性獨立的假設矛盾。

接著證明 $(\Leftarrow)$
同樣採用歸謬法，假設 $f_i$ 彼此線性相依，故我們知道存在一組不全為零的純量 $\alpha_i, \; i=1,2,...,n$ 使得 $\sum_i \alpha_i f_i =0$。我們可將此結果可寫成向量形式
\[
\alpha^T {\bf F}(t) =0
\]其中 $\alpha^T :=[\alpha_1\;\alpha_2\;...\;\alpha_n]$。現在我們觀察矩陣 ${\bf{W}}({t_1})$，並且對其左邊乘上向量 $\alpha^T$可得
\[\begin{array}{l}
{\alpha ^T}{\bf{W}}({t_1}) = {\alpha ^T}\left( {\int_{{t_0}}^{{t_1}} {{\bf{F}}(\tau ){{\bf{F}}^T}(\tau )} d\tau } \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{{t_0}}^{{t_1}} {\underbrace {{\alpha ^T}{\bf{F}}(\tau )}_{ = 0}{{\bf{F}}^T}(\tau )} d\tau  = 0\\
 \Rightarrow {\alpha ^T}{\bf{W}}({t_1}) = 0
\end{array}
\]上式暗示了 ${\bf{W}}({t_1})$ 矩陣為 Singular，此結果與假設 ${\bf{W}}({t_1})$ 為 nonsingular 矩陣矛盾。

至此證畢。$\square$


那麼現在讓我們回到 線性時變 狀態方程
\[{\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right){\bf{x}}\left( t \right) + {\bf{B}}\left( t \right){\bf{u}}\left( t \right)
\]我們知道此狀態方程的解為
\[{\bf{x}}\left( t \right) = {\bf{\Phi }}\left( {{t_1},{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + \int_{{t_0}}^t {{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)} d\tau
\]其中 ${\bf \Phi}(t,\tau)$ 稱作狀態轉移矩陣 (State transition matrix)。

那麼我們現在便可以把控制性與之前所討論的線性獨立性質聯合再一起，我們將此結果記做下面的重要定理。

======================
Theorem: (Controllability criterion for LTV system)
我們稱 線性時變(LTV) 狀態方程
\[{\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right){\bf{x}}\left( t \right) + {\bf{B}}\left( t \right){\bf{u}}\left( t \right)
\]為 在時刻 $t_0$可控制 若且為若 存在一時刻 $t_1 \ge t_0$ 使得 矩陣 ${\bf \Phi(t,\tau)}B(\tau)$ 在區間 $[t_0, t_1]$ 之間 具有線性獨立的 行向量 (row vectors)；或者等價地說，下列 $n \times n$矩陣
\[{\bf{W}}({t_1}): = \int_{{t_0}}^{{t_1}} {{\bf{\Phi }}\left( {{t_1},\tau } \right){\bf{B}}\left( \tau  \right){{\bf{B}}^T}\left( \tau  \right){{\bf{\Phi }}^T}\left( {{t_1},\tau } \right)} d\tau \]為 nonsingular。
=====================

Comment
1. 上述矩陣\[{\bf{W}}({t_1}): = \int_{{t_0}}^{{t_1}} {{\bf{\Phi }}\left( {{t_1},\tau } \right){\bf{B}}\left( \tau  \right){{\bf{B}}^T}\left( \tau  \right){{\bf{\Phi }}^T}\left( {{t_1},\tau } \right)} d\tau \]稱作 Controllability Grammian。

2. 上述定理亦可適用於 LTI system。我們將定理記做下面

======================
Theorem: (Controllability criterion for LTI system)
考慮系統為 LTI，其狀態方程
\[{\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right) + {\bf{Bu}}\left( t \right)\]為可控制 若且為若 對任意 $t>0$，下列矩陣
\[{\bf{W}}(t): = {\int_{\rm{0}}^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}\left( {{e^{{\bf{A}}\left( {t - \tau } \right)}}} \right)} ^T}d\tau \]為 nonsingular。
=====================

3. 關於狀態轉移矩陣相關議題，請參考BLOG相關文章
[線性系統] 動態方程式的求解(1) - LTI state equation
[線性系統] 動態方程式的求解(2) - LTV state equation- Homogeneous solution
[線性系統] 動態方程式的求解(3) - LTV state equation- Total Solution

[線性系統] 漸進穩定度 與 Lyapunov Theorem

這次要介紹如何 透過 Lyapunov Theorem 來檢驗線性系統 ${\bf{\dot x}} = {\bf{Ax}}$ 的漸進穩定度 (Asymptotic Stability)。關於非線性系統的漸進穩定度讀者可參考下列兩篇文章：

•  [系統理論] 離散時間系統的穩定度理論 (0) - 先備概念
• [系統理論] 離散時間系統的穩定度理論 (1) - Lyapunov Stability Theory

現在回憶我們先前提過控制系統的兩種絕對穩定度：BIBO穩定 與 漸進穩定度。
概念上 BIBO穩定為插上電源看看系統會不會壞掉，漸進穩定則是測試拔掉電源看看系統會不會停止。

Lyapunov Energy Ideas
一般而言，Lyapunov 觀點是透過能量的角度看系統穩定度。也就是說考慮系統狀態 ${\bf{x}}\left( t \right) $，那麼
 \[
{\bf{x}}\left( t \right) \to 0 \Leftrightarrow {{\bf{x}}^T}\left( t \right){\bf{x}}\left( t \right) \to 0
\] 注意到上述 ${{\bf{x}}^T}\left( t \right){\bf{x}}\left( t \right)$ 可看成能量。那麼為了達成上式，我們可以透過 能量對時間的變化率 (系統狀態能量對時間微分) 若為負值，則表示能量在逐漸溢散(decaying energy)，亦即可透過
\[
\frac{d}{dt} {{\bf{x}}^T}\left( t \right){\bf{x}}\left( t \right) <0
\] 達成 ${\bf{x}}\left( t \right) \to 0 \Leftrightarrow {{\bf{x}}^T}\left( t \right){\bf{x}}\left( t \right) \to 0$

注意：這邊我們說 ${\bf{A}}$ 矩陣為穩定若下面條件成立：
對 ${\bf{A}}$ 的所有 eigenvalue 有負實部。

現在我們看一個例子來展示 Lyapunov Energy Idea，

Example
考慮
\[{\bf{\dot x}}\left( t \right) = \left[ {\begin{array}{*{20}{c}}
{ - 1}&0\\
2&{ - 3}
\end{array}} \right]{\bf{x}}\left( t \right)
\]現試著找出系統能量是否 decaying?

Solution
注意到此系統 $\bf A$ 矩陣 為常數下三角矩陣，其 eigenvalue 為 $-1, -3$ 由穩定度定理可知系統為穩定系統。現在我們看看 Lyapunov Energy Idea 是否也可以幫助我們判別系統穩定度。

首先觀察系統狀態能量的微分
\[\begin{array}{l}
\frac{d}{{dt}}{{\bf{x}}^T}\left( t \right){\bf{x}}\left( t \right) = \frac{d}{{dt}}\left( {\left[ {\begin{array}{*{20}{c}}
{{x_1}\left( t \right)}&{{x_2}\left( t \right)}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{x_1}\left( t \right)}\\
{{x_2}\left( t \right)}
\end{array}} \right]} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{d}{{dt}}\left( {{x_1}^2\left( t \right) + {x_2}^2\left( t \right)} \right) = 2{x_1}\left( t \right){{\dot x}_1}\left( t \right) + 2{x_2}\left( t \right){{\dot x}_2}\left( t \right)
\end{array}
\]又因為
\[{\bf{\dot x}}\left( t \right) = \left[ {\begin{array}{*{20}{c}}
{ - 1}&0\\
2&{ - 3}
\end{array}} \right]{\bf{x}}\left( t \right) \Leftrightarrow \left[ {\begin{array}{*{20}{c}}
{{{\dot x}_1}\left( t \right)}\\
{{{\dot x}_2}\left( t \right)}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{ - {x_1}\left( t \right)}\\
{2{x_1}\left( t \right) - 3{x_2}\left( t \right)}
\end{array}} \right]
\]故我們可得
\[\begin{array}{l}
\frac{d}{{dt}}{{\bf{x}}^T}\left( t \right){\bf{x}}\left( t \right) = 2{x_1}\left( t \right){{\dot x}_1}\left( t \right) + 2{x_2}\left( t \right){{\dot x}_2}\left( t \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = 2{x_1}\left( t \right)\left( { - {x_1}\left( t \right)} \right) + 2{x_2}\left( t \right)\left( {2{x_1}\left( t \right) - 3{x_2}\left( t \right)} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} =  - 2{x_1}^2\left( t \right) + 4{x_2}\left( t \right){x_1}\left( t \right) - 6{x_2}^2\left( t \right) \ \ \ \ (*)
\end{array}
\]現在若上式 $<0$ 則我們由 Lyapunov Energy Ideas 即可斷定系統狀態 ${\bf{x}}\left( t \right) \rightarrow 0$。故我們進一步改寫 $(*)$ 成矩陣形式：
\[\frac{d}{{dt}}{{\bf{x}}^T}\left( t \right){\bf{x}}\left( t \right) = {{\bf{x}}^T}\left( t \right)\underbrace {\left[ {\begin{array}{*{20}{c}}
{ - 2}&2\\
2&{ - 6}
\end{array}} \right]}_Q{\bf{x}}\left( t \right)
\]注意到上述矩陣 $Q$ 為 對稱 負定矩陣(negative definite ) 因為 由對稱負定矩陣定義 ： $-Q$ 必須為正定矩陣。由於
\[-Q = \left[ {\begin{array}{*{20}{c}}
2&{ - 2}\\
{ - 2}&6
\end{array}} \right]
\]其對應的
1st Leading principal minor: $= 2 >0$,
2nd Leading principal minor: $= 2 \times 6 - (-2) \times (-2) = 8>0$，故 $Q$ 為負定矩陣。且我們知道此系統能量會溢散。亦即 Lyapunov Energy Ideas 確實可以幫助我們判斷系統穩定度。

現在看下面這個定理:
=======================
Theorem: Lyapunov Theorem
 ${\bf{A}}$ 矩陣的 所有 eigenvalue 有 負實部 ( ${\bf{A}}$ 矩陣 為穩定) 若且為若
對任意給定 正定對稱 (Positive definite symmetric) 矩陣 ${\bf {Q}}$，其 Lyapunov equation
\[
{{\bf{A}}^T}{\bf{P + PA = }} - {\bf{Q}}
\]有 唯一解 ${\bf {P}}$， 且此唯一解 ${\bf {P}}$ 為 正定對稱矩陣。
=======================

上述定理與 Lyapunov Energy 能量觀點可以整合

對 ${\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right)$，現在定義 Energy-like function
\[V\left( {\bf{x}} \right){\rm{ }}: = {{\bf{x}}^T}\left( t \right){\bf{Px}}\left( t \right)\]
其中 $\bf P$ 為 Lyapunov equation ${{\bf{A}}^T}{\bf{P}} + {\bf{PA}} =  - {\bf{Q}} $ 的解。則
\[
\frac{d}{dt} {\bf V(x(t))} <0
\]為系統漸進穩定度的判別條件。

[線性系統] LTI 系統的輸入輸出 BIBO 穩定度

這次要介紹線性系統的穩定度。一般而言在設計控制系統的時候第一步就是要檢驗系統是否穩定，如果不穩定則往往導致系統損毀。不可不慎。

一般而言控制系統穩定度可區分兩類

1. 絕對穩定度：
   指系統是否穩定的指標：一般而言有 BIBO 穩定 與 漸進穩定。
2. 相對穩定度：指系統穩定程度的指標: 一般而言由 pole location，Phase Margin, Gain Margin 決定

而一般穩定度的判別方法也有兩種

1. Routh-Hurwitz criterion
   只適用於線性系統，有興趣讀者可自行參閱任何一本自動控制教科書都會有詳細介紹。
2. Lyapunov energy approach
   對線性/非線性系統皆適用。

Comment:

給不關心理論的讀者：事實上，在實用面上，大多時候我們可以直接使用 MATLAB 等套裝軟體直接求解 eigenvalue 並且判斷是否落在 s-plane 的左半面即可 (如果落在左半面不含虛軸，我們稱此系統 "穩定" )。

考慮一個 SISO LTI 系統描述如下：
\[
y(t) = \int_0^t g(t-\tau)u(\tau)d \tau = \int_0^t g(\tau) u(t- \tau)d\tau
\]其中 $g(t)$ 為系統脈衝響應(impulse response)

現在我們給出下面定義
====================
Definition: Bounded function
一個輸入函數 $u(t)$ 稱作有界 (bounded) 如果下列條件成立：
若存在一個夠大的常數 $u_M$ 使得
\[
|u(t)| \le u_M < \infty, \; \forall t \ge 0
\]====================

有了有界函數的定義，我們可以定義何謂 BIBO 穩定
====================
Definition: BIBO stability
一個系統被稱為 BIBO stable (Bounded input bounded output stable) 若下列條件成立：
對任意有界輸入，系統都產生有界輸出。則此系統為 BIBO 穩定。
====================

Comment:
1. BIBO 穩定度 只定義在 zero-state response 且系統假設為鬆弛系統亦即初始狀態為零。

2. 上述 BIBO 定義 陳述等價如下：
考慮系統 輸入為 $u(t)$，輸出為 $y(t)$，現若存在 $M, N >0$ 使得
\[
|u(t)| \le M < \infty \Rightarrow |y(t)| \le N < \infty
\]則系統稱為 BIBO穩定。


現在我們看個重要的定理:

=====================
Theorem: BIBO stability criterion of LTI system 
考慮 SISO LTI 系統
\[
y(t) = \int_0^t g(t-\tau)u(\tau)d \tau = \int_0^t g(\tau) u(t- \tau)d\tau
\]為 BIBO stable 若且為若 存在一個夠大的常數 $M$ 使得
\[
\int_0^\infty |g(t)|dt \le M < \infty
\]=====================
Proof
我們首先證明 $\Leftarrow$，亦即
假設
\[
\int_0^\infty |g(t)|dt \le M < \infty
\] 欲證 LTI 系統 為 BIBO穩定。

故由BIBO定義，給定 $u(t)$ 滿足 $|u(t)| \le u_M < \infty$，要證明 $|y(t)| < \infty$。

由於
\[\begin{array}{l}
\left| {y(t)} \right| = \left| {\int_0^t g (\tau )u(t - \tau )d\tau } \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \int_0^t {\left| {g(\tau )u(t - \tau )} \right|} d\tau  \le {u_M}\int_0^t {\left| {g(\tau )} \right|} d\tau
\end{array}
\]現在由假設 $\int_0^\infty |g(t)|dt \le M < \infty$，我們可得
\[\left| {y(t)} \right| \le {u_M}\int_0^t {\left| {g(\tau )} \right|} d\tau  \le {u_M}\int_0^\infty {\left| {g(\tau )} \right|} d\tau  \le {u_M}M < \infty
\] 故得證。

接著我們證明 $\Rightarrow$。亦即需要證明
若 SISO LTI 系統
\[
y(t) = \int_0^t g(t-\tau)u(\tau)d \tau = \int_0^t g(\tau) u(t- \tau)d\tau
\]為 BIBO stable，則 存在一個夠大的常數 $M$ 使得
\[
\int_0^\infty |g(t)|dt \le M < \infty
\]
現在我們取非，利用反證法 改證
對所有常數 $M$，\[
\int_0^\infty |g(t)|dt >M
\]，則 SISO LTI 系統
\[
y(t) = \int_0^t g(t-\tau)u(\tau)d \tau = \int_0^t g(\tau) u(t- \tau)d\tau
\]不為 BIBO stable (存在一組輸入 $u(t)$ 使得 輸出 $y(t) = \infty$)

首先注意到由於對所有 $M$，
\[
\int_0^\infty |g(t)|dt >M
\]，此陳述等價於 存在一個 $t_1$ 使得
\[
\int_0^{t_1} |g(t)|dt = \infty
\]接著我們要證明 LTI 系統不為 BIBO stable，故現在建構一組輸入 $u(t)$ 滿足下式
\[u\left( t_1 - \tau \right) := {\rm sgn}(g(\tau) )= \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}{\rm if}\begin{array}{*{20}{c}}
{}
\end{array}g\left( \tau  \right) \ge 0\\
 - 1,\begin{array}{*{20}{c}}
{}
\end{array}{\rm if}\begin{array}{*{20}{c}}
{}
\end{array}g\left( \tau  \right) < 0
\end{array} \right.
\]則其對應的輸出
\[y({t_1}) = \int_0^{{t_1}} g (\tau )u({t_1} - \tau )d\tau  = \int_0^{{t_1}} {\left| {g(\tau )} \right|} d\tau  = \infty \]故此系統不為 BIBO stable。至此得證。$\square$

Comment:
1. 上述結果等價如下：
若系統為 LTI 系統，則 系統 BIBO 穩定的充分必要條件為
其系統轉移函數對應的極點 $p_i$ 具有負實部；亦即
\[
Re[p_i] <0, i=1,2,...,n
\]

2. 若考慮系統為 SISO LTI 系統，且轉移函數 沒有發生極零點對消 (pole-zero cancelation)，則系統特性根 poles = Eigenvalues ；亦即 BIBO穩定 = 漸進穩定度。

3. 若轉移函數 發生極零點對消 (此時 eigenvalue 的數目會多於 pole 的數目 (因為 pole 被 zero消了!!) ) 且 極零點對消在左半面，BIBO = 漸進穩定；若對消在右半面 或者 虛軸上，則 BIBO 不等於 漸進穩定。亦即 BIBO 穩定不一定為 漸進穩定。

4. 若 $\dot x = Ax + Bu;\;\; y=Cx$ 則取拉式轉換我們有
\[\begin{array}{l}
\left\{ \begin{array}{l}
X\left( s \right) = {\left( {sI - A} \right)^{ - 1}}x\left( 0 \right) + {\left( {sI - A} \right)^{ - 1}}BU\left( s \right)\\
Y\left( s \right) = CX\left( x \right)
\end{array} \right.\\
 \Rightarrow Y\left( s \right) = \underbrace {\left[ {C{{\left( {sI - A} \right)}^{ - 1}}} \right]}_{{\rm{Free}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{Response}}}x\left( 0 \right) + \underbrace {\left[ {C{{\left( {sI - A} \right)}^{ - 1}}B} \right]}_{{\rm{Force}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{Response}}}U\left( s \right)
\end{array}\]

我們以下用個例子來看看剛剛討論的 pole-zero cancellation 現象 與 BIBO/Asymptotic stability。

Example: (BIBO stability does NOT imply Asymptotic stability)
考慮系統
\[\left\{ \begin{array}{l}
\dot x = Ax + Bu = \left[ {\begin{array}{*{20}{c}}
0&1\\
2&{ - 1}
\end{array}} \right]x + \left[ {\begin{array}{*{20}{c}}
0\\
1
\end{array}} \right]u\\
y = Cx = \left[ {\begin{array}{*{20}{c}}
{ - 2}&2
\end{array}} \right]x
\end{array} \right.
\](a) 試求 $A$ 矩陣 eigenvalue。此系統是否為 asymptotic stable?
(b) 試求此系統轉移函數?
(c) 試求此系統 unit step response，試問其對應的系統輸出 是否為 BIBO?

Solution: (a)
首先求 $A$ 矩陣的 eigenvalue：計算特性方程 $\det(sI-A) =0$ 可得
\[\begin{array}{l}
\det \left( {sI - A} \right) = 0\\
 \Rightarrow \det \left( {\left[ {\begin{array}{*{20}{c}}
s&0\\
0&s
\end{array}} \right] - \left[ {\begin{array}{*{20}{c}}
0&1\\
2&{ - 1}
\end{array}} \right]} \right) = \det \left[ {\begin{array}{*{20}{c}}
s&{ - 1}\\
{ - 2}&{s + 1}
\end{array}} \right] = s\left( {s + 1} \right) - 2 = 0\\
 \Rightarrow {s^2} + s - 2 = 0 \Rightarrow \left\{ \begin{array}{l}
s =  - 2\\
s = 1
\end{array} \right.
\end{array}
\]注意到此系統有一個 eigenvalue 為 $s=1$ (落在 s-plane 右半面)，故系統不為漸進穩定。

(b):
接著我們計算轉移函數
\[\begin{array}{l}
G\left( s \right) = C{\left( {sI - A} \right)^{ - 1}}B\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{ - 2}&2
\end{array}} \right]{\left[ {\begin{array}{*{20}{c}}
s&{ - 1}\\
{ - 2}&{s + 1}
\end{array}} \right]^{ - 1}}\left[ {\begin{array}{*{20}{c}}
0\\
1
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{{2s - 2}}{{{s^2} + s - 2}} = \frac{{2\left( {s - 1} \right)}}{{\left( {s + 2} \right)\left( {s - 1} \right)}} = \frac{2}{{s + 2}}
\end{array}\]注意到此時發生 pole-zero cancellation ($s=1$ 對消在右半面) !!

(c):
接著我們計算 unit-step response (注意到 unit-step 為 Bounded-input)
\[\begin{array}{l}
Y\left( s \right) = G\left( s \right)U\left( s \right) = \left( {\frac{2}{{s + 2}}} \right)\left( {\frac{1}{s}} \right) = \frac{2}{{s\left( {s + 2} \right)}} = \frac{1}{s} + \frac{{ - 1}}{{s + 2}}\\
 \Rightarrow y\left( t \right) = 1 - {e^{ - 2t}}
\end{array}\]可發現系統輸出 $|y(t)| \le 1$ 亦即為 Bounded output。故系統為 BIBO 系統 under unit-step input。

[線性系統] 轉移函數的部分分式展開 與其對應的 反拉式轉換

令轉移函數 $G(s) := \frac{N(s)}{D(s)}$，其中 $N(s)$ 與 $D(s)$ 分別為 $s$ 的多項式，現在考慮 $G(s)$ 分母階數 比 分子階數高，亦即
\[
deg N(s) < deg D(s)
\] 我們稱此 $G(s)$ 為嚴格真分有理函數 (strictly proper rational function)。

Example 1:
\[
G(s) = \frac{s-1}{(s+2)(s+5)}
\] 為嚴格真分有理函數。

Example 2:
\[
G(s) = \frac{(s +1)(s+10)}{(s+2)(s+5)}
\] 不為嚴格真分有理函數。

若 $G(s)$ 為嚴格真分有理函數，則我們可對其做部分分式展開。現在考慮某 $G(s)$ 部分分式的寫作如下：
\[\begin{array}{l}
G\left( s \right) = \underbrace {\frac{A}{{s + a}}}_{{\rm{single}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{root}}} + \underbrace {\frac{{{B_3}}}{{{{\left( {s + b} \right)}^3}}} + \frac{{{B_2}}}{{{{\left( {s + b} \right)}^2}}} + \frac{{{B_1}}}{{{{\left( {s + b} \right)}^1}}}}_{{\rm{repetitive}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{roots}}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + \underbrace {\left( {\frac{{{C_1}}}{\omega }} \right)\frac{\omega }{{{{\left( {s + \alpha } \right)}^2} + {\omega ^2}}} + \left( {\frac{{{C_2}}}{\omega }} \right)\frac{{s + \alpha }}{{{{\left( {s + \alpha } \right)}^2} + {\omega ^2}}}}_{{\rm{conjugate}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{roots}}}
\end{array}
\]其中 $A, B_3, B_2, B_1, C_1, C_2$ 為待定係數。且 $-\alpha \pm j \omega$ 為共軛複根。

我們看個例子如何求解 嚴格真分有理函數的 部分分式。

Example
試利用部分分式展開下列轉移函數
\[
G(s) = \frac{s+3}{(s+2)(s^2 + 2s + 2)}
\]Solution
首先觀察 $G(s)$ 確實為嚴格真分有理函數 (分母階數大於分子階數)。現在我們觀察 $s^2 + 2s +2$ 有一對 共軛複根 $-1 \pm j 1$ (亦即  $-\alpha \pm j \omega = -1 \pm -j$, $\alpha = 1, \omega = 1$ )
故 $G(s)$ 部分分式可寫為
\[G(s) = \frac{A}{{s + 2}} + \left( {\frac{{{C_2}}}{1}} \right)\frac{1}{{{{\left( {s + 1} \right)}^2} + {1^2}}} + \left( {\frac{{{C_2}}}{1}} \right)\frac{{s + 1}}{{{{\left( {s + 1} \right)}^2} + {1^2}}}
\] 其中 $A, C_1, C_2$ 待定。

我們可首先求得 $A  = (s+2) G(s)|_{s = -2} = \frac{1}{2}$，接著求 $C_1$ 與 $C_2$：
由
\[\begin{array}{l}
({s^2} + 2s + 2)G(s){|_{s =  - 1 + j}}{\left. { = \frac{{s + 3}}{{s + 2}}} \right|_{s =  - 1 + j}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{{\left( { - 1 + j} \right) + 3}}{{\left( { - 1 + j} \right) + 2}} = \frac{{2 + j}}{{1 + j}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{{\left( {2 + j} \right)\left( {1 - j} \right)}}{{\left( {1 + j} \right)\left( {1 - j} \right)}} = \frac{{\left( {2 + j - 2j - {j^2}} \right)}}{{1 + 1}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{{3 - j}}{2} = \underbrace {\frac{3}{2}}_{: = {C_1}} + j\underbrace {\frac{{ - 1}}{2}}_{: = {C_2}}
\end{array}
\]故 $G(s)$ 的部分分式為
\[\begin{array}{l} G(s) = \frac{A}{{s + 2}} + \left( {\frac{{{C_2}}}{1}} \right)\frac{1}{{{{\left( {s + 1} \right)}^2} + {1^2}}} + \left( {\frac{{{C_2}}}{1}} \right)\frac{{s + 1}}{{{{\left( {s + 1} \right)}^2} + {1^2}}}\\ \begin{array}{*{20}{c}} {}&{} \end{array} = \frac{1}{2}\frac{1}{{s + 2}} + \frac{3}{2}\frac{1}{{{{\left( {s + 1} \right)}^2} + {1^2}}} + \left( {\frac{{ - 1}}{2}} \right)\frac{{s + 1}}{{{{\left( {s + 1} \right)}^2} + {1^2}}} \end{array}\ \ \ \ \square
\] 讀者可自行驗證 (透過通分) 上式確實為 $G(s)$ 的部分分式展開。

一但獲得 部分分式，則我們可以直接由 拉式轉換表 獲得對應的反拉式轉換，現回憶我們先前討論的 轉移函數
\[\begin{array}{l}
G\left( s \right) = \underbrace {\frac{A}{{s + a}}}_{{\rm{single}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{root}}} + \underbrace {\frac{{{B_3}}}{{{{\left( {s + b} \right)}^3}}} + \frac{{{B_2}}}{{{{\left( {s + b} \right)}^2}}} + \frac{{{B_1}}}{{{{\left( {s + b} \right)}^1}}}}_{{\rm{repetitive}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{roots}}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + \underbrace {\left( {\frac{{{C_1}}}{\omega }} \right)\frac{\omega }{{{{\left( {s + \alpha } \right)}^2} + {\omega ^2}}} + \left( {\frac{{{C_2}}}{\omega }} \right)\frac{{s + \alpha }}{{{{\left( {s + \alpha } \right)}^2} + {\omega ^2}}}}_{{\rm{conjugate}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{roots}}}
\end{array}
\] 其對應的 反拉式轉換 (由拉式轉換表) 可馬上得知如下：
\[\begin{array}{*{20}{l}}
\begin{array}{l}
 \Rightarrow {\cal{L}^{ - 1}}\left\{ \cdot \right\}\\
g\left( t \right) = A{e^{ - at}} + \underbrace {{B_2}\frac{{{t^2}}}{2}{e^{ - bt}} + {B_2}t{e^{ - bt}} + {B_1}{e^{ - bt}}}_{{\rm{repetitive}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{roots}}}
\end{array}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + \underbrace {\frac{{{C_1}}}{\omega }{e^{ - \alpha t}}\sin \omega t + \frac{{{C_2}}}{\omega }{e^{ - \alpha t}}\cos \omega t}_{{\rm{conjugate}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{roots}}}}
\end{array}\]

[線性系統] 動態方程式的求解(1) - LTI state equation

延續上篇，這次我們要介紹 線性非時變系統 (Linear Time-Invariant (LTI) System) 的求解。

考慮 LTI 動態系統的 狀態空間表示：
\[\left\{ {\begin{array}{*{20}{l}}
{{\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right) + {\bf{Bu}}\left( t \right)}\\
{{\bf{y}}\left( t \right) = {\bf{Cx}}\left( t \right) + {\bf{Du}}\left( t \right)}
\end{array}} \right.
\]其中 $\bf{A}(\cdot), \bf{B}(\cdot), \bf{C}(\cdot),$ 與 $\bf{E}(\cdot)$ 為 $n \times n, n \times p, q \times n,$ 與 $q \times p$  常數矩陣。


我們的目標： 求解 $\bf{x}(t)$。

在求解之前我們需要一些 exponential function ${e^{  {\bf{A}}t}}$的 FACTs:
首先回憶若令 $\bf A = a$ 亦即不再是矩陣而是一個常數 $a$，則 $e^{at}$ 具有 Taylor series 如下
\[{e^{at}}: = 1 + at + \frac{{{a^2}{t^2}}}{{2!}} + ... + \frac{{{a^n}{t^n}}}{{n!}} + ...\]故若現在讓 $a$ 變回矩陣 $\bf A$ 則我們有
\[{e^{{\bf{A}}t}}: = {\bf{I}} + {\bf{A}}t + \frac{1}{{2!}}{{\bf{A}}^2}{t^2} + ... + \frac{1}{{n!}}{{\bf{A}}^n}{t^n} + ...
\]那麼下面幾個性質，讀者可以使用上述定義直接驗證。
=====================
FACT 1: Inverse property
\[
{e^{  {\bf{A}}t}}{e^{ - {\bf{A}}t}} = \bf{I}.
\]FACT 2: Identity matrix
\[
e^{\bf{0}} = \bf{I}.
\]FACT 3: Derivative property
\[\frac{d}{{dt}}{e^{{\bf{A}}t}} = {\bf{A}}{e^{{\bf{A}}t}} = {e^{{\bf{A}}t}}{\bf{A}}.
\]=====================

有了上述的 FACT，我們現在可以開始求解 LTI 動態系統，不過求解之前我們先試著計算看看 $e^{{\bf A}{t}}$ 該怎麼計算  (這邊我們採用定義求解法，之後會用更直接的方法求解)。

-----------
Example 1
考慮矩陣
\[{\bf{A}}: = \left[ {\begin{array}{*{20}{c}}
0&1\\
0&0
\end{array}} \right]\]試求 ${e^{{\bf{A}}t}} = ?$
-----------

Solution
由 ${e^{{\bf{A}}t}} $ 定義可知
\[\begin{array}{l}
{e^{{\bf{A}}t}}: = {\bf{I}} + {\bf{A}}t + \frac{1}{{2!}}{{\bf{A}}^2}{t^2} + ... + \frac{1}{{n!}}{{\bf{A}}^n}{t^n} + ...\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
1&0\\
0&1
\end{array}} \right] + \left[ {\begin{array}{*{20}{c}}
0&1\\
0&0
\end{array}} \right]t + \frac{1}{{2!}}\underbrace {{{\left[ {\begin{array}{*{20}{c}}
0&1\\
0&0
\end{array}} \right]}^2}}_{ = {\bf{0}}}{t^2} + ...\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
1&t\\
0&1
\end{array}} \right]. \ \ \ \ \ \ \square
\end{array}\]

現在我們可以開始推導完整的 LTI 系統的狀態方程解，首先 考慮狀態方程
\[
{{\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right) + {\bf{Bu}}\left( t \right)}
\] 對上式左右同乘 ${e^{{-\bf{A}}t}}$ 可得
\[\begin{array}{l}
{e^{ - {\bf{A}}t}}{\bf{\dot x}}\left( t \right) = {e^{ - {\bf{A}}t}}{\bf{Ax}}\left( t \right) + {e^{ - {\bf{A}}t}}{\bf{Bu}}\left( t \right)\\
 \Rightarrow {e^{ - {\bf{A}}t}}{\bf{\dot x}}\left( t \right) - {e^{ - {\bf{A}}t}}{\bf{Ax}}\left( t \right) = {e^{ - {\bf{A}}t}}{\bf{Bu}}\left( t \right)
\end{array}
\]觀察上式，我們可得
\[\frac{d}{{dt}}\left( {{e^{ - {\bf{A}}t}}{\bf{x}}\left( t \right)} \right) = {e^{ - {\bf{A}}t}}{\bf{Bu}}\left( t \right)
\]現在對兩邊同取積分從 $0$ 到 $t$ ，可得
\[\begin{array}{l}
\int_0^t {d\left( {{e^{ - {\bf{A}}t}}{\bf{x}}\left( t \right)} \right)}  = \int_0^t {{e^{ - {\bf{A}}\tau }}{\bf{Bu}}\left( \tau  \right)d\tau } \\
 \Rightarrow {e^{ - {\bf{A}}t}}{\bf{x}}\left( t \right) - {\bf{x}}\left( 0 \right) = \int_0^t {{e^{ - {\bf{A}}\tau }}{\bf{Bu}}\left( \tau  \right)d\tau } \\
 \Rightarrow {\bf{x}}\left( t \right) = {e^{{\bf{A}}t}}{\bf{x}}\left( 0 \right) + {e^{{\bf{A}}t}}\int_0^t {{e^{ - {\bf{A}}\tau }}{\bf{Bu}}\left( \tau  \right)d\tau } \\
 \Rightarrow {\bf{x}}\left( t \right) = {e^{{\bf{A}}t}}{\bf{x}}\left( 0 \right) + \int_0^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } \ \ \ \ (*)
\end{array}
\] 現在我們回頭檢驗上式 $(*)$ 確實為 我們狀態方程的解，我們首先檢驗其確實符合初始條件，亦即當 $t=0 $時，${\bf{x}}\left( t \right) = {\bf{x}}\left( 0 \right)$

現令 $t = 0$，我們可得
\[\begin{array}{l}
{\bf{x}}\left( t \right) = {e^{{\bf{A}}t}}{\bf{x}}\left( 0 \right) + \int_0^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } \\
 \Rightarrow {\bf{x}}\left( 0 \right) = {e^{{\bf{A}}0}}{\bf{x}}\left( 0 \right) = {\bf{Ix}}\left( 0 \right) = {\bf{x}}\left( 0 \right)
\end{array}
\]故滿足初始條件，現在我們來檢驗 $(*)$ 滿足 狀態方程 ${{\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right) + {\bf{Bu}}\left( t \right)}$，
故現在對 $(*)$ 微分可得
\[\frac{d}{{dt}}{\bf{x}}\left( t \right) = \frac{d}{{dt}}\left[ {{e^{{\bf{A}}t}}{\bf{x}}\left( 0 \right) + \int_0^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } } \right]
\]由 Fundamental Theorem of Calculus，我們可知
\[\frac{\partial }{{\partial t}}\int_{{t_0}}^t {f\left( {t,\tau } \right)d\tau }  = \left. {f\left( {t,\tau } \right)} \right|_{\tau  = t}^{} + \int_{{t_0}}^t {\left( {\frac{\partial }{{\partial t}}f\left( {t,\tau } \right)} \right)d\tau }
\]故
\[\begin{array}{l}
\frac{d}{{dt}}{\bf{x}}\left( t \right) = \frac{d}{{dt}}\left[ {{e^{{\bf{A}}t}}{\bf{x}}\left( 0 \right) + \int_0^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } } \right]\\
 \Rightarrow {\bf{\dot x}}\left( t \right) = {\bf{A}}{e^{{\bf{A}}t}}{\bf{x}}\left( 0 \right) + \frac{d}{{dt}}\left[ {\int_0^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } } \right]\\
 \Rightarrow {\bf{\dot x}}\left( t \right) = {\bf{A}}{e^{{\bf{A}}t}}{\bf{x}}\left( 0 \right) + {e^{{\bf{A}}\left( {t - t} \right)}}{\bf{Bu}}\left( t \right) + \int_0^t {\left( {\frac{d}{{dt}}{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)} \right)d\tau } \\
 \Rightarrow {\bf{\dot x}}\left( t \right) = {\bf{A}}{e^{{\bf{A}}t}}{\bf{x}}\left( 0 \right) + {\bf{Bu}}\left( t \right) + \int_0^t {{\bf{A}}{e^{{\bf{A}}\left( t \right)}}{e^{{\bf{A}}\left( { - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } \\
 \Rightarrow {\bf{\dot x}}\left( t \right) = {\bf{A}}\underbrace {\left[ {{e^{{\bf{A}}t}}{\bf{x}}\left( 0 \right) + \int_0^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } } \right]}_{{\rm{ = }}{\bf{x}}\left( t \right)} + {\bf{Bu}}\left( t \right)\\
 \Rightarrow {\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right) + {\bf{Bu}}\left( t \right)
\end{array}
\] 故得證 $(*)$ 即稱為 LTI 狀態方程的解。

我們將上述結果紀錄在下方：
考慮 LTI 動態系統的 狀態方程：
\[{\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right) + {\bf{Bu}}\left( t \right)
\]其解為
\[{\bf{x}}\left( t \right) = {e^{{\bf{A}}t}}{\bf{x}}\left( 0 \right) + \int_0^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } \]


那麼現在問題變成，如果我們拓展LTI系統到線性時變 (Linear Time Varying, LTV) 系統，則上述方法是否仍然可行?
答案是 "否定" 的，故我們需要令求其他方法來幫助我們，在下一篇文章我們將會介紹線性時變 (LTV) 系統的狀態方程該如何求解:
[線性系統] 動態方程式的求解(2) - LTV state equation, Fundamental Matrix, and State Transition Matrix

[線性系統] 動態方程式的求解(0) - Review 1st ODE, DE, & $e^{At}$

在求解動態方程是之前，我們先回顧一下基本 一階常微分方程的求解：

Example 1
試求解
\[
\dot {x} = a x, \ x(t_0) = x_0
\]其中 $a$ 為常數。
Solution
利用變數分離法：
\[\begin{array}{*{20}{l}}
{\frac{d}{{dt}}x\left( t \right) = ax\left( t \right)}\\
{ \Rightarrow \int_{{t_0}}^t {\frac{1}{{x\left( \tau  \right)}}dx\left( \tau  \right)}  = \int_{{t_0}}^t {ad\tau } }\\
{ \Rightarrow \left. {\ln \left( {x\left( \tau  \right)} \right)} \right|_{{t_0}}^t = a\left( {t - {t_0}} \right)}\\
{ \Rightarrow \ln \left( {x\left( t \right)} \right) - \ln \left( {x\left( {{t_0}} \right)} \right) = a\left( {t - {t_0}} \right)}\\
{ \Rightarrow \ln \left( {\frac{{x\left( t \right)}}{{{x_0}}}} \right) = a\left( {t - {t_0}} \right)}\\
{ \Rightarrow x\left( t \right) = {x_0}{e^{a\left( {t - {t_0}} \right)}}}. \ \ \ \ \square
\end{array}
\]

Example 2
試求解
\[
\dot {x} = a x + bu, \ x(t_0) = x_0
\]其中 $a, b \neq 0$ 為常數。
Solution
上式為標準一階常微分方程，一般而言，微分方程的解可分為兩個部分

1. 自由響應 (free response)又稱 零輸入響應(zero input response) ；亦即令 $u(t) = 0$ 所求得的解
2. 外力響應 (forced response) 又稱 零狀態響應 (zero state response)；亦即令 $x(t_0) = 0$所求得的解

整個解 $x(t) $  = 自由響應 + 外力響應；

故首先求解 自由響應  ，令 $u=0$，我們得到
\[
\dot {x} = a x , \ x(t_0) = x_0
\]
由 Example 1，我們知道對於 $\dot{x} = ax$ 的微分方程，其對應的解為 $x(t) = x_0e^{a(t-t_0)}$。

現在我們求解外力響應：令 $x(t_0) = 0$
故我們可以猜對於 $\dot {x} = a x + bu$ ，其解具有下列型態：
\[
 x(t) = e^{at} F(t) \ \ \ \ (*)
\] 其中 函數 $F(t)$ 待定。
現在將上式 待入微分方程 $\dot{x} = ax + bu$ 之中我們得到
\[\begin{array}{l}
 a{e^{at}}F(t) + {e^{at}}\dot F(t) = a{e^{at}}F(t) + bu\\
 \Rightarrow {e^{at}}\dot F(t) = bu
\end{array}\] 現在我們可求解 $F(t)$ 如下
\[\begin{array}{l}
\frac{{dF(t)}}{{dt}} = {e^{ - at}}bu\left( t \right)\\
 \Rightarrow \int_{{t_0}}^t {dF(\tau )}  = \int_{{t_0}}^t {{e^{ - a\tau }}bu\left( \tau  \right)d\tau } \\
 \Rightarrow F(t) - F\left( {{t_0}} \right) = \int_{{t_0}}^t {{e^{ - a\tau }}bu\left( \tau  \right)d\tau } \\
 \Rightarrow F(t) = \int_{{t_0}}^t {{e^{ - a\tau }}bu\left( \tau  \right)d\tau }  + F\left( {{t_0}} \right) \ \ \ \ (\star)
\end{array}
\] 注意到 $x(t_0)=0$，故由 $(*)$ 我們亦可知
\[
 x(t) = e^{at} F(t) \Rightarrow  x(t_0) = e^{at_0} F(t_0) \Rightarrow 0 = e^{at_0} F(t_0)
\]由於 $e^{a t_0} \neq 0$，故 $ F(t_0) = 0$，所以 $(\star)$ 變成：
\[
F(t) = \int_{{t_0}}^t {{e^{ - a\tau }}bu\left( \tau  \right)d\tau }
\] 又因為我們原本由 $(*)$ 定義為 $ x(t) = e^{at} F(t)$，故外力響應 為
\[
x(t) =\int_{{t_0}}^t {{e^{a\left( {t - \tau } \right)}}bu\left( \tau  \right)d\tau }
\]

現在將 自由響應 與 外力響應合併起來，即可求得整個 一階常微分方程的總解

\[ x(t) =  x_0e^{a(t-t_0)} + \int_{{t_0}}^t {{e^{a\left( {t - \tau } \right)}}bu\left( \tau  \right)d\tau }.  \ \ \ \ \square \]

Example 3
試求解 下列一階 時變(time-varying) 微分方程
\[
\dot{x} = a(t) x(t), \ x(t_0) =x_0
\]
Solution
同 Example 1，我們可將其改寫並利用變數分離法求解
\[\begin{array}{l} \frac{d}{{dt}}x\left( t \right) = a(t)x(t)\\ \Rightarrow \frac{1}{{x(t)}}dx\left( t \right) = a(t)dt\\ \Rightarrow \int_{{t_0}}^t {\frac{1}{{x(\tau )}}dx\left( \tau \right)} = \int_{{t_0}}^t {a(\tau )d\tau } \\ \Rightarrow \ln \left. {x(\tau )} \right|_{{t_0}}^t = \int_{{t_0}}^t {a(\tau )d\tau } \\ \Rightarrow \ln x(t) - \ln x({t_0}) = \int_{{t_0}}^t {a(\tau )d\tau } \\ \Rightarrow \ln \frac{{x(t)}}{{x({t_0})}} = \int_{{t_0}}^t {a(\tau )d\tau } \\ \Rightarrow x(t) = {x_0}{e^{\int_{{t_0}}^t {a(\tau )d\tau } }} \end{array}
\]

有了上述的三個例子，我們現在可以把目標轉向 矩陣形式：亦即 $n$ 維 動態方程的求解：

考慮 $n$ 維 線性 時變 動態方程 (Linear Time-varying dynamical equation)
\[
\left\{ \begin{array}{l}
{\bf{\dot x}}\left( t \right){\bf{ = A}}\left( t \right){\bf{x}}\left( t \right){\bf{ + B}}\left( t \right){\bf{u}}\left( t \right)\\
{\bf{y}}\left( t \right){\bf{ = C}}\left( t \right){\bf{x}}\left( t \right){\bf{ + D}}\left( t \right){\bf{u}}\left( t \right)
\end{array} \right.
\] 其中 $\bf{A}(\cdot), \bf{B}(\cdot), \bf{C}(\cdot),$ 與 $\bf{E}(\cdot)$ 為 $n \times n, n \times p, q \times n,$ 與 $q \times p$  在時刻 $t$ 定義在 $(-\infty, \infty)$ 的 實數 連續函數矩陣

上式的求解需要一些數學工具的幫忙，我們首先介紹特殊矩陣函數 $e^{\bf{A}(t)}$：

首先回憶指數函數 $e^{\lambda t}$ 可由 Taylor Series 無窮級數展開：
\[
e^{\lambda t} = 1 + \lambda t + \frac{\lambda^2 t}{2!} + ... + \frac{\lambda^n t^n}{n!}+...
\]同樣的若現在考慮常數矩陣 ${\bf{A}}$，由 Caley-Hamilton Theorem ，我們亦可將 ${e^{{\bf{A}}(t)}}$ 透過類似 Taylor Series 無窮級數展開將其表為：
\[
{e^{{\bf{A}}{t}}} = {\bf{I}} + t{\bf{A}} + \frac{t}{{2!}}{{\bf{A}}^2} + ... + \frac{{{t^n}}}{{n!}}{{\bf{A}}^n} + ... = \sum\limits_{k = 0}^\infty  {\frac{{{t^k}}}{{k!}}{{\bf{A}}^k}}
\]

現在先看幾個性質：
1.  $e^{\bf{0}} = \bf {I} $。
(Proof: 由上述無窮級數展開令 $\bf{A} = 0$)

2. ${e^{{\bf{A}}({t_1} + {t_2})}} = {e^{{\bf{A}}({t_1})}}{e^{{\bf{A}}({t_2})}}$
 (Proof: 由上述無窮級數展開令 $t = t_1 + t_2$ 即可得證)

3.  ${\left[ {{e^{{\bf{A}}t}}} \right]^{ - 1}} = {e^{ - {\bf{A}}t}}$
Proof:
由上述性質2，令 $t_2 = -t_1$，我們可得
\[{e^{{\bf{A}}({t_1} - {t_1})}} = {e^{{\bf{A}}({t_1})}}{e^{ - {\bf{A}}({t_1})}} = {e^{{\bf{A}} \cdot 0}} = {e^{\bf{0}}} = {\bf{I}}
\] 由反矩陣定義，可知 ${\left[ {{e^{{\bf{A}}t}}} \right]^{ - 1}} = {e^{ - {\bf{A}}t}}$。

4. $\frac{d}{{dt}}{e^{{\bf{A}}t}} = {\bf{A}}{e^{{\bf{A}}t}} = {e^{{\bf{A}}t}}{\bf{A}} $

有了上述性質之後我們便可以開始討論狀態方程求解
[線性系統] 動態方程式的求解(1) - LTI state equation

[隨筆] 時間謬論 Paradox of time

我想討論一個關於時間的概念，這個概念體現了這世界一個非常有趣的觀點，假設我們正處在人生的某個時間點，你可能把這段時間當成 無關緊要 甚至 稀鬆平常 的一日，但是對某些人而言，這個時間點卻可能無比重要；相反地，當某些人覺得不過是平凡一天的時光時，你卻可能正在經歷"你認為的"相當重要的事情，而且這件事會讓你覺得這個時間點即將發生的事件，將會嚴重影響妳往後人生路途，這種"所謂的"關鍵時刻蘊含相當大的焦慮與不安。

我們來假設你今天有個非常重要的行程 (基測/學測/TOEFL/GRE/面試/結婚/ whatever..)
在這個重要的時間點前，可能會感覺要無比緊張甚至認為幾乎就像是末日來臨

這時候，也許我們可以想想路上的行人，可能正在度過日復一日的"同一天"
他們也許想著每天的例行公事，走著每天必走的回家路，哼著重複的旋律

讓我們在進一步想想在這個重要時間點的隔天，隔一周，隔幾年之後的自己
當你想到當初是多麼手足無措時，會不會啞然失笑呢?

所以，讓我們試著放寬心，勇敢走下去好嗎:)

[繪圖] 塗鴉

by Chung-Han Hsieh

工具：蠟筆

[數學分析] 逐點收斂與均勻收斂(3) - Differentiation property

如果我們手邊有一個 均勻收斂的 函數 sequence $\{f_n \}$ 且假設此數列可微，我們想知道均勻收斂是否能給我們一些關於此函數sequence 微分 $\{ f_n' \}$ 的一些關聯?

首先看個例子：

Example:
令
\[
f_n(x) := \frac{\sin nx}{\sqrt{n}}, \;\; (x \in \mathbb{R}, \;n=1,2,3,...)
\]試回答下列問題：
1. 函數是否逐點收斂(converges pointwise)?
2. 是否均勻收斂(converges uniformly)?
3. 此函數sequence 導數 $f_n'(x)$ 為何?
4. 此函數sequence 的導數  $\{ f_n'\}$是否逐點收斂?
5. 此函數sequence 的導數  $\{ f_n'\}$是否均勻收斂?
Solution
1. 首先檢驗是否逐點收斂
給定 $x \in \mathbb{R}$，我們可知道當 $n \rightarrow \infty$ 函數 sequence $\{f_n \}$為
\[\mathop {\lim }\limits_{n \to \infty } {f_n}\left( x \right) = \mathop {\lim }\limits_{n \to \infty } \frac{{\sin nx}}{{\sqrt n }} = 0
\]亦即此 $\{f_n \}$ converges pointwise 到 $0$

2. 現在我們檢驗其是否為均勻收斂，由均勻收斂的 sup-norm 定義，我們可檢驗其 sup-norm 看是否收斂到 $0$；亦即檢驗
\[\left\| {{f_n} - f} \right\| = \mathop {\sup_{x \in \mathbb{R}} } \left| {\frac{{\sin nx}}{{\sqrt n }} - 0} \right| = \mathop {\sup_{x \in \mathbb{R}} } \left| {\frac{{\sin nx}}{{\sqrt n }}} \right| \le \frac{1}{{\sqrt n }}
\]故讓 $n \rightarrow \infty$可得
\[\mathop {\lim }\limits_{n \to \infty } \left\| {{f_n} - f} \right\| = 0\]

3. 此函數 sequence 導數為
\[{f_n}'\left( x \right) = \frac{1}{{\sqrt n }}n\cos nx = \sqrt n \cos nx\]

4. & 5. 此函數 sequence 的導數是否逐點收斂?
由結果 3 可知函數 sequence 的導數為 $\sqrt n \cos nx$ 此函數為在 $-1$ 與 $1$ 之間上下震盪的 cosine ，故若我們讓 $n \rightarrow \infty$ 皆不(逐點)收斂。既然此函數導數不收斂故必定不為均勻收斂。$\square$


故從上例可看出儘管原函數 sequence 具備均勻收斂，仍沒有辦法保證其導數sequence $\{ f_n'\}$依然均勻收斂。那麼問題變成 我們想知道 導數 sequence 與 原函數 sequence 之間的關係

不過我們在介紹此結果之前，我們需要一些事先工具：
===================
Mean Value Theorem 
設 $f: [a,b] \rightarrow \mathbb{R}$ 為連續函數 且 $f$ 在 $(a,b)$ 上可微。則 存在 $x \in (a,b)$ 使得
\[
|f(b) - f(a)| \le (b-a)|f'(x)|
\]===================

Proof: omitted.

====================
Theorem: Uniform Convergence Preserves Continuity
假設 $f_n \rightarrow f$ 均勻收斂在 $E \subset X$，令 $x$ 為 $E$ 上的 limit point，且假設 $\lim_{t \rightarrow x} f_n(t) = A_n(x)$ 對 $n = 1,2,3,...$則
1. $\{A_n \}$ 收斂
2. $\displaystyle \lim_{t \rightarrow x}f(t) = \displaystyle \lim_{n \rightarrow \infty} A_n(x)$
====================

Proof: omitted.

我們將此結果記做以下定理：
=======================
Theorem: Uniform Convergence and Differentiation Property
假設 $\{ f_n\}$ 為在封閉區間 $[a,b]$上可微的函數 sequence，且存在某點 $x_0 \in [a,b]$ 使得 sequence $\{ f_n(x_0)\}$ 收斂。現若 函數導數sequence $\{ f_n'\}$ 在 $[a,b]$ 上均勻收斂，則
1. 原函數sequence  $\{f_n \}$ 在 $[a,b]$上均勻收斂到某函數 $f$ 且
2. 對任意 $x \in [a,b]$，我們有
\[f'\left( x \right) = \mathop {\lim }\limits_{n \to \infty } {f_n}'\left( x \right)\]
=======================

Proof
我們先證 函數sequence  $\{f_n \}$ 在 $[a,b]$上均勻收斂到某函數 $f$ (但不知道此函數 $f$ 是否存在，我們必須現證明此函數收斂才可說 $f$ 存在)，故給定 $\varepsilon >0$ 我們要證明： 存在 $N$ 使得 $n ,m> N$ 與 $x \in [a,b]$，
\[
|f_n(x) - f_m(x)| < \varepsilon \ \ \ \ (\star)
\](亦即使用 Cauchy criterion 判斷均勻收斂)。

注意到我們已知 "存在某點 $x_0 \in [a,b]$ 使得 sequence $\{ f_n(x_0)\}$ 收斂"，故 $\{f_n \}$為 Cauchy，亦即存在 $N$ 使得 $n,m > N$
\[
|f_n(x_0) - f_m(x_0)| < \varepsilon \ \ \ \ (*)
\]且又知道 "函數導數sequence $\{ f_n'\}$ 在 $[a,b]$ 上均勻收斂"，故我們直接取前面 Cauchy 要求的 $N$ 使得
\[
|f_n'(x) - f'(x)| < \varepsilon/(b-a)
\]觀察上式，若 $n > N$ 則我們有 $|f_n'(x) - f'(x)| < \varepsilon/(b-a)$  且由於 "  $\{ f_n\}$ 為在封閉區間 $[a,b]$上可微的函數 sequence"，我們知道 $f_n - f_m$ 亦為可微函數，故對 $f_n - f_m$ 使用 Mean Value Theorem 可巧妙整合 $(*)$，亦即我們有 對任意 $x, t \in [a,b]$ ， $n,m >N$ 則
\[\begin{array}{l}
|\left( {{f_n}(x) - {f_m}(x)} \right) - \left( {{f_n}(t) - {f_m}(t)} \right)| \le |x - t| \cdot |{f_n}'(x) - {f_m}'(x)|\\
 \Rightarrow |\left( {{f_n}(x) - {f_m}(x)} \right) - \left( {{f_n}(t) - {f_m}(t)} \right)| \le |x - t|\frac{\varepsilon }{{b - a}} < \varepsilon
\end{array}\]上式最後的不等式成立因為 $|x - t| \le |b -a|$。

現在我們觀察
\[\begin{array}{l}
|{f_n}(x) - {f_m}(x)| = |{f_n}(x) - {f_n}({x_0}) + {f_n}({x_0}) - {f_m}({x_0}) + {f_m}({x_0}) - {f_m}(x)|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \le \underbrace {|{f_n}(x) - {f_n}({x_0}) + {f_m}({x_0}) - {f_m}(x)|}_{ < \varepsilon } + \underbrace {|{f_n}({x_0}) - {f_m}({x_0})|}_{{\rm{ < }}\varepsilon }\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} < {\rm{2}}\varepsilon
\end{array}
\]故我們證明了 $\{ f_n \}$ 在 $[a,b]$上為 Cauchy (滿足 Cauchy criterion) 故 $\{f_n  \}$ 在 $[a,b]$上均勻收斂。

由於我們已知 $\{ f_n\}$ (均勻)收斂故現在可令
\[
f(x) := \lim_{n \rightarrow \infty} f_n(x), \;\; (x \in [a,b])
\]----
現在給定 $x \in [a,b]$，我們開始證明 2：亦即要證
\[f'\left( x \right) = \mathop {\lim }\limits_{n \to \infty } {f_n}'\left( x \right)
\]我們首先定義兩輔助函數 $\phi_n, \phi$ 如下：對 $t \in [a,b]$ 且 $t \neq x$，
\[{\phi _n}\left( t \right): = \frac{{{f_n}\left( t \right) - {f_n}\left( x \right)}}{{t - x}};\;\;\phi \left( t \right): = \frac{{f\left( t \right) - f\left( x \right)}}{{t - x}}
\]注意到上式 $\phi_n$，若我們讓 $n=1,2,3...$  ，由導數定義可知
\[\mathop {\lim }\limits_{t \to x} {\phi _n}\left( t \right) = {f_n}'\left( x \right) \ \ \ \ (\star)
\]我們希望輔助函數 $\phi_n$ 可以均勻收斂到 $\phi$，由於已知 $\mathop {\lim }\limits_{t \to x} {\phi _n}\left( t \right) = {f_n}'\left( x \right)$ ，故一旦  $\phi_n$ 可以均勻收斂到 $\phi$， 則透過 Theorem of Uniform Convergence Preserves Continuity 可知
1. $\{f_n' \}$ 收斂
2. $\displaystyle \lim_{t \rightarrow x}\phi (t) = \displaystyle \lim_{n \rightarrow \infty} f_n'$

故我們開始證明 $\phi_n$ 均勻收斂到 $\phi$，現在觀察
\[\begin{array}{l}
\left| {{\phi _n}\left( t \right) - {\phi _m}\left( t \right)} \right| = \left| {\frac{{{f_n}\left( t \right) - {f_n}\left( x \right)}}{{t - x}} - \frac{{{f_m}\left( t \right) - {f_m}\left( x \right)}}{{t - x}}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \left| {\frac{1}{{t - x}}} \right|\left| {\left( {{f_n}\left( t \right) - {f_n}\left( x \right)} \right) - \left( {{f_m}\left( t \right) - {f_m}\left( x \right)} \right)} \right| \ \ \ \ (**)
\end{array}
\]再次利用 Mean Value Theorem 對 $f_n - f_m$ 且讓 $n,m > N$可得
\[\left| {\left( {{f_n}\left( t \right) - {f_m}\left( x \right)} \right) - \left( {{f_n}\left( t \right) - {f_m}\left( x \right)} \right)} \right| \le \left| {t - x} \right|\left| {{f_n}'\left( t \right) - {f_m}'\left( t \right)} \right| < \left| {t - x} \right|\frac{\varepsilon }{{b - a}}  \]
故 $(**)$ 變為
\[\left| {{\phi _n}\left( t \right) - {\phi _m}\left( t \right)} \right| < \left| {\frac{1}{{t - x}}} \right|\left| {t - x} \right|\frac{\varepsilon }{{b - a}} = \frac{\varepsilon }{{b - a}}
\]由於 $b-a$ 為有界，故我們可透過讓 $n,m$ 足夠大使得 $|\phi_n - \phi_m| \rightarrow 0$；亦即 我們證明了 $\{\phi_n \}$ 為 Cauchy ，故若 $t \neq x$，則 $\phi_n$ 均勻收斂 (到 $f_n'$)；另外由於我們已知 $f_n$ 均勻收斂到 $f$，故我們可令
\[\mathop {\lim }\limits_{n \to \infty } {\phi _n}(t): = \underbrace {\phi (t)}_{ = {f_n}'\left( x \right)},\;\;t \ne x,t \in [a,b]\]
總結手邊的結果，現在我們有 $\phi_n \rightarrow \phi$ 均勻收斂，且由 $(\star)$ 可知 $\mathop {\lim }\limits_{t \to x} {\phi _n}\left( t \right) = {f_n}^\prime \left( x \right)$ ，故透過 Theorem of Uniform Convergence Preserves Continuity  可知
1. $f_n'$ 收斂
2. 且
\[\begin{array}{l}
\mathop {\lim }\limits_{t \to x} \phi (t) = \mathop {\lim }\limits_{n \to \infty } {f_n}'(x)\\
 \Rightarrow f\left( t \right) = \mathop {\lim }\limits_{n \to \infty } {f_n}'(x)
\end{array}\]

延伸閱讀

[數學分析] 逐點收斂與均勻收斂(4) - Uniform boundedness and Equicontinuity

[數學分析] 逐點收斂與均勻收斂(2) - Series version

令 $X$ 為 metric space。現在考慮 一組 函數 sequence $\{f_n \}$ 定義在集合 $E \subset X$，我們稱 $\{f_n \}$為 uniform convergence 若下列任一條件成立
1. (Definition) 對任意 $\varepsilon >0$, 存在 $N >0$ 使得 $n > N$ 對所有的 $x \in E$
\[|f_n(x) - f(x)| < \varepsilon
\]2. (Cauchy criterion) 若對任意 $\varepsilon >0$, 存在 $N >0$ 使得 對任意 $x \in E$， 我們有 \[
 n,m > N \Rightarrow |f_n(x) - f_m(x)| < \varepsilon
\]3. (Sup-norm version) 若 \[
\lim_{n \rightarrow \infty} \sup_{x \in E} |f_n(x) - f(x)| =\lim_{n\rightarrow \infty}||f_n - f|| =0
\]
那麼現在我們看看若是一個級數而言，我們亦可討論此級數 是否 uniform convergence。故我們先給定級數收斂的定義

====================
Definition: (Convergence of Series of numbers )
令級數 $ \sum_{n=1}^{\infty}a_n$, 其中 $a_n \in \mathbb{R}$ ，我們稱此級數收斂若下列條件成立：
對任意 $\varepsilon >0$，存在 $N>0$ 使得 對任意 $m > N$
\[\left| {\sum\limits_{n = 1}^\infty  {{a_n}}  - \sum\limits_{n = 1}^m {{a_n}} } \right| < \varepsilon \]亦即所謂的級數的 partial sum 收斂。
====================

那麼對於一組函數級數的收斂該怎麼定義呢?

====================
Definition: (Convergence of Series of functions )
$E \subset X$，給定 $\{f_n(x) \}$ 為在 $E$ 上的函數 sequence，定義 函數級數 $ \sum_{n=1}^{\infty}f_n(x)$, 其中 $a_n \in \mathbb{R}$ ，我們稱此 函數級數為 逐點收斂(converges pointwise) 若下列條件成立：
給定任意點 $x \in E$，對任意 $\varepsilon >0$，存在 $N>0$ 使得 對任意 $m > N$
\[\left| {\sum\limits_{n = 1}^\infty  {{f_n(x)}}  - \sum\limits_{n = 1}^m {{f_n(x)}} } \right| < \varepsilon \]亦即所謂的級數的 partial sum 收斂。

我們稱此 函數級數 為 均勻收斂(converges uniformly) 若下列條件成立：
對任意 $\varepsilon >0$，存在 $N>0$ 使得 對任意 $m > N$ 與 任意 $x \in E$
\[\left| {\sum\limits_{n = 1}^\infty  {{f_n(x)}}  - \sum\limits_{n = 1}^m {{f_n(x)}} } \right| < \varepsilon \]亦即所謂的級數的 partial sum 收斂。
====================

注意到上述定義要求無窮級數合，這在使用上會有一定的困難，故我們轉而利用 Cauchy criterion  (因為 "級數" 本身可視為一個函數。則透過函數的均勻收斂條件可知道 若且唯若 Cauchy criterion 成立 )，亦即：

Cauchy Criterion for uniform convergent series
函數級數 $ \sum_{n=1}^{\infty}f_n(x)$ 為 均勻收斂(converges uniformly)若下列條件成立
對任意 $\varepsilon >0$, 存在 $N >0$ 使得 $n,m > N (n>m>N)$, $x \in E$ 我們有\[\left| {\sum\limits_{k = 1}^n {{f_k}(x)}  - \sum\limits_{k = 1}^m {{f_k}(x)} } \right| < \varepsilon \]


接著我們在給出一個更進一步的結果，就是若函數級數的每一項都有界，且其有界函數的級數合收斂，則原函數級數有 均勻收斂，此稱作 Weierstrass M test 記做下面定理
====================
Theorem: Weierstrass M-test
設 $\{f_n \}$ 為一組定義在集合 $E$ 上函數 sequence，且我們假設
\[
|f_n(x)| \le M_n, (x\in E, n\in \mathbb{N})
\] 現若 級數 $\sum_n M_n$ 收斂，則 $\sum_n f_n$ converges uniformly on $E$ 。
====================

Proof:
給定任意 $\varepsilon >0$，我們可使用 Cauchy criterion 幫助我們判斷 函數級數的 均勻收斂；現在觀察 partial sum：
\[\left| {\sum\limits_{k = 1}^n {{f_k}(x)}  - \sum\limits_{k = 1}^m {{f_k}(x)} } \right| = \left| {\sum\limits_{k = m}^n {{f_k}(x)} } \right| \le \sum\limits_{k = m}^n {\left| {{f_k}(x)} \right|}  \le \sum\limits_{k = m}^n {{M_k}} \ \ \ \ (*)
\]上述不等式最後一項成立 (使用假設 $|f_k(x)| \le M_k, (x\in E, k\in \mathbb{N})$)，又因為 級數 $\sum_n M_n$ 收斂，故可知 $(*)$ 收斂，亦即存在一個 $N$ 使得 當 $m,n > N$ 的時候，
\[\left| {\sum\limits_{k = 1}^n {{f_k}(x)}  - \sum\limits_{k = 1}^m {{f_k}(x)} } \right| \le \sum\limits_{k = m}^n {{M_k}}  < \varepsilon \]亦即 $\sum_n f_n$ converges uniformly on $E$

Example
考慮級數
\[
\sum_{n=1}^{\infty} \frac{\sin (nx)}{n^2}
\]試判斷此級數是否均勻收斂?
Solution
利用 Weierstrass M-test，首先檢驗
\[
 |\frac{\sin (nx)}{n^2}| \le |\frac{1}{n^2}|
\]接著觀察
\[
\sum_{n=1}^\infty \frac{1}{n^2} \rightarrow 0
\]故 由Weierstrass M-test Theorem
\[
\sum_{n=1}^{\infty} \frac{\sin (nx)}{n^2} \rightarrow 0
\]均勻收斂。


延伸閱讀
[數學分析] 逐點收斂與均勻收斂(3) - Differentiation property

[數學分析] 逐點收斂與均勻收斂(4) - Uniform boundedness and Equicontinuity

[衍生商品] 希臘值與動態避險 (2) - Gamma and Gamma Neutrality

延續上篇 [衍生商品] 希臘值與動態避險 (1)-Delta Hedging Example ，這次要介紹 希臘值 Gamma: $\Gamma$，此參數定義為
\[
\Gamma := \frac{\partial^2 f}{\partial S^2}
\] 亦即為標的資產價格 $S$ 的二次偏導數。

注意到之前我們定義過 $\Delta := \frac{\partial f}{\partial S}$，故 $\Gamma$ 可視為選擇權 $\Delta $ 的變化 與 標的資產價格 $S$ 變化的比率。

Comment
1. 當 $\Gamma $ 很小的時候，表示 $\Delta$ 變化緩慢 (stable $\Delta$) (亦即對標的資產價格變動不敏感)，故此時對於 $\Delta$-Hedging 所需的 Rebalance 不需太過頻繁。但是若 $\Gamma$ 很大的時候，表示 $\Delta$ 變化劇烈，亦即對標的資產價格變動非常敏感，故此時 $\Delta$-Hedging 需要頻繁的做 Rebalance 來確保 Delta-Neutral ($\Delta =0$)。

2. 如果考慮的是一個 選擇權交易組合的 $\Gamma$，則其定義為
\[
\Gamma := \frac{\partial^2 \Pi}{\partial S^2}
\] 其中 $\Pi$ 為選擇權交易投資組合的價格。

假定且我們假設 標的資產的波動度為 Constant，則投資組合的價格為資產價格 $S$ 與 時間 $t$ 的函數，亦即我們可對 $\Delta \Pi$ 做泰勒展開求資產價格的變化
\[
\small{\Delta \Pi  = \underbrace {\frac{{\partial \Pi }}{{\partial S}}}_\Delta \Delta S + \underbrace {\frac{{\partial \Pi }}{{\partial t}}}_\Theta \Delta t + \frac{1}{2}\underbrace {\frac{{{\partial ^2}\Pi }}{{\partial {S^2}}}}_\Gamma \Delta {S^2} + \frac{1}{2}\frac{{{\partial ^2}\Pi }}{{\partial {t^2}}}\Delta {t^2} + \frac{1}{2}\frac{{{\partial ^2}\Pi }}{{\partial S\partial t}}\Delta S\Delta t + ...
}\]其中 $\Delta \Pi$ 與 $\Delta S$ 為 很小的時間區間 $\Delta t$ 內投資組合的價格與股票價格的變化。

現在如果此 投資組合為 Delta-Neutral，亦即 $\Delta=0$，且我們忽略高階項的效果，則上述泰勒展開可改寫為
\[\Delta \Pi  \approx \Theta \Delta t + \frac{1}{2}\Gamma \Delta {S^2} \ \ \ \ (*)
\]
下圖展示了 Delta Neutral 的投資組合 $\Delta \Pi$ 與 $\Delta S$的關係。

上圖顯示了如果是 Long option (則此時標的股價上升則投資組合價格跟著上升)，則 $\Gamma >0, \Theta <0$
如果是 Short option ，則 $\Gamma <0, \Theta >0$

3. 對於 European Call option 與 European Put option，B-S formula 可直接求得 $\Gamma$ 的解析式如下：
\[
\Gamma  = \frac{{N'\left( {{d_1}} \right){e^{ - qT}}}}{{{S_0}\sigma \sqrt T }}
\] 其中 $N'(\cdot)$ 為 Standard Normal density function。
\[N'\left( {{d_1}} \right) = \frac{1}{{\sqrt {2\pi } }}{e^{\frac{{ - d_1^2}}{2}}}\]

現在我們看個例子：

=============================

Example (Gamma Neutrality)
假定某標的資產投資組合為 Delta Neutral，其對應的 Gamma 值為 $-10000$，現在假設標的資產價格 $\Delta S$ 在短時間內變化為 $+2$ 或者 $-2$ (假設短時間 $\Delta t \approx 0$)，則交易組合的價值變動為何?

============================

Solution
由於此投資組合已經為 Delta Neutral，故 $\Delta =0$，我們可利用之前推導的結果： $(*)$
\[\begin{array}{l}
\Delta \Pi  \approx \Theta \Delta t + \frac{1}{2}\Gamma \Delta {S^2}\\
 \Rightarrow \Delta \Pi  \approx 0 + \frac{1}{2}\left( { - 10000} \right){\left( 2 \right)^2} = -20000
\end{array}\]亦即交易組合價值下跌 $20000$ 元。 $\square$

再者我們介紹如何使投資組合進一步具備 Gamma Neutral 的特性

Gamma Hedging and Gamma Neutral
假定一個 Delta Neutral 的投資組合的Gamma 值為 $\Gamma$，而某交易所的交易選擇權的Gamma 值為 $\Gamma_T$，現若決定將 $w_T$ 數量的選擇權加入到原本的投資組合中，則新的投資組合的 Gamma 值為 $\Gamma^*$
\[
\Gamma^* =\Gamma + w_T \Gamma_T
\]故如果我們要使投資組合為 Gamma-Neutral，亦即 $ \Gamma^* =0$則我們需用
\[\begin{array}{l}
{\Gamma ^*} = \Gamma  + {w_T}{\Gamma _T} = 0\\
 \Rightarrow {w_T} =  - \frac{\Gamma }{{{\Gamma _T}}}
\end{array}
\] 亦即須增加/減少 $w_T$ 個選擇權，但注意到當我們達成 Gamma Neutral 的時候，很可能會變動到原本的 Delta，故我們需回頭調整 Delta 來保證薪投資組合除了 Gamma Netural 之外亦維持 Delta Netural。

以下我們看個例子如何同時達成 Gamma 與 Delta Neutral。

Example: Delta & Gamma Neutrality
考慮一投資組合為 Delta Neutral，且其 $\Gamma = -3000$，而對應於交易所交易的選擇權的 $\Delta = 0.62, \Gamma=1.50$，試建立一個新的 投資組合使得其 Gamma 與 Delta Neutral

Solution
STEP1 : 首先對付 Gamma
令 $w_T$ 為需交易的選擇權數量。則我們要 $\Gamma^*=\Gamma  + {w_T}{\Gamma _T} = 0$故
\[
-3000 + w_T 1.50 = 0\\
\Rightarrow {\rm{ }}{w_T}{\rm{ }} = 2000
\] 故需買入 2000 份選擇權來達成 Gamma Neutral。

STEP2: 找出 Gamma Hedging 之後的 Delta 為多少?
再者由於我們對原本 Delta Neutral 的投資組合中 加入了 2000份的選擇權，故 Delta 被更動，不再是 Delta Neutral。新的 Delta 為
\[
2000 \times 0.62 = 1240
\]亦即透過 Gamma Hedging 之後我們新的投資組合多了 $1240 $ 的 Delta

STEP3 : 對付 Delta :
由於我們多了 1240 的 Delta ，故需賣出1240股達成 $\Delta$ hedging。
(注意到賣出標的股票並不會影響 $\Gamma$ (WHY?! 因為 $\frac{\partial^2}{\partial S^2} S =0$ ) $\square$


接著我們看個稍微複雜一點的例子：

Example (Delta/Gamma Neutral via Put and Call combination )

假定某公司股價最近經歷一連串的下跌，投資者預期該公司股價將持續下跌，故決定購買 $100$ 份  執行價格為 $20$，到期時間為三個月，價格 為 0.75 元的 European Put option 來獲利。現考慮市場條件為 無風險利率 $4 \%$，當前股價為 $22$，股價波動度為 $39 \%$，且該公司不配發股息。

(a) 如果當前股價突然上漲到 $25$ 元/ 每股，則投資人所購入的 Put option 策略 賺/賠 多少?

(b) 現在假設投資者採用 Delta Hedging (在股價原本為 $22$ 的時候) 來保護其購買的 Put option 策略，那麼其淨利為何?

(c) 假設投資人決定再使用執行價格為 $20$ 到期時間為三個月的 European Call option 來達成 Delta-Gamma Neutral  (在股價原本為 $22$ 的時候)。試求投資人應如何達成此策略? 其淨利為何?

Solution (a)
改寫已知資訊如下：
\[
K=20, T=3/12, P_{S=0.22}=0.75, r=0.04, S_0=22, \sigma=0.39, q=0
\] 由於股價上漲到 $25$，故連帶的 Put option 價格也會有所變動。
透過 B-S formula 計算 股價上漲到 $25$ 元後的 Put option 價格
首先計算
\[\left\{ {\begin{array}{*{20}{l}}
{{d_1} = \frac{{\ln \left( {{S_0}/K} \right) + \left( {r - q + {\sigma ^2}/2} \right)T}}{{\sigma \sqrt T }} = 1.2931}\\
{{d_2} = {d_1} - \sigma \sqrt T {\rm{ = 1}}{\rm{.0981}}}
\end{array}} \right.\]
帶入 B-S formula：
\[\begin{array}{l}
P = K{e^{ - rT}}N\left( { - {d_2}} \right) - S{e^{ - qT}}N\left( { - {d_1}} \right)\\
 \Rightarrow P = 20{e^{ - 0.04 \times \frac{3}{{12}}}}N\left( { - 1.0981} \right) - 25N\left( { - 1.2931} \right) = 0.2488
\end{array}
\]亦即股價上漲後的 Put option price 為 $P_{S=25} = 0.2448$ 元

故可知投資人的 Put option 投資策略 淨利為
\[ (0.2448-0.75)100=-50.52 \]

Solution (b)
現在由於投資人要進行 Delta-Hedging，故我們首先必須求得 Delta 值，由題意可知我們需計算上漲前的 Delta: $\Delta_{S=22, put}$
又由於 Put option 的 Delta 為 $\Delta_{S=22, put}=-e^{-qT} N(-d_1)$，故我們計算 $d_1$ (注意! 此時的 $d_1$ 為股價上漲前的，不可直接使用 part (a) 所計算出來的結果)
\[{d_1} = \frac{{\ln \left( {22/20} \right) + \left( {0.04 - 0 + \frac{{{{\left( {0.39} \right)}^2}}}{2}} \right)\frac{3}{{12}}}}{{0.39\sqrt {3/12} }} = 0.6376
\] 故
\[
\Delta_{S=22, put}=-e^{-qT} N(-d_1) = -0.2619
\] 又由於投資人購買了 100份 Put option，故此投資組合的總 $\Delta$ 為
\[
\Delta = -0.2619 \times 100 = -26.19
\] 所以若欲獲得 Delta-Neutralality，則必須 購入 26.19 股股票。


Solution (c)
現在由於投資人要進行 Delta-Gamma Hedging，故我們首先必須先對付 Gamma：
也就是要先求得 Gamma 值，由題意可知我們需計算上漲前的 Gamma :
\[\Gamma  = \frac{{N'\left( {{d_1}} \right){e^{ - qT}}}}{{{S_0}\sigma \sqrt T }}\]
其中
\[N'\left( {{d_1}} \right) = \frac{1}{{\sqrt {2\pi } }}{e^{\frac{{ - d_1^2}}{2}}} = \frac{1}{{\sqrt {2\pi } }}{e^{\frac{{ - \left( {0.6379} \right)_{}^2}}{2}}} = 0.3255\]
將上式代入 Gamma 可得
\[\Gamma  = \frac{{N'\left( {{d_1}} \right){e^{ - qT}}}}{{{S_0}\sigma \sqrt T }} = \frac{{0.3255}}{{22\left( {0.39} \right)\sqrt {3/12} }} = 0.0759
\]注意到上式的 Gamma for put $=$ Gamma for call；亦即 $\Gamma_{call} = \Gamma_{put}$

現在我們考慮加入 $w_T$ 份 Call option，其對應的 $\Gamma_{call} = \Gamma_{put} = 0.0759$，故總 Gamma 為 原本購買 100 份 Put option 的 Gamma 加上 $w_T$ 份 Call option 的 Gamma；又因為我們要達成 Gamma Neutral，故總 Gamma 必須為零；故我們可求解到底需要多少份 call option：
\[\begin{array}{l}
\Gamma  = 0.0759 \times 100 + {w_T}0.0759 = 0\\
 \Rightarrow {w_T} =  - 100
\end{array}
\] 亦即須要賣出 100 份 Call option 即可達成 Gamma Neutral。

但由於我們更動了 Gamma，故 Delta 亦會連帶受到更動；其更動後 (賣出 100 份 Call ) 的 Delta 為
\[
\Delta = -100 e^{-qT} N(d_1) = -100 N(0.6379) = -73.82
\] 故我們需要購入 73.82 股股票 ，即可達成 Delta-Neutral。

總結 Delta-Gamma Hedging 策略 如下：
買入 100 份 Put option (原始策略)
購入 26.19 股股票 (Delta-Neutral)

賣出 100 份 Call option (透過 Call option 達成 Gamma Neutral)
購入 73.82 份 股票 (修正 Gamma Neutral所造成的 Delta 變動)

故總計為
買入 100份 Put
賣出 100份 Call
購入 26.19+73.82=100 股股票

其淨利為： (股價為 $22$ 時 Call option 價格為 $2.9530$；股價上漲到 $25$ 元的 Call option 價格為 5.4438 (此兩數值可透過 B-S model 計算而得或者 Put-call parity))
\[\underbrace {(25 - 22) \times 100}_{Long\begin{array}{*{20}{c}}
{}
\end{array}stock} + \underbrace {\left( {0.2448 - 0.75} \right) \times 100}_{Long\begin{array}{*{20}{c}}
{}
\end{array}put} - \underbrace {\left( {5.4438 - 2.9530} \right) \times 100}_{Short\begin{array}{*{20}{c}}
{}
\end{array}Call} = 0.4\]




ref: John C. Hull, Options, Futures and Other Derivatives 7th.