2012年11月27日 星期二

[數學分析] 隱函數定理

在開始之前我們先說明到底 隱函數定理 想解決什麼問題?也就是:
何時能把 多變數函數 $f(x,y)=0$ 中的變數 用另一個變數表示 e.g., $x$ 用 $y$ 表示。

考慮 $f$ 為 雙變數函數 且 $f \in C^1$,則函數 $f$ 在 點 $(a,b)$ 滿足
\[
f(a,b) = 0,\;\; \frac{\partial f}{\partial y}(a,b) \neq 0
\]則在 $(a,b)$ 附近的鄰域之內,我們可求解方程式 $f(x,y) =0$ 並將 $y$ 用 $x$ 表示。
同理,若在 \[
f(a,b) = 0,\;\; \frac{\partial f}{\partial x}(a,b) \neq 0
\]則我們就可在  $(a,b)$ 附近的鄰域之內,我們可求解方程式 $f(x,y) =0$ 中的 $x$ 用 $y$ 表示。

Example
考慮 $f(x,y) := x^2 + y^2 -1$ 。
Q1: 求解 $f(x,y)=0$ 在 $(x,y)=(a,b) = (1/\sqrt{2}, 1/\sqrt{2})$處,問是否其解 $x$ 可用 $y$ 表示 or  將解 $y$ 用 $x$ 表示?

Q2: 求解 $f(x,y)=0$ 在 $(x,y)=(a,b) = (1, 0)$處,問是否其解 $x$ 可用 $y$ 表示 or  將解 $y$ 用 $x$ 表示?

Proof:
考慮 $(a,b)= (1/\sqrt{2}, 1/\sqrt{2})$ 且觀察
\[\left\{ \begin{array}{l}
\frac{{\partial f}}{{\partial y}}\left( {a,b} \right) = {\left. {2y} \right|_{\left( {a,b} \right)}} = 2b = \frac{1}{{\sqrt 2 }} \ne 0\\
\frac{{\partial f}}{{\partial x}}\left( {a,b} \right) = {\left. {2x} \right|_{\left( {a,b} \right)}} = 2a = \frac{1}{{\sqrt 2 }} \ne 0
\end{array} \right.\]故在 $(a,b)= (1/\sqrt{2}, 1/\sqrt{2})$ 附近我們求解 \[f(x,y) = 0 \Rightarrow {x^2} + {y^2} - 1 = 0\]可將 $x$ 用 $y$ 表示;亦可將 $y$ 用 $x$ 表示:
\[\left\{ \begin{array}{l}
x = \pm \sqrt {1 - {y^2}} \\
y = \pm \sqrt {1 - {x^2}}
\end{array} \right.\]

Q2: 考慮 $(a,b)=(1,0)$ 則
\[\left\{ \begin{array}{l}
\frac{{\partial f}}{{\partial y}}\left( {a,b} \right) = {\left. {2y} \right|_{\left( {a,b} \right)}} = 0\\
\frac{{\partial f}}{{\partial x}}\left( {a,b} \right) = {\left. {2x} \right|_{\left( {a,b} \right)}} = 2a = 2 \ne 0
\end{array} \right.\]故上述表示我們可以將 $x$ 用 $y$ 表示,但 $y$ 未知是否可用 $x$ 表示 (no conclusion)。$\square$



Implicit Function Theorem 便是要試圖回答上述問題 (回答何時可將解用其他變數表示!)。現在我們首先將上述結果推廣到 $\mathbb{R}^n$ ,在此之前我們需先定義一些需要的符號:

若 $\bf x$ $:=(x_1,...,x_n) \in \mathbb{R}^n$ 且 $\bf y $ $:= (y_1,...,y_m) \in \mathbb{R}^m$,令
\[{\bf{z}}: = \left( {{\bf{x}},{\bf{y}}} \right): = \left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) \in {\mathbb{R}^{m + n}}
\]考慮任意 Linear transformation $A:= L(\mathbb{R}^{n+m}, \mathbb{R}^n)$ ,我們可將 $A$ 拆成兩個 Linear transformation $A_x \in L(\mathbb{R}^n,\mathbb{R}^n )$ 與 $A_y \in L(\mathbb{R}^m, \mathbb{R}^n)$ 如下:
對任意 $\bf h$ $\in \mathbb{R}^n$ 與 $\bf k$ $\in \mathbb{R}^m$,
\[\left\{ \begin{array}{l}
{A_x}{\bf{h}}: = A\left( {{\bf{h}},{\bf{0}}} \right)\\
{A_y}{\bf{k}}: = A\left( {{\bf{0}},{\bf{k}}} \right)
\end{array} \right.\]且 $A\left( {{\bf{h}},{\bf{k}}} \right): = {A_x}{\bf{h}} + {A_y}{\bf{k}}$

現在我們可以寫下 Linear Version 的 隱函數定理:

==============
Theorem 1: 若 $A \in L(\mathbb{R}^{m+n}, \mathbb{R}^n)$ 且若 $A_x$ 為 invertible 則 存在 唯一 $\bf h$ $\in \mathbb{R}^n$ 使得 對任意 $\bf k$ $\in \mathbb{R}^m$,$A({\bf h,k}) = \bf 0$
且 此解 $\bf h$ 可用 $\bf k$ 表示如下
\[{\bf{h}} =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}{\bf{k}}
\]==============

Proof:
我們要證明 存在唯一 $\bf h$ $\in \mathbb{R}^n$ 使得 對任意 $\bf k$ $\in \mathbb{R}^m$,$A({\bf h,k}) = \bf 0$

由 $A \in L(\mathbb{R}^{m+n}, \mathbb{R}^n)$ 可知
\[A\left( {{\bf{h}},{\bf{k}}} \right): = {A_x}{\bf{h}} + {A_y}{\bf{k}} \ \ \ \ (*)
\]故若  $A_x$ 為 invertible (i.e., $A_x ^{-1}$ 存在) ,則我們對 $(*)$ 求解 $\bf h$
\[\begin{array}{l} {A_x}{\bf{h}} + {A_y}{\bf{k}} = {\bf{0}}\\ \Leftrightarrow {A_x}{\bf{h}} = - {A_y}{\bf{k}}\\ \Leftrightarrow {\bf{h}} = - {\left( {{A_x}} \right)^{ - 1}}{A_y}{\bf{k}} \ \ \ \ \square \end{array}\]

現在我們可以給出 Implicit Function Theorem:

==============
Theorem: Implicit Function Theorem
令 $\bf f$ 為 $C^1$ 映射從 open set $E \subset \mathbb{R}^{n+m}$ 映到 $\mathbb{R}^n$,且存在點 $({\bf a,b}) \in E$ 使得 ${\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = {\bf{0}}$。令 $A:= {\bf{f}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 且假設 $A_x$ 為 invertible。則
存在 兩個 open sets $U \subset \mathbb{R}^{n+m}$ 與 $W \subset \mathbb{R}^m$  使得點 $({\bf a,b}) \in U$ 與 $\bf b$ $\in W$ 滿足下列條件:
1. 對任意 $\bf y$ $\in W$,存在唯一 $\bf x$ 使得 \[\left( {{\bf{x}},{\bf{y}}} \right) \in U,\begin{array}{*{20}{c}}
{}&{}
\end{array}{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}}
\]2. 若此 $\bf x$ $:= {{\bf g}({\bf y})}$  則 $\bf g$$:W \to \mathbb{R}^n$ 為 $C^1$ 映射 ,且 ${\bf{g}}\left( {\bf{b}} \right) = {\bf{a}}$ 且 對任意 $\bf y$ $\in W$ ,${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$另外
\[{\bf{g}}'\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}
\]==============

Comments: 
1. 函數 $g$ 被隱密的定義在 ${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$ 且 $\bf x$ 被表示成 $g({\bf y})$。且 $\bf f(a,b) =0$ 表示 $\bf (a,b)$ 為 $\bf f$ 的解。

2. 上述定理提及的 ${\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}}$ 可表示成 $n+m$ 個變數,且 $n$ 個方程式:
\[{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}} \Leftrightarrow \left\{ \begin{array}{l}
{f_1}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0\\
{f_2}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0\\
\begin{array}{*{20}{c}}
{}
\end{array} \vdots \\
{f_n}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0
\end{array} \right.\]且 定理中所提及的 $A_x$ 為 invertible 意指下列矩陣
\[{\left[ {\begin{array}{*{20}{c}}
{{D_1}{f_1}\left( {{\bf{a}},{\bf{b}}} \right)}& \cdots &{{D_n}{f_1}\left( {{\bf{a}},{\bf{b}}} \right)}\\
 \vdots & \ddots & \vdots \\
{{D_1}{f_n}\left( {{\bf{a}},{\bf{b}}} \right)}& \cdots &{{D_n}{f_n}\left( {{\bf{a}},{\bf{b}}} \right)}
\end{array}} \right]_{n \times n}}\]在點 $({\bf a,b})$ 處為 invertible linear operator in $\mathbb{R}^n$;換言之,上述矩陣在 $({\bf a,b})$ 處之 determinatnt 不為零。Theorem 1 只是考慮上述的 $f_1,...,f_n$ 為線性的情況。

3. 由於 $n+m$ 個未知變數,有 $n$ 個方程式,不需要 Implicit Function Theorem 我們應該也可知道在此情況下方程式的解有額外的 $m$ 個自由度。故基本上此定理想要知道是否可將手邊的變數用其他變數表示,更進一步的說,如果考慮上述 \[{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}} \Leftrightarrow \left\{ {\begin{array}{*{20}{l}}
{{f_1}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0}\\
{{f_2}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0}\\
{\begin{array}{*{20}{c}}
{}
\end{array} \vdots }\\
{{f_n}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0}
\end{array}} \right.\]且現在給定 $y_1,...,y_m$,則情況變成 $n$ 個未知數與 $n $ 個方程式,我們想問是否有 "唯一" 解。那麼問題變成 when 有唯一解?? 回憶線性代數,我們知道必須要有 invertibability 幫忙。

4. 由於 ${\bf f}({\bf a, b}) = \bf 0$,其對應的導數 $D \bf f$ 可寫成
\[D{\bf{f}} = \left[ {\begin{array}{*{20}{c}}
{\underbrace {{D_{\bf{x}}}{\bf{f}}}_{n \times n}}&{\underbrace {{D_{\bf{y}}}{\bf{f}}}_{n \times m}}
\end{array}} \right]\]且  Implicit Function Theorem 單純指出若 $D_{\bf x} {\bf f}({\bf a, b}) $ 為 invertible,則 (在 $(\bf a,b)$ 附近鄰域) ${\bf x}$ 可寫成 $\bf y$ 的函數


Proof: Implicit Function Theorem
我們首先證明 存在 兩個 open sets $U \in \mathbb{R}^{n+m}$ 與 $W \subset \mathbb{R}^m$  使得點 $({\bf a,b}) \in U$ 且 $\bf b$ $\in W$ 且第一個條件滿足:
給定任意 $\bf y$ $\in W$,  存在唯一 $\bf x$ 使得 \[\left( {{\bf{x}},{\bf{y}}} \right) \in U,\begin{array}{*{20}{c}}
{}&{}
\end{array}{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}}
\]證明唯一性之前我們先證明 存在性。

首先定義新的函數 $\bf F$ 如下:對任意 $\left( {{\bf{x}},{\bf{y}}} \right) \in E$,
\[{\bf{F}}\left( {{\bf{x}},{\bf{y}}} \right): = \left( {{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right),{\bf{y}}} \right)\]則 $\bf F$ 為 $C^1$ 映射從 $E$ 映到 $\mathbb{R}^{n+m}$。

Claim: ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 為 invertible element of $L(\mathbb{R}^{n+m})$
Proof:
要證明 ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 為 invertible element of $L(\mathbb{R}^{n+m})$,由於在 有限維度空間,我們只需證明 $\bf f$ 為 1-1。

由於 ${\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = {\bf{0}}$,觀察
\[{\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right) - {\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = {\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right)\]由 $\bf f'$ 定義可知
\[\begin{array}{l}
\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right) - {\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) + A\left( {{\bf{h}},{\bf{k}}} \right)} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0\\
 \Leftrightarrow {\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right) - {\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = A\left( {{\bf{h}},{\bf{k}}} \right) + {\bf{r}}\left( {{\bf{h}},{\bf{k}}} \right)
\end{array}\]其中 $\bf r$ 表示 remainder。

由前述計算,我們可以接著檢驗 $\bf F'$;首先觀察
\[\begin{array}{l}
{\bf{F}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right) - {\bf{F}}\left( {{\bf{a}},{\bf{b}}} \right) = \left( {{\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right),{\bf{b}} + {\bf{k}}} \right) - \left( {{\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right),{\bf{b}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \left( {{\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right) - {\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right),{\bf{k}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \left( {A\left( {{\bf{h}},{\bf{k}}} \right) + {\bf{r}}\left( {{\bf{h}},{\bf{k}}} \right),{\bf{k}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \left( {A\left( {{\bf{h}},{\bf{k}}} \right),{\bf{k}}} \right) + \left( {{\bf{r}}\left( {{\bf{h}},{\bf{k}}} \right),{\bf{0}}} \right)
\end{array}\]上式表示 ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 為 linear operator on $\mathbb{R}^{n+m} $且將 $(\bf h,k)$ 映射到 $\left( {A\left( {{\bf{h}},{\bf{k}}} \right),{\bf{k}}} \right)$。

注意到若 ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)=0$ 則 \[A\left( {{\bf{h}},{\bf{k}}} \right) = {\bf{0}},{\bf{k}} = {\bf{0}}\]因此 $A\left( {{\bf{h}},{\bf{0}}} \right) = {\bf{0}}$。由先前的 Theorem 1 可知 $\bf h = 0$,故 ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 為 1-1 (因為 $A\left( {{\bf{h}},{\bf{k}}} \right) = {\bf{0}}$ only if $\bf h,k =0$);因此 為 invertible。$\square$-Claim。

由於 $\bf F$ 為 $C^1$ 且 ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)$ invertible,故由 Inverse Function Theorem 可知
存在 opens sets $U, V \subset \mathbb{R}^{n+m}$ 且 $\left( {{\bf{a}},{\bf{b}}} \right) \in U$ ,$\left( {{\bf{0}},{\bf{b}}} \right) \in V$ 使得 $\bf F$ 為 1-1 映射從 $U \to V$。

令 $W: = \left\{ {{\bf{y}} \in {\mathbb{R}^m}:\left( {{\bf{0}},{\bf{y}}} \right) \in V} \right\}$。則由於 $\left( {{\bf{0}},{\bf{b}}} \right) \in V$ 故 $\left( {{\bf{0}},{\bf{b}}} \right) \in W$。且由於 $V$ 為 open 故 $W$ 必為 open。

若 $\bf y$ $\in W$,則存在 $(\bf x,y)$ $\in U$ 使得 \[\left( {{\bf{0}},{\bf{y}}} \right) = {\bf{F}}\left( {{\bf{x}},{\bf{y}}} \right)\]且此 $\bf x$ 滿足
\[\begin{array}{l}
\left( {{\bf{0}},{\bf{y}}} \right) = {\bf{F}}\left( {{\bf{x}},{\bf{y}}} \right)\\
 \Rightarrow \left( {{\bf{0}},{\bf{y}}} \right) = \left( {{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right),{\bf{y}}} \right)\\
 \Rightarrow {\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}}
\end{array}\]

現在我們證此 $\bf x$ 為唯一! :考慮 同個 $\bf y$ 但另一個 ${{\bf{\bar x}}}$ 滿足 $\left( {{\bf{\bar x}},{\bf{y}}} \right) \in U$ 使得 \[{\bf{f}}\left( {{\bf{\bar x}},{\bf{y}}} \right) = {\bf{0}}\]現在觀察
\[{\bf{F}}'\left( {{\bf{\bar x}},{\bf{y}}} \right) = \left( {{\bf{f}}\left( {{\bf{\bar x}},{\bf{y}}} \right),{\bf{y}}} \right) = \left( {{\bf{0}},{\bf{y}}} \right) = \left( {{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right),{\bf{y}}} \right) = {\bf{F}}\left( {{\bf{x}},{\bf{y}}} \right)\]由於$\bf F$ 為 1-1故 ${\bf{x}} = {\bf{\bar x}}$


接著我們證明第二個結果成立;亦即
若此 $\bf x$ $:= {{\bf g}({\bf y})}$  則 $\bf g$$:W \to \mathbb{R}^n$ 為 $C^1$ 映射 ,且 ${\bf{g}}\left( {\bf{b}} \right) = {\bf{a}}$ 且 對任意 $\bf y$ $\in W$ ,${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$ 另外 ${\bf{g}}'\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}$

故 我們定義 ${{\bf g}({\bf y})}$ 對任意 $\bf y$ $\in W$ 使得 $\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) \in U$ 且 ${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$ 則
\[{\bf{F}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = \left( {{\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right),{\bf{y}}} \right) = \left( {{\bf{0}},{\bf{y}}} \right)\]若 $\bf G$ 為映射從 $V$ onto $U$ 且 $\bf G$ 為 $\bf F$ 的 inverse,則 Inverse Function Theorem 可知 $\bf G$ 為 $C^1$。且由於
\[\begin{array}{l}
{\bf{F}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = \left( {{\bf{0}},{\bf{y}}} \right)\\
 \Rightarrow \left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {{\bf{F}}^{ - 1}}\left( {{\bf{0}},{\bf{y}}} \right) = {\bf{G}}\left( {{\bf{0}},{\bf{y}}} \right)\\
 \Rightarrow \left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{G}}\left( {{\bf{0}},{\bf{y}}} \right)
\end{array}\]由於 $\bf G$ $\in C^1$ 故 $\bf g$$\in C^1$。

最後,我們證明 ${\bf{g}}'\left( {\bf{b}} \right) =  - {\left( {A_x^{}} \right)^{ - 1}}A_y^{}$ 。令
\[{\bf{\Phi }}\left( {\bf{y}} \right): = \left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right)\]則對任意 $\bf y$ $\in W$ 與 $\bf k$ $\in \mathbb{R}^m$ 我們有
\[{\bf{\Phi }}'\left( {\bf{y}} \right){\bf{k}} = \left( {{\bf{g}}'\left( {\bf{y}} \right){\bf{k}},{\bf{k}}} \right)\]由於
\[{\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}} \Rightarrow {\bf{f}}\left( {{\bf{\Phi }}\left( {\bf{y}} \right)} \right) = {\bf{0}}\]利用 Chain Rule 可知
\[{\bf{f}}'\left( {{\bf{\Phi }}\left( {\bf{y}} \right)} \right){\bf{\Phi }}'\left( {\bf{y}} \right) = 0 \ \ \ \ (\star)
\]當 $\bf y = b$ 則
\[{\bf{\Phi }}\left( {\bf{y}} \right): = \left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) \Rightarrow {\bf{\Phi }}\left( {\bf{b}} \right) = \left( {{\bf{g}}\left( {\bf{b}} \right),{\bf{b}}} \right) = \left( {{\bf{a}},{\bf{b}}} \right)\]且 ${\bf{f}}'\left( {{\bf{\Phi }}\left( {\bf{b}} \right)} \right) = {\bf{f}}'\left( {{\bf{a}},{\bf{b}}} \right) = A$。因此 $(\star)$ 式變成
\[\begin{array}{l}
{{\bf{f}}^\prime }\left( {{\bf{\Phi }}\left( {\bf{y}} \right)} \right){{\bf{\Phi }}^\prime }\left( {\bf{y}} \right) = 0\\
 \Rightarrow {{\bf{f}}^\prime }\left( {{\bf{\Phi }}\left( {\bf{b}} \right)} \right){{\bf{\Phi }}^\prime }\left( {\bf{b}} \right) = 0\\
 \Rightarrow {{\bf{f}}^\prime }\left( {{\bf{a}},{\bf{b}}} \right){{\bf{\Phi }}^\prime }\left( {\bf{b}} \right) = 0\\
 \Rightarrow A{{\bf{\Phi }}^\prime }\left( {\bf{b}} \right) = 0
\end{array}\]現在回憶  $A\left( {{\bf{h}},{\bf{k}}} \right): = {A_x}{\bf{h}} + {A_y}{\bf{k}}$;故此若我們觀察:對任意 $\bf k$ $\in \mathbb{R}^m$
\[\begin{array}{l}
A{{\bf{\Phi }}^\prime }\left( {\bf{b}} \right) = 0\\
 \Rightarrow A{{\bf{\Phi }}^\prime }\left( {\bf{b}} \right){\bf{k}} = {\bf{0}}\\
 \Rightarrow A\left( {{{\bf{g}}^\prime }\left( {\bf{b}} \right){\bf{k}},{\bf{k}}} \right) = {\bf{0}}\\
 \Rightarrow {A_x}{{\bf{g}}^\prime }\left( {\bf{b}} \right){\bf{k}} + {A_y}{\bf{k}} = {\bf{0}}
\end{array}\]因此我們有
\[\begin{array}{l}
{A_x}{{\bf{g}}^\prime }\left( {\bf{b}} \right){\bf{k}} + {A_y}{\bf{k}} = {\bf{0}}\\
 \Rightarrow {A_x}{{\bf{g}}^\prime }\left( {\bf{b}} \right) + {A_y} = 0\\
 \Rightarrow {{\bf{g}}^\prime }\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}
\end{array}\]至此證明完畢。


現在看個例子:

Example: Application of Implicit Function Theorem
取 $n =2, m=3$ 且考慮 ${\bf{f}}: = \left( {{f_1},{f_2}} \right):{\mathbb{R}^5} \to {\mathbb{R}^2}$ 滿足
\[\left\{ \begin{array}{l}
{f_1}\left( {{x_1},{x_2},{y_1},{y_2},{y_3}} \right): = 2{e^{{x_1}}} + {x_2}{y_1} - 4{y_2} + 3\\
{f_2}\left( {{x_1},{x_2},{y_1},{y_2},{y_3}} \right): = {x_2}\cos {x_1} - 6{x_1} + 2{y_1} - {y_3}
\end{array} \right.\]若 $\bf a$$:=(0,1)$ 與 $\bf b$ $:=(3,2,7)$,則我們有 \[{\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = \left\{ \begin{array}{l}
{f_1}\left( {0,1,3,2,7} \right): = 2 + 3 - 4 \cdot 2 + 3 = 0\\
{f_2}\left( {0,1,3,2,7} \right): = 1 \cdot 1 - 0 + 2 \cdot 3 - 7 = 0
\end{array} \right. \Rightarrow {\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = {\bf{0}}\]現在若我們考慮 standard basis ,則 Linear transformation $A:={\bf{f}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 可表示成如下矩陣
\[\begin{array}{l}
A: = {\bf{f}}'\left( {{\bf{a}},{\bf{b}}} \right) = {\left[ {\begin{array}{*{20}{c}}
{2{e^{{x_1}}}}&{{y_1}}&{{x_2}}&{ - 4}&0\\
{ - {x_2}\sin {x_1} - 6}&{\cos {x_1}}&2&0&{ - 1}
\end{array}} \right]_{\left( {{\bf{x}},{\bf{y}}} \right) = \left( {{\bf{a}},{\bf{b}}} \right)}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
2&3&1&{ - 4}&0\\
{ - 6}&1&2&0&{ - 1}
\end{array}} \right]
\end{array}\]其中
\[{A_x}: = \left[ {\begin{array}{*{20}{c}}
2&3\\
{ - 6}&1
\end{array}} \right];{A_y}: = \left[ {\begin{array}{*{20}{c}}
1&{ - 4}&0\\
2&0&{ - 1}
\end{array}} \right];\]
為了要使用 Implicit Function Theorem, 我們需要 $A_x$ 為 invertible。 (如果是! 則  Implicit Function Theorem 告訴我們在 $(\bf a,b)$ 附近可以把 $\bf x$ 用 $\bf y$ 表示):故現在檢驗 $\det A_x$:
\[\det {A_x} = \det \left[ {\begin{array}{*{20}{c}}
2&3\\
{ - 6}&1
\end{array}} \right] = 20 \ne 0\]此顯示了 $A_x$ 為 invertible

Implicit Function Theorem 告訴我們存在 兩個 open sets $U \in \mathbb{R}^{2+3}$ 與 $W \subset \mathbb{R}^3$ ,使得 點 $({\bf a,b}) = (0,1,3,2,7) \in U$ 且 $\bf b$ $=(3,2,7)$ $\in W$ 且下列條件滿足:
1. 對任意 $\bf y$ $\in W$,存在唯一 $\bf x$ 使得 \[\left( {{\bf{x}},{\bf{y}}} \right) \in U,\begin{array}{*{20}{c}}
{}&{}
\end{array}{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}}
\]2. 若此 $\bf x$ $:= {{\bf g}({\bf y})}$  則 $\bf g$$:W \to \mathbb{R}^n$ 為 $C^1$ 映射 ,且 ${\bf{g}}\left( {\bf{b}} \right) = {\bf{a}} \Rightarrow {\bf{g}}\left( {3,2,7} \right) = \left( {0,1} \right)$ 且對任意 $\bf y$ $\in W$ ,${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$另外
\[{\bf{g}}'\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}
\]

簡言之,implicit function theorem 告訴我們存在 $C^1$ 映射函數 $\bf g$ 在 $\bf b$ $=(3,2,7)$ 鄰域有定義並且使得 ${\bf{g}}\left( {3,2,7} \right) = \left( {0,1} \right)$ 與 ${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$且\[{\bf{g}}'\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}
\]故我們可計算 上式
\[\begin{array}{l}
{{\bf{g}}^\prime }\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} =  - {\left[ {\begin{array}{*{20}{c}}
2&3\\
{ - 6}&1
\end{array}} \right]^{ - 1}}\left[ {\begin{array}{*{20}{c}}
1&{ - 4}&0\\
2&0&{ - 1}
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} =  - \frac{1}{{20}}\left[ {\begin{array}{*{20}{c}}
1&{ - 3}\\
6&2
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
1&{ - 4}&0\\
2&0&{ - 1}
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} =  - \frac{1}{{20}}\left[ {\begin{array}{*{20}{c}}
{ - 5}&{ - 4}&3\\
{10}&{ - 24}&{ - 2}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{\frac{1}{4}}&{\frac{1}{5}}&{ - \frac{3}{{20}}}\\
{ - \frac{1}{2}}&{\frac{3}{5}}&{\frac{1}{{10}}}
\end{array}} \right]
\end{array}\]上式可寫成在點 $(3,2,7)$ 偏導數
\[\begin{array}{l}
{D_1}{g_1} = \frac{1}{4},{D_2}{g_1} = \frac{1}{5},{D_3}{g_1} =  - \frac{3}{{20}}\\
{D_1}{g_2} =  - \frac{1}{2},{D_2}{g_2} = \frac{3}{5},{D_3}{g_2} = \frac{1}{{10}}
\end{array}\]


Example 2
考慮下列系統
\[\left\{ \begin{array}{l}
xu + y{v^2} = 0\\
x{v^3} + {y^2}{u^6} = 0
\end{array} \right.\]Q1 試問對於點 $(x,y,u,v) := (0,1,0,0)$ 附近鄰域而言,是否可將 $(x,y)$ 用 $(u,v)$ 表示?
Q2 試問對於點 $(x,y,u,v) := (1,-1,1,-1)$ 附近鄰域而言,是否可將 $(x,y)$ 用 $(u,v)$ 表示?

Solution 1:
定義 ${\bf{f}}: = \left( {{f_1},{f_2}} \right)$ 且
\[\left\{ {\begin{array}{*{20}{l}}
{{f_1}\left( {x,y,u,v} \right): = xu + y{v^2} = 0}\\
{{f_2}\left( {x,y,u,v} \right): = x{v^3} + {y^2}{u^6} = 0}
\end{array}} \right.\]要回答上述問題須借助 Implicit Function Theorem,首先注意到
\[\left\{ \begin{array}{l}
{\bf{f}}\left( {0,1,0,0} \right) = {\bf{0}}\\
{\bf{f}}\left( {1, - 1,1, - 1} \right) = {\bf{0}}
\end{array} \right.\]故若要使用 Implicit Function Theorem,我們需要檢驗
\[\begin{array}{l}
{\bf{f}}: = \left( {{f_1},{f_2}} \right)\\
 \Rightarrow {\bf{f}}'\left( {x,y,u,v} \right) = \left[ {\begin{array}{*{20}{c}}
u&{{v^2}}&x&{2yv}\\
{{v^3}}&{2y{u^6}}&{6{y^2}{u^5}}&{3x{v^2}}
\end{array}} \right]
\end{array}\]對於  $(x,y,u,v) := (0,1,0,0)$ 而言,可知
\[{\bf{f}}'\left( {0,1,0,0} \right) = \left[ {\begin{array}{*{20}{c}}
0&0&0&0\\
0&0&0&0
\end{array}} \right]\]此為 non-invertible。故 implicit function theorem 無法使用。 (注意到在此我們不可說 因為 $A_x$ non-invertible 故 $(x,y)$ 無法用 $(u,v)$ 表示!!  我們僅能說 implicit function theorem 無法使用,所以無法獲得任何結論。)

另一方面,對於點$(x,y,u,v) := (1,-1,1,-1)$ 而言,檢驗
\[{\bf{f}}'\left( {1, - 1,1, - 1} \right) = \left[ {\begin{array}{*{20}{c}}
1&1&1&2\\
{ - 1}&{ - 2}&6&3
\end{array}} \right]\]故若我們需要將 $(x,y)$ 用 $(u,v)$ 表示,則我們需要檢驗 $A_x$ 矩陣是否為 invertible 亦即去檢驗其 determinant 如下
\[{A_x} = \left[ {\begin{array}{*{20}{c}}
1&1\\
{ - 1}&{ - 2}
\end{array}} \right] \Rightarrow \det {A_x} =  - 2 + 1 =  - 1 \ne 0\]故 $A_x$ 為 invertible。也就是說可以 將 $(x,y)$ 用 $(u,v)$ 表示。

注意!! 讀者可自行檢驗在 $(x,y,u,v) := (1,-1,1,-1)$ 附近鄰域,$(u,v)$ 亦可表示成為 $(x,y)$的函數(why? 因為 $\det \left[ {\begin{array}{*{20}{c}}
1&2\\
6&3
\end{array}} \right] =  - 9 \ne 0$)

ref: W. Rudin, "Principle of Mathematical Analysis", 3rd

2012年11月21日 星期三

[系統理論] Fourier Transform and Laplace Transform

我們首先看看 雙邊形拉氏轉換 (Bilateral Laplace transform):
對訊號 $x(t)$ 我們定義 Bilateral Laplace transform :
\[
X(s) := \int_{-\infty}^{\infty} x(t) e^{-st} dt
\]且 $s = \sigma + j \omega$ 為 complex variable 。

注意到如果我們令 $\sigma =0$,亦即 $s = j \omega$ (purly imaginary), 則上式變為
\[
X(s)|_{s=j \omega} = X(j\omega ) = \int_{{-\infty }}^\infty  x (t){e^{ - j\omega t}}dt
\] 上式即為 Fourier Transform。

事實上, Laplace transform 亦與 Fourier transform 可以有更直接的關係,現在我們讓 $s$ 變回原本的 complex variable 形式: $s = \sigma + j \omega$ 並代回 Laplace transform 我們可得
\[\begin{array}{l}
{\left. {X\left( s \right)} \right|_{s = \sigma  + j\omega }} = X\left( {\sigma  + j\omega } \right) = \int_{ - \infty }^\infty  {x\left( t \right){e^{ - \left( {\sigma  + j\omega } \right)t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\left[ {x\left( t \right){e^{ - \sigma t}}} \right]{e^{ - j\omega t}}dt}
\end{array}\]我們可以觀察到上式為 $x(t) e^{\sigma t}$ 的 Fourier transform,亦即我們可以把 $x(t)$ 的 Laplace transform 視為 $x(t) e^{\sigma t}$ 的 Fourier transform。

Comments:
1. 我們在此並未給定 $\sigma $ 的正負,故 此 real expoential 訊號 $e^{-\sigma t}$ 可以隨 時間 $t$ 遞增或者遞減。

2. 回憶 Fourier transform 並對任意訊號都收斂 (需要滿足 Dirchlet conditons),故 對於前述將訊號 $x(t)$ 的 Laplace transform 視為 $x(t) e^{- \sigma t}$ 的 Fourier transform 的觀點亦必須考量收斂性,故我們引入一個收斂性的定義 :
收斂範圍 (Region of Convergence, ROC):是指 一個訊號 $x(t)$ 則其 $x(t) e^{-\sigma t}$ 的 Fourier Transform 收斂 (存在)的範圍。亦即使 $X(s)$ 積分收斂的範圍。

3. 若 $X(s)$ 的 ROC 不包含虛軸,Laplace transform 仍然存在,但 Fourier transform 不存在!!

現在我們看看下面的例子:

Example 1
考慮單邊 decaying exponential 訊號:
\[
x(t) = e^{-t}u(t)
\]是計算 其對應的 Fourier transform, Laplace transform 與 ROC。
Solution
Fourier transform:
\[\begin{array}{l}
X\left( {j\omega } \right) = \int_{ - \infty }^\infty  {{e^{ - t}}u(t){e^{ - j\omega t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_0^\infty  {{e^{ - t}}{e^{ - j\omega t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{{1 + j\omega }}
\end{array}
\]接著我們看 Laplace transform
\[\begin{array}{l}
X(s): = \int_{{0^ - }}^\infty  x (t){e^{ - st}}dt = \int_{{0^ - }}^\infty  {{e^{ - t}}u(t)} {e^{ - st}}dt\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \int_0^\infty  {{e^{ - t\left( {1 + s} \right)}}} dt = \frac{1}{{1 + s}}
\end{array}
\] ROC 為 $\{s: \cal{Re}\{s\} > -1 \}$ (有包含虛軸 $j \omega$ 故 Fourier transform 存在且 可用 $s= j \omega$ 帶入 Laplace transform 而得) $\square$

Example 2:
若現在改成 one-sided growing exponential:
\[
x(t) = e^tu(t)
\]試求 Laplace transform 與 ROC。
Solution
上式 Laplace transform 為
\[
X(s) = \frac{1}{s-1}
\]且 ROC 為 $\{s: \cal{Re}\{s\} >1 \}$ (但不包含虛軸 Fourier transform 不存在!!)。 $\square$



單邊型拉氏轉換 ( Unilateral Laplace transform)
現在我們看看 單邊型 Laplace transform:看看 Laplace transform 與 Fourier transform 差別
考慮一訊號 $x(t)$ , 定義 Unilateral Laplace transform 如下
\[
X(s) := \int_{0^-}^\infty x(t) e^{-st}dt
\] 現在將上式與 Fourier transform 定義做比較
\[
X(j \omega) := \int_{-\infty}^{\infty}x(t) e^{-j \omega t} dt
\]讀者可以發現上式非常相近,除了以下兩點差異
  1. Laplace transform 的積分範圍是在 $0 \le t < \infty$,且上式中 $(0^-)$表示考慮了在 $t=0$處的任意脈衝或者高階奇異函數(singular function);反之 Fourier Transform 積分範圍是 $-\infty < t < \infty$
  2. Laplace transform 積分式中的變數 $s$ 為 複數平面中的收斂區間 (Region of Convergence, ROC) 中的任意 complex number;亦即 $s = \sigma + j \omega $ 其中 $\sigma$ 為實部,$\omega$為虛部。反之, Fourier Transform: $j \omega$落在虛軸

Comments:
1. 考慮一訊號 $x(t) = 0, \forall t <0$ (亦即考慮訊號從時間 $t=0$ 開始,之前都不考慮),且其 Laplace transform, $X(s)$ 的 ROC 包含虛軸,則 Laplace Transform 與 Fourier Transform 仍相等
\[X(s) = X(j\omega )\]亦即 Fourier transform 為 Laplace transform 用 $s = j \omega$ 帶入。

2. 若 $X(s)$ ROC 不包含 虛軸,則 Fourier transform 不存在!! (但 Laplace transform仍存在於 其 ROC中)

3. 若訊號 $x(t) \neq 0, \forall t<0$,則 Fourier transform 不等於 Laplace transform。

現在我們看一個例子:
Example: Laplace Transform of Unit Step Signal 
考慮單位步階函數 $u(t)$ 定義如下
\[u\left( t \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}t > 0\\
0,\begin{array}{*{20}{c}}
{}
\end{array}t \le 0
\end{array} \right.\]試求其 Laplace transform 與 ROC。
Solution
由 Laplace transform 我們可得
\[
U(s) = \int_{0^-}^{\infty} u(t) e^{-st} dt = 1/s
\]這試圖告訴我們 Fourier transform "似乎" 就是 $U(j \omega) = \frac{1}{j \omega}$,但注意到 $U(s)$ 的收斂範圍 ROC 為 $\{\cal{Re}\{s\} >0\}$。不包含虛軸!! 故 Fourier Transform 並不存在!
或者我們換個角度檢視 $U(j \omega) = 1/ j \omega$,此結果在 $\omega =0$處無定義!。
 $\square$

Comments:
上述例子我們發現 Unit step signal 的 Fourier transform 有問題,儘管如此,我們仍可針對 Unit step function 定義合適的 Fourier transform。回憶 Fourier transform 的積分性質:
\[\int_{ - \infty }^t x (\tau )d\tau \mathop  \Leftrightarrow \limits^{\cal{F}} \frac{1}{{j\omega }}X(j\omega ) + \pi X(0)\delta (\omega )\]
由於 $u(t) = \int_{-\infty}^t \delta(\tau) d\tau$,故利用上式 積分性質 ( 其中 $X(j \omega) = \cal{F}\{\delta(t)\}=1$) 可得
\[\begin{array}{l}
U\left( {j\omega } \right) = \frac{1}{{j\omega }} \cdot 1 + \pi X(0)\delta (\omega )\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{{j\omega }} + \pi \delta (\omega )
\end{array}\]上式即為 Unit step function 的 Fourier transform。

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

2012年11月17日 星期六

[Note]板橋基督長老教會-主日學少年班課程講義

2012 Fall
111712-Lecture 2:真葡萄樹
參考經節: 約翰福音十五:1~10
講員: 謝宗翰
講義如附檔
120412-Lecture 3:天路指南
參考經節: 耶利米書二十三: 29 ;詩篇一一九: 72, 103, 105; 希伯來書四:12~13 ;雅各書一: 24~25  ;耶利米書十五: 16
講員: 謝宗翰
講義如附檔
參考經節: 馬可福音一:35-38; 馬可福音六:41-46 ; 路加福音六:12-13 ;路加福音五:16
講員: 謝宗翰
講義如附檔
.
==========================
相關閱讀
板橋基督長老教會-主日學中級班課程講義

相關連結
主日禮拜時間:
《台語禮拜》週日上午09:30~11:00
《國語禮拜》週日上午11:05~12:30
教會地址:台北縣板橋市明德街1巷3號
連絡電話:02-29687749
駐堂牧者:洪英俊 牧師

2012年11月13日 星期二

[分享] 淺談歸正神學

甚麼是歸正神學 (Reformed Theology)?
基督徒身在這個世代,應該能更清楚而明確的信仰,也就是 "應當更明白的知道深知我所信的這一位到底是誰? 因為經上記著 萬軍之耶和華吩咐:「你們務要認識我」  (何西阿書 6:3),筆者期盼能彼此勉勵,更加裝備自己,在遇到各種挑戰時候,能用神的道站穩腳步。

歸正神學 
歸正神學在堅決相信凡事應當 "以神為本" 而非 "以人為本",相信全本聖經都是上帝默示的,是神所啟示的。沒有任何錯誤。並且不斷的回歸聖經真道的神學。這種神學 與 部分當今主流神學 強調只相信聖經一部分,否定其餘經上教導,或者透過引入心理學/現代科學來解釋聖經,或者採用靈恩運動,高舉內在醫治,方言禱告的手法大相逕庭。


歸正神學的 真正要義 由  加爾文 (Jean Calvin) 提出五點要義:稱為TULIP(為鬱金香之義)。

1.全然敗壞(Total depravity)
人類由於 始祖亞當 的墮落而無法以自己的能力作任何靈性上的善事。

2.無條件的揀選(Unconditional election)
上帝對於罪人揀選是無條件的,祂 的揀選並非因為人在倫理道德上的優點,也非 祂 預見了人將發生的信心。也就是 揀選與救贖之功 全然在於上帝,人無法有所作為。

3.有限的代贖(Limited atonement)
基督釘十字架只是為那些預先蒙選之人,不是為世上所有的人。

4.不可抗拒的恩典(Irresistible grace)
人不可能拒絕 上帝 的救恩, 上帝 拯救人的恩典不可能因為人的原因而被阻撓,亦無法被人拒絕。

5.聖徒恆忍蒙保守(Perseverance of the saints)


參考資料[基督教小小羊園地]
http://blog.roodo.com/yml/archives/2635383.html

求主的道光照我們,指導我們分辨甚麼才是真理。因為
你們必曉得真理,真理必叫你們得以自由(約翰福音8:32)

2012年10月30日 星期二

[專論]苦難的根源-約伯記導讀

10.28.2012 板橋基督長老教會 青年團契專講
主題: 苦難的根源-約伯記導讀
演講分享錄影 Youtube (全部片長1hr 14mins)
http://www.youtube.com/watch?v=0_qSJlydcy8&feature=youtu.be


此分享中會請聽眾思想幾個問題

1. 為什麼人生會有(這麼多)苦難? 
2. 你相信惡有惡報、善有善報嗎? 
3. 為什麼好人會受苦但壞人沒事? 
4. 苦難的背後有甚麼力量? 
5. 若真有一位神,祂在乎我們受苦嗎? 
6. 若真有一位神,你認為祂是良善的嗎? 
7. 若真有一位神,你認為祂是全能的嗎? 
8. 如果神真的存在,我受苦的時候祂在哪裡? 
9. 如果神真的存在,為什麼我不能看到祂? 
10. 如果神不存在,為什麼良心深處卻沒有辦法否定祂的存在? 


對應的PPT講義 pdf檔案如下
若有疑問也歡迎各位與我討論。謝謝大家
願神的恩惠與平安常常與你們同在

2012年10月28日 星期日

[分享] 關於主日學教學甘苦談

因為臨時受到主日學校長邀請,希望能在10.28主日學主日當天分享一下一年下來教導主日學的甘苦談,我臨危受命其實有些緊張,以下是10.28.2012 主日學主日分享的回憶講稿
====================================
嚴格說起來,對於主日學教學的甘苦談這樣的題目,我其實只有甘、對於苦的感覺幾乎是沒有。

在分享之前,我想先誠摯的感謝過去指導過我的主日學老師們,
謝謝菊芳長老、福壽長老、安安長老、福星哥、薏平姊、潔玫姊、世勳哥、月娥姐...還有許許多多曾經在我很小的時候陪伴我、輔導我的老師們。謝謝你們,放了福音的種子在我心裡,到老都不偏移。

其實我自己因為去異鄉求學(2003年離開台北),所以曾經離開板橋教會將近十年的時間,在這段外地求學時光中,我逐步學習了許許多多的學科,物理、數學、控制、工程等等,但這些學科並沒有辦法回答生命的意義是甚麼?人生在世上的意義是甚麼?以及之後人生的方向又是甚麼?這類的問題。緊接著我在研究所期間,接受了實驗室相當的磨練。在這些磨練當中,我逐漸開始思索這類的問題。最後我找到耶穌成為我人生的意義,因為這樣,我漸漸相信神是有給每一個人一些美好的定旨,神也給我一些使命,在我 2010 年退伍短暫回到台北工作的時候,心底想起一些聲音,不斷的提醒我:到底甚麼時候才要回來為我所用?甚麼時候才要回來?這聲音不斷的提醒,所以我在 2011年返回板橋教會並向當時的校長菊芳長老,提出想加入主日學事工的服務。一直到今天。我在教學的過程中也在孩子身上學到了許許多多。我願意也盼望將當年的那些放在我身上的福音種子,放在今天的孩子身上,期盼他們到老都不偏移。

願主的恩惠與平安常與大家同在

宗翰
==========================

主日禮拜時間:
《台語禮拜》週日上午09:30~11:00
《國語禮拜》週日上午11:05~12:30

教會地址:台北縣板橋市明德街1巷3號
連絡電話:02-29687749
駐堂牧者:洪英俊 牧師

2012年10月14日 星期日

[系統理論] 閉迴路系統的暫態響應 與 eigenvalue/eigenvector 關係

首先考慮  $n$階 線性微分方程如下
\[
\dot {\bf x}(t) = G{\bf x}(t); \;\; { \bf x}(0) ={\bf x}_0
\]上式一般表示為 無外力輸入 $u$ 的系統。且我們可對其求解得到
\[{\bf x}(t) = e^{Gt} {\bf x}_0 \ \ \ \ \ \ (*)
\] 我們可進一步將上式的解 $(*)$ 重新用 矩陣 $G$ 的 eigenvalues/eigenvectors 表示; i.e., 若 $G$ 為 $n \times n$ 則 下式 eigenvalue-eigenvector 關係需被滿足
\[G{{\bf{v}}_i} = {\lambda _i}{{\bf{v}}_i}, \text{ for $i=1,2,...,n$}
\]其中 $\lambda_i$ 為 $G$ 的 eigenvalues 且 $v_i$ 為對應的 eigenvectors。 注意到在此我們假設 $G$ 的 eigenvalues 均相異。現在使用這些 eigenvectors, $v_i$,建構  非奇異轉換矩陣 或稱 modal matrix  $M$ 如下
\[M: = \left[ {\begin{array}{*{20}{c}}
{{{\bf{v}}_1}}&{{{\bf{v}}_2}}& \cdots &{{{\bf{v}}_n}}
\end{array}} \right]
\]注意到 $M$ 為 nonsingular 因為 $\{v_i\}$ 彼此線性獨立 (因為相異 eigenvalue 對應 線性獨立的 eigenvector) ;現在使用 $M$,定義下列新狀態 $\bf z$ 轉換
\[
{\bf x} = M {\bf z}
\]將上述新的狀態關系代入原系統 $\dot {\bf x}(t) = G{\bf x}(t)$ 我們可以改寫如下
\[\begin{array}{l}
{\bf{\dot x}}(t) = G{\bf{x}}(t)\\
 \Rightarrow M{\bf{\dot z}}\left( t \right) = GM{\bf{z}}(t)\\
 \Rightarrow {\bf{\dot z}}\left( t \right) = {M^{ - 1}}GM{\bf{z}}(t)
\end{array}
\]其中初始值 (Initial Condition, I.C.) 為 $\begin{array}{l}
{\bf{z}}(0) = {M^{ - 1}}{\bf{x}}(0)\\
\end{array}$
上述轉換又稱對角化,故我們得到 $G$ 如下
\[{M^{ - 1}}GM = \left[ {\begin{array}{*{20}{c}}
{{\lambda _1}}&{}&{}&{}\\
{}&{{\lambda _2}}&{}&{}\\
{}&{}& \ddots &{}\\
{}&{}&{}&{{\lambda _n}}
\end{array}} \right]: = \Lambda \]因此,若我們求解 ${{\bf{\dot z}}\left( t \right) = {M^{ - 1}}GM{\bf{z}}(t)}$ 可得
\[{\bf{z}}(t) = {e^{{M^{ - 1}}GMt}}{\bf{z}}(0) = {e^{\Lambda t}}{\bf{z}}(0)
\]現在將上述結果轉回原本的狀態 $\bf x$
\[{\bf{x}}(t) = M\underbrace {{\bf{z}}(t)}_{ = {e^{\Lambda t}}{\bf{z}}(0)} = M{e^{\Lambda t}}\underbrace {{\bf{z}}(0)}_{ = {M^{ - 1}}{\bf{x}}(0)} = M{e^{\Lambda t}}{M^{ - 1}}{\bf{x}}(0) \ \ \ \ \ (**)
\] 其中
\[\begin{array}{*{20}{l}}
{M{e^{\Lambda t}} = \left[ {\begin{array}{*{20}{c}}
{{{\bf{v}}_1}}&{{{\bf{v}}_2}}&{...}&{{{\bf{v}}_n}}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{e^{{\lambda _1}t}}}&0& \cdots &0\\
0&{{e^{{\lambda _2}t}}}&{}& \vdots \\
 \vdots &{}& \ddots &0\\
0& \cdots &0&{{e^{{\lambda _n}t}}}
\end{array}} \right]}\\
{\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{e^{{\lambda _1}t}}{{\bf{v}}_1}}&{{e^{{\lambda _2}t}}{{\bf{v}}_2}}&{...}&{{e^{{\lambda _n}t}}{{\bf{v}}_n}}
\end{array}} \right]}
\end{array}
\]另外我們觀察 $M^{-1}$ 定義 $L:= M^{-1}$ 具有 rows 向量為 $l_i$; i.e.,
\[L = {M^{ - 1}} = \left[ {\begin{array}{*{20}{c}}
{{{{{l}}}_1}}\\
{{{{l}}_2}}\\
 \vdots \\
{{{{l}}_n}}
\end{array}} \right]\]
因此我們可以更進一步改寫 $(**)$ 如下
\[\begin{array}{l}
{\bf{x}}(t) = M{e^{\Lambda t}}{M^{ - 1}}{\bf{x}}(0)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{e^{{\lambda _1}t}}{{\bf{v}}_1}}&{{e^{{\lambda _2}t}}{{\bf{v}}_2}}&{...}&{{e^{{\lambda _n}t}}{{\bf{v}}_n}}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{l_1}}\\
{{l_1}}\\
 \vdots \\
{{l_n}}
\end{array}} \right]{\bf{x}}(0)
\end{array}
\]或者更簡潔的表示成矩陣的形式
\[{\bf{x}}(t) = \sum\limits_{i = 1}^n {{e^{{\lambda _i}t}}{{\bf{v}}_i}{l_i}} {\bf{x}}(0) \ \ \ \ (\star)
\] 也就是說
\[{\bf x}(t) = e^{Gt} {\bf x}_0 = \sum\limits_{i = 1}^n {{e^{{\lambda _1}t}}{{\bf{v}}_i}{\alpha _i}}\]
現在我們觀察 $(\star)$ 整理結果如下:上述的(自由響應 (free response) )解 與下列三者有關:

  1. ${\bf eigenvalues}$:用以決定 系統自由響應 的 衰減率/增長率 
  2. ${\bf eigenvectors}$: 用以決定 系統自由響應的 " shape "
  3. ${\bf Initial Condition.}$: 用以決定哪一個系統的 mode 參與自由響應的程度

2012年10月13日 星期六

[控制理論] 狀態回授控制(1)- Eigenstructure Assignment

控制理論中最重要的本質 便是 回授控制 (feedback control),在實現上,回授控制具有下列四種主要功能:

  1. 改善/保證 系統穩定度
  2. 降低系統的 敏感度(提升強健性)
  3. 改善系統 抑制 低頻外在干擾 或者 抑制 高頻雜訊 的能力
  4. 改善 系統暫態響應

而 Eigenstructure Assignment (同時給定 eigenvalue 與 eigenvector )主要是透過回授控制達成第四個目標:改善 系統的 暫態響應。以下我們介紹 全狀態回授 (Full State Feedback) 的 Eigenstructure Assignment。


考慮系統
\[\dot x\left( t \right) = Ax\left( t \right) + Bu\left( t \right)
\] 其中 $x(t) \in \mathbb{R}^n$; $u(t) \in \mathbb{R}^m$

且狀態回授控制器 $u(t) = F x(t)$。
則將控制器帶入系統,可得閉迴路系統如下
\[\dot x\left( t \right) = \left( {A + BF} \right)x\left( t \right)
\]
現在令 $\lambda_i$ 為系統 $A+BF$ 的 eigenvalue,且 $v_i$ 為對應的 eigenvector,則我們有 eigenvalue-eigenvector relationship 如下
\[
(A+BF) v_i = \lambda_i v_i
\] 上式可改寫為
\[\begin{array}{l}
(A + BF){v_i} = {\lambda _i}{v_i}\\
 \Rightarrow \left( {{\lambda _i}I - A} \right){v_i} - BF{v_i} = 0
\end{array}\]

故我們現在定義 $S_{\lambda_i }:= [\lambda_i I - A \;\; B]$ 且定義其對應的分割矩陣
\[{K_{{\lambda _i}}}: = \left[ {\begin{array}{*{20}{c}}
{{N_{{\lambda _i}}}}\\
{{M_{{\lambda _i}}}}
\end{array}} \right]\]此 $K_{\lambda_i}$ spans $\ker\{S_{\lambda_i}\}$

Theorem: (Moore, 1976) 令 $\{\lambda_i, i=1,...,n\}$ 為 self-conjugate 且 相異的特徵值所形成的集合。我們說 存在控制矩陣 $F$ 使得 對任意 $i=1,...n$ 而言,我們有 $(A+BF) v_i = \lambda_i v_i$  若且為若 對任意 $i=1,...n$,下列三個條件成立
1. (線性獨立) $v_i$ 彼此線性獨立
2. (共顎條件) $\lambda_i = \lambda_j^* \Rightarrow v_i = v_j^*$
3. $v_i \in \text{span}\{N_{\lambda_i}\}= \left\{ {\sum\limits_{i = 1}^n {{c_i}{v_i}} :{v_i} \in {N_{{\lambda _i}}},{c_i} \in \mathbb{R}} \right\}$

Proof: 
$(\Rightarrow)$ 假設 存在控制矩陣 $F$ 使得 對任意 $i=1,...n$ 而言,我們有 $(A+BF) v_i = \lambda_i v_i$,我們要證明三個條件成立;由於前面兩個條件由線性代數的理論可得;故我們只需檢驗條件 3. 假設 $(A+BF)v_i = \lambda_i v_i$, 則我們有
\[\begin{array}{l}
(A + BF){v_i} = {\lambda _i}{v_i}\\
\Rightarrow \left( {{\lambda _i}I - A} \right){v_i} - BF{v_i} = 0\\
\Rightarrow \underbrace {\left[ {\begin{array}{*{20}{c}}
{{\lambda _i}I - A}&B
\end{array}} \right]}_{{S_{{\lambda _i}}}}\underbrace {\left[ {\begin{array}{*{20}{c}}
{{v_i}}\\
{ - F{v_i}}
\end{array}} \right]}_{{\in K_{{\lambda _i}}}} = 0
\end{array}\] 由於 $K_{\lambda_i}$ 的 columns 做為基底建構 $\ker \{ {S_{{\lambda _i}}}\}  = \ker \left\{ {\left[ {\begin{array}{*{20}{c}}
{{\lambda _i}I - A}&B
\end{array}} \right]} \right\}$ ,故 $v_i \in \text{span}\{N_{\lambda_i}\}$.

$(\Leftarrow)$ 假設前述 Theorem 三個條件成立, 我們要證明存在一個實數矩陣 $F$ 使得對 $1 \le i \le n$,下式 eigenvalue-eigenvector relation 滿足
\[
(A+BF)v_i = \lambda_i v_i.
\]現在選 $v_i, \; 1\le i \le n$ 滿足 3 條件; i.e., 對 $1\le i \le n$

  1. $v_i$ 彼此線性獨立
  2. $\lambda_i = \lambda_j^* \Rightarrow v_i = v_j^*$
  3. $v_i \in \text{span}\{N_{\lambda_i}\}$

首先由條件 3 可知 $v_i \in \text{span}\{N_{\lambda_i}\}$ (the subspace spanned by colmuns of $N_{\lambda_i}$ and $v_i$ is the member of such subspace. ), 存在一個向量 $k_i$ (real or complex) 使得
\[
v_i = N_{\lambda_i} k_i
\]接著由於
\[{K_{{\lambda _i}}} = \left[ {\begin{array}{*{20}{c}}
{{N_{{\lambda _i}}}}\\
{{M_{{\lambda _i}}}}
\end{array}} \right] = \ker \left\{ {\left[ {\begin{array}{*{20}{c}}
{{\lambda _i}I - A}&{B}
\end{array}} \right]} \right\}\]故暗示了
\[
 \left( {{\lambda _i}I - A} \right){N_{{\lambda _i}}}{k_i} - B{M_{{\lambda _i}}}{k_i} = 0
\] 上述結果暗示了 若我們選 $F$ 使得 $ - {M_{{\lambda _i}}}{k_i} = F{v_i}$ 則 可得
\[\begin{array}{l}
\left( {{\lambda _i}I - A} \right){v_i} + B{M_{{\lambda _i}}}{k_i} = 0\\
\Rightarrow \left( {{\lambda _i}I - A} \right){v_i} + B\left( { - F{v_i}} \right) = 0\\
\Rightarrow \left[ {{\lambda _i}I - \left( {A + BF} \right)} \right]{v_i} = 0
\end{array}
\]亦即我們需要的結果。故剩下的證明便是要證明我們可以永遠建構出一控制矩陣 $F$ 滿足
\[F\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{{w_1}}&{{w_2}}& \cdots &{{w_n}}
\end{array}} \right]\]其中 $w_i := -M_{\lambda_i} k_i$ ; i.e., 若這樣的 $F$ 存在 則必定滿足
\[F\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{ - {M_{{\lambda _1}}}{k_1}}&{ - {M_{{\lambda _2}}}{k_2}}& \cdots &{ - {M_{{\lambda _n}}}{k_n}}
\end{array}} \right]\]

現在我們分成兩種情況討論

${\bf CASE 1: }$ 特徵值皆為實數的情況
若任意相異的 $\lambda_i$ 為實數,則 $v_i, w_i$ 亦為實數,且矩陣 $\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]$ 之反矩陣存在 (由條件 1),故可得控制力矩陣 $F$ 為
\[\begin{array}{l}
F = \left[ {\begin{array}{*{20}{c}}
{{w_1}}&{{w_2}}& \cdots &{{w_n}}
\end{array}} \right]{\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]^{ - 1}}\\
\begin{array}{*{20}{c}}
{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{ - {M_{{\lambda _1}}}{k_1}}&{ - {M_{{\lambda _2}}}{k_2}}& \cdots &{ - {M_{{\lambda _n}}}{k_n}}
\end{array}} \right]{\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]^{ - 1}}
\end{array}\]

${\bf CASE 2: }$ 特徵值具有共顎複數情況
若特徵值有共顎複數,在此我們假設 $\lambda_1 = \lambda_2^*$. 由條件2可知 $v_1 = v_2^*$ 故可推知 $w_1 = w_2^*$. 因此,設其他剩餘的特徵值皆為實數,則控制力矩陣 $F$ 必定需滿足
\[ \small
F\left[ {\begin{array}{*{20}{c}}
{{v_{1R}} + j{v_{1I}}}&{{v_{1R}} - j{v_{1I}}}& {{v_3}}& \cdots &{{v_n}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{{w_{1R}} + j{w_{1I}}}&{{w_{1R}} - j{w_{1I}}}& {{w_3}}& \cdots &{{w_n}}
\end{array}} \right]
\]其中 $w_i := -M_{\lambda_i} k_i$. 現在兩邊同乘下式 的非奇異矩陣
\[\left[ {\begin{array}{*{20}{c}}
{1/2}&{}&{ - j1/2}& {}\\
{1/2}&{}&{j1/2}& 0\\
\hline
{}&0&{}& I
\end{array}} \right]\]
則我們可得
\[F\left[ {\begin{array}{*{20}{c}}
{{v_{1R}}}&{{v_{1I}}}& {{v_3}}& \cdots &{{v_n}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{{w_{1R}}}&{{w_{1I}}}& {{w_3}}& \cdots &{{w_n}}
\end{array}} \right]\]
現在由於 $\{v_i\}_{i=1}^n$ 彼此獨立,故矩陣
\[V:=\left[ {\begin{array}{*{20}{c}}
{{v_{1R}}}&{{v_{1I}}}& {{v_3}}& \cdots &{{v_n}}
\end{array}} \right]
\] 之反矩陣存在,故我們可如前計算 $F$. (by taking inverse of $V$). $\square$

2012年10月11日 星期四

[機率論] Almost Sure Convergence

固定 機率空間 $(\Omega, \mathcal{B}, P)$。我們說 隨機事件 $A$  almost surely (a.s.) 成立,若下列條件成立:
存在一個事件 $N \in \mathcal{B}$ 且 $P(N)=0$ 使得 若 $\omega \in N^c$ 事件 $A$ 都成立。


Example 1: Two r.v. equal Almost Surely
令 $X, X'$ 為兩個隨機變數,則 $X=X'$ almost surely 亦即
\[
P(\omega: X(\omega) = X'(\omega)) = 1
\]亦即,存在事件 $N \in \mathcal{B}$ 使得 $P(N)=0$ 且  $\omega \in N^c \Rightarrow X(\omega) = X(\omega)'$ 都成立。$\square$


Example 2: 
令 $X, X'$ 為兩個隨機變數,則 $X \le X'$ almost surely 亦即
\[
P(\omega: X(\omega) \le X'(\omega)) = 1
\]亦即,存在事件 $N \in \mathcal{B}$ 使得 $P(N)=0$ 且  $\omega \in N^c \Rightarrow X(\omega) \le X(\omega)'$ 都成立。$\square$


Example 3: random variable sequence
若' $\{X_n\}$ 為 隨機變數的 sequence,則 $\lim_{n\rightarrow \infty}X_n$存在 almost surly 意指 存在事件 $N \in \mathcal{B}$ 使得 $P(N)=0$ 且  $\omega \in N^c \Rightarrow \lim_{n\rightarrow \infty}X_n$ 存在 ;此陳述等價為
\[
\limsup_{n \rightarrow \infty} X_n(\omega) = \liminf_{n\rightarrow \infty }X_n(\omega)
\]我們會寫作 $\lim_{n \rightarrow \infty}X_n = X$ almost surely 或者 $X_n \rightarrow X$ a.s. $\square$


Example 3: random series
若' $\{X_n\}$ 為 隨機變數的 sequence,則 $\sum_n X_n$ converges almost surly 意指 存在事件 $N \in \mathcal{B}$ 使得 $P(N)=0$ 且  $\omega \in N^c \Rightarrow  \sum_n X_n$ converges  存在  $\square$

基於 almost sure equality,大部分隨機變數的機率性質都不改變。比如說 若 $X = X'$ almost surely,則若 $X \in L^1$ 若且唯若 $X' \in L^1$ 且 $EX = EX'$


注意到 隨機變數 sequence 儘管有 almost surely convergence 並不表示 convergence everywhere。現在我們看個例子:

Example: Almost Sure Convergence fails to be Convergence Everywhere
考慮機率空間 $([0,1], \mathcal{B}_{[0,1]}, \lambda)$ 且 $\lambda$ 為 Lebesgue measure。現在定義隨機變數
\[{X_n}(\omega ): = \left\{ \begin{array}{l}
n,\begin{array}{*{20}{c}}
{}
\end{array}0 \le \omega  \le \frac{1}{n}\\
0,\begin{array}{*{20}{c}}
{}
\end{array}\frac{1}{n} < \omega  \le 1
\end{array} \right.\]試證 $X_n \rightarrow 0$ almost surely;但 $X_n$ 並非 converge everywhere。
Proof:
若 $N = \{0\}$ 則 $\omega \in N^c \Rightarrow X_n(\omega ) \rightarrow 0$;

但是若我們現在關注 $\omega = 0$ 這一點時,可以發現 $X_n(0) = n \rightarrow \infty \neq 0$ $\square$

===================
Proposition: 令 $\{X_n\}$ 為 i.i.d. 隨機變數 且具有共同的 分布函數 $F(x)$。假設 $F(x) <1$;令
\[
M_n := \max\{X_1,X_2,...,X_n\}
\]則 $M_n \rightarrow \infty$ almost surely 當 $n\rightarrow \infty$。
===================

Proof: 我們要證  $M_n \rightarrow \infty$ almost surely 當 $n\rightarrow \infty$;亦即要證明 存在事件 $N$ 使得 $P(N)=0$ 且若 $\omega \in N^c$ 我們有 $M_n \rightarrow \infty$ 。我們需要證明 存在事件 $N \in \mathcal{B}$ 使得 $P(N) =0$ 且若 $\omega \in N^c$ 我們有
\[
\lim_{n \rightarrow \infty} M_n(\omega) = \infty
\]由 $lim$ 定義,上述可改寫為 要證明 對任意 $j>0$, 存在 $n_0$ 使得若 $n \ge n_0$ 則 $M_n(\omega) \ge j$。

首先注意到 由於 $\{X_n\}$ 為 i.i.d. 隨機變數 且具有共同的 分布函數 $F(x)$,故我們可寫
\[\begin{array}{l} P\left( {{M_n} \le x} \right) = P\left( {\max \left( {{X_1},{X_2},...,{X_n}} \right) \le x} \right)\\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} = P\left( {{X_1} \le x,{X_2} \le x,...,{X_n} \le x} \right)\\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} = \prod\limits_{i = 1}^n {P\left( {{X_i} \le x} \right)} = {F^n}\left( x \right) \end{array}
\] 故注意到由於 $F(x)<1$ 我們有
\[
\sum_n P(M_n \le j) = \sum_n F^n(j) < \infty
\]故由 Borel-Cantelli Lemma 可知
\[P\left( {\left\{ {{M_n} \le j} \right\}i.o.} \right) = 0\]亦即
\[P\left( {\mathop {\lim \sup }\limits_{n \to \infty } \left\{ {{M_n} \le j} \right\}} \right) = 0
\]故現在定義 事件 ${\mathop {\lim \sup }\limits_{n \to \infty } \left\{ {{M_n} \le j} \right\}}$ 則我們有 $P(N_j) = 0$ 對任意 $j$。

且注意到 ${N_j}^c: = \mathop {\lim \inf }\limits_{n \to \infty } \left\{ {{M_n} > j} \right\}$,故對任意 $\omega \in N_j^c$,若有夠大的 $n$,則我們有 $M_n(\omega) >j$。

現在定義 $N:= \cup_j N_j$ 則
\[
P(N) \le \sum_j P(N_j) =0
\] 且若 $\omega \in N^c$,我們有對任意 $j$,若 有夠大的 $n$,則 $M_n(\omega) >j$ 。 $\square$

2012年9月20日 星期四

[系統理論] 連續時間 週期訊號的 Fourier Transform Representation

延續前篇
[系統理論] 連續時間 非週期訊號的 Fourier Transform Representation,我們知道 非週期訊號$x(t)$ 若滿足 Dirchlet conditions 則 Fourier Transform 存在,且我們可寫成
\[\left\{ \begin{array}{l}
X\left( {j\omega } \right) = \int_{ - \infty }^\infty  {x\left( t \right){e^{ - j\omega t}}dt} \ \ \ \  (1) \\
x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega} \ \ \ \ (2)
\end{array} \right.\]上式中 $(1)$ 稱為 $x(t)$ 的 Fourier Transform,$(2)$ 稱為 Inverse Fourier Transform。

事實上,對於週期訊號而言,除了 Fourier Series 之外, 我們亦可對 週期訊號 求解 Fourier Transform 。 那麼該怎麼做呢?

想法: 透過 Impulse function 幫助我們對 Fourier Transform 進行"取樣"

首先我們先做個觀察如下:
考慮一個訊號 $x(t)$ 其 Fourier Transform $X(j \omega)$ 為落在 $\omega = \omega_0$ 且面積為 $2 \pi$ 的單位脈衝函數如下
\[
X(j \omega) = 2 \pi \delta(\omega - \omega_0)
\]現在利用 Inverse Fourier Transform 我們可得回 $x(t)$
\[\begin{array}{l}
x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {2\pi \delta (\omega  - {\omega _0}){e^{j\omega t}}d\omega}  = {e^{j{\omega _0}t}}
\end{array}
\]上述的結果暗示了我們可以得到 $x(t) = e^{j k \omega_0t}$,此 complex exponential 訊號確實為週期訊號。 現在我們回憶 Fourier Series  Representation,週期訊號 $x(t)$ 可以透過 complex exponential 做線性組合。故我們試圖拓展上述想法,目標是如果可以找出一個 Fourier Transform $X(j \omega)$ 使得 $x(t)$ 具有 Complex exponential 做線性組合的形式 (亦即具有 Fourier Series 的形式),我們便大功告成

現在我們拓展上述想法,由於前述 我們利用脈衝函數當作 Fourier Transform 確實可以得回 complex exponential 訊號,故我們繼續沿用此脈衝函數,且更進一步拓展為一組脈衝函數的線性組合看看會有甚麼發現。

故考慮 $x(t)$ 的 Fourier Transform, $X(j \omega)$ 為 一組脈衝函數的線性組合
\[X\left( {j\omega } \right) = \sum\limits_{k =  - \infty }^\infty  {2\pi {a_k}\delta \left( {\omega  - k{\omega _0}} \right)} \]則透過 Inverse Fourier Transform 我們可得
\[\begin{array}{l}
x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {\sum\limits_{k =  - \infty }^\infty  {2\pi {a_k}\delta \left( {\omega  - k{\omega _0}} \right)} {e^{j\omega t}}d\omega} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {{a_k}} \int_{ - \infty }^\infty  {\delta \left( {\omega  - k{\omega _0}} \right){e^{j\omega t}}d\omega} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}}
\end{array}\]上式即為 Fourier Series。

小結:
若 週期函數 $x(t)$ 存在 Fourier Series
\[
x(t) = \sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}}
\] 則其對應的 Fourier Transform: $X(j \omega)$ 為 一組脈衝函數的線性組合
\[X\left( {j\omega } \right) = \sum\limits_{k =  - \infty }^\infty  {2\pi {a_k}\delta \left( {\omega  - k{\omega _0}} \right)} \]
一般而言,對於週期函數我們可預先求解 Fourier coefficient, $a_k$ ,若需要計算其對應的 Fourier Transform,則直接使用上式


我們現在看一些例子:
Example 1
考慮週期方波訊號如下圖


試求其Fourier Transform $X(j \omega)$。
Solution
首先注意到此方波訊號為週期方波,且滿足 Dirchlet conditions,故存在 Fourier Series。因此我們先求解 Fourier Series Coefficient:
\[\begin{array}{l}
{a_k} = \frac{1}{T}\int_T^{} {x\left( t \right){e^{ - jk{\omega _0}t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{T}\int_{ - T/2}^{T/2} {x\left( t \right){e^{ - jk{\omega _0}t}}dt}  = \frac{1}{T}\int_{ - {T_1}}^{{T_1}} {{e^{ - jk{\omega _0}t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{2}{{k{\omega _0}T}}\frac{{{e^{jk{\omega _0}{T_1}}} - {e^{ - jk{\omega _0}{T_1}}}}}{{2j}} = \frac{2}{{k{\omega _0}T}}\sin k{\omega _0}{T_1}
\end{array}\]且 由 $T = 2 \pi/ \omega_0$ 帶入上式,
\[{a_k} = \frac{1}{{k\pi }}\sin \left( {k{\omega _0}{T_1}} \right), \; k \neq 0 \ \ \ \ (*)
\]且若 $k=0$,可計算得到 $a_0$
\[{a_0} = \frac{1}{T}\int_T^{} {x\left( t \right)dt}  = \frac{1}{T}\int_{ - {T_1}}^{{T_1}} {1dt}  = \frac{{2{T_1}}}{T} \ \ \ \ (**)
\]有了Fourier Series Coefficients 之後,我們便可計算其對應的 Fourier Transform。現在回憶對於週期訊號的 Fourier Transform 為 面積為 $2 \pi$ 且頻率等分的脈衝函數的線性組合,亦即
\[
X(j \omega) = 2 \pi \sum_{k = - \infty}^{\infty}a_k \delta( \omega - k \omega_0)
\]現在代入我們剛剛算出的 Fourier Series Coefficient,我們可得
\[\begin{array}{l}
X(j\omega ) = 2\pi \sum\limits_{k =  - \infty }^\infty  {{a_k}} \delta (\omega  - k{\omega _0})\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = 2\pi \sum\limits_{k =  - \infty }^\infty  {\frac{1}{{k\pi }}\sin \left( {k{\omega _0}{T_1}} \right)} \delta (\omega  - k{\omega _0})\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = 2\sum\limits_{k =  - \infty }^\infty  {\frac{1}{k}\sin \left( {k{\omega _0}{T_1}} \right)} \delta (\omega  - k{\omega _0}) \ \ \ \ (\star)
\end{array}\]上式即為 週期方波的 Fourier Transform。 $\square$

Comments
延續上例,現在我們來看看 Fourier Transform 與 Fourier Series 的差別,令 $T = 4 T_1$,我們用  $(\star)$ 繪製 Fourier Transform 的圖形
圖1. Fourier transform plot for periodic square wave


接著透過 $(*)$ 與 $(**)$ 我們可繪製 Fourier Series Coefficients 的圖形
圖2. Fourier series plot for periodic square wave

其中Fourier Series Coefficient 可由我們先前推出的式子計算而得:
 $a_0 = 1/2,$ $a_1 = a_{-1}=1/\pi$, $a_3 = a_{-3}=-1/3\pi$, $a_5 = a_{-5} = 1/5\pi$
注意到 圖2 的橫坐標 $k$ 表示 第  $k$ 個 fundamental frequency, $k \omega_0$。

現在比較兩圖,兩圖可發現 Fourier Transform 對週期方波 不過是透過 脈衝函數 對原本的 "sinc 包烙線" 做取樣 (sampling) 的動作。

圖1 與 圖2 之間差別只有下面兩點:
  1. Fourier transform 圖形採用脈衝函數 (impulse function, $\delta(\cdot)$) 而 Fourier Series 採用條狀圖 (bar graph)。
  2. Fourier transform 為 Fourier Series 放大 $2\pi$ 倍
Example 2 (Impulse Train)
考慮下列 脈衝週期訊號
\[x\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {\delta \left( {t - kT} \right)} \]試求 Fourier Series coefficients 與 Fourier transform。
Solution
由於 脈衝週期訊號 $x(t)$ 週期為 $T$,且滿足 Dirchlet condtions,故我們有 Fourier series coefficient:
\[\begin{array}{l}
{a_k} = \frac{1}{T}\int_T^{} {x\left( t \right){e^{ - jk{\omega _0}t}}dt}  = \frac{1}{T}\int_{ - T/2}^{T/2} {\delta \left( t \right){e^{ - jk{\omega _0}t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{T}\int_{ - T/2}^{T/2} {\delta \left( t \right){e^{ - jk{\omega _0}t}}dt}  = \frac{1}{T}\underbrace {\int_{ - \infty }^\infty  {\delta \left( t \right){e^{ - jk{\omega _0}t}}dt} }_{ = {e^{ - jk{\omega _0}0}} = 1} = \frac{1}{T}
\end{array}\]接著計算此週期脈衝訊號的 Fourier transform,由前面討論可知週期訊號 $x(t)$ 的 Fourier transform 為
\[X(j\omega ) = \sum\limits_{k =  - \infty }^\infty  2 \pi {a_k}\delta (\omega  - k{\omega _0}) = \frac{{2\pi }}{T}\sum\limits_{k =  - \infty }^\infty  {\delta (\omega  - k\frac{{2\pi }}{T})} \]

Example 3 (Cosine Function)
考慮 $x(t) := \cos(\omega_0 t)$,試求 Fourier transform。

Solution
由於 $x(t)$ 為週期訊號,我們可知其 Fourier transform 可表為 脈衝函數的線性組合
\[
X(j \omega) = 2 \pi \sum_{k = -\infty}^{\infty} a_k \delta(\omega - k \omega_0) \ \ \ \ (*)
\] 其中 $a_k$ 為 Fourier series coefficient,由於 $\cos(\omega_0 t)$ 可寫為 complex exponential 如下
\[\cos \left( {{\omega _0}t} \right) = \frac{{{e^{j{\omega _0}t}} + {e^{ - j{\omega _0}t}}}}{2}\] (亦即只有 $k = \pm 1$ 的 Fourier coefficient) 故可知 $a_1 = a_{-1} =  1/2$。現在將此結果帶回 $(*)$ 我們得到
\[\begin{array}{l}
X(j\omega ) = 2\pi \frac{1}{2}\delta (\omega  - {\omega _0}) + 2\pi \frac{1}{2}\delta (\omega  ++ {\omega _0})\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \pi \delta (\omega  - {\omega _0}) + \pi \delta (\omega   +{\omega _0}) \ \ \ \ \square
\end{array}\]

Example 4 (Scaled Cosine Function)
現在考慮 $x(t) := \cos(\omega_0 t) /a, \; a>0$ 試求其對應的 Fourier transform。

Solution
由 Example 3,我們已知 $\cos(\omega_0 t)$ 的 Fourier transform 為
\[
\pi \delta (\omega  - {\omega _0}) + \pi \delta (\omega  - {\omega _0})
\] 故 $x(t) = \cos(\omega_0 t) /a $ 的 Fourier transform 由 linearity 可知
\[
X(j \omega) = \frac{1}{a} \left [\pi \delta (\omega  - {\omega _0}) + \pi \delta (\omega  - {\omega _0})\right] \ \ \ \ \square
\]
Comments:
若我們要求以頻率 $f$ 表示 $(\omega = 2 \pi f)$,則 Example 4 中的結果 變為
\[\begin{array}{l}
X(f) = \frac{1}{a}\left[ {\pi \delta (2\pi f - 2\pi {f_0}) + \pi \delta (2\pi f - 2\pi {f_0})} \right]\;\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{a}\left[ {\pi \delta (2\pi \left( {f - {f_0}} \right)) + \pi \delta (2\pi \left( {f - {f_0}} \right))} \right]\;
\end{array}\]利用脈衝函數的 scaling 性質 :
\[
\delta(a t) = \frac{1}{|a|} \delta(t)
\]改寫前式
\[\begin{array}{l}
X(f) = \frac{1}{a}\left[ {\pi \delta (2\pi \left( {f - {f_0}} \right)) + \pi \delta (2\pi \left( {f - {f_0}} \right))} \right]\;\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{a}\left[ {\pi \frac{1}{{2\pi }}\delta \left( {f - {f_0}} \right) + \pi \frac{1}{{2\pi }}\delta \left( {f - {f_0}} \right)} \right]\;\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{{2a}}\left[ {\delta \left( {f - {f_0}} \right) + \delta \left( {f - {f_0}} \right)} \right]\;
\end{array}\]

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

2012年8月20日 星期一

[系統理論] 連續時間 非週期訊號的 Fourier Transform Representation

先前我們提及 對於 週期訊號 可以透過 Fourier Series Represenation,但如果要處理的對象是 非週期訊號 (aperiodic) 該怎麼辦呢?
------------------
基本想法:
設法讓 非週期訊號 用 週期訊號表示,則原本對 週期訊號的 Fourier Series 展開的方法仍然適用。那麼要如何才能辦到? 我們讓非週期訊號以週期 $T \rightarrow \infty$ 的方式重現 週期訊號。
-------------------
下面我們更具體一點的來看看如何實現上述的基本想法,現在考慮 $x(t)$ 為 (有限範圍) 的 連續 非週期訊號如下圖



亦即存在實數 $T_1$ 使得非週期訊號 $x(t) := 0$ 若 $|t| > T_1$。

現在我們複製上面的 有限範圍 ($-T_1 < t < T_1 $) 非週期訊號 $x(t)$,並藉此建構一週期為 $T$ 的 週期訊號 $\tilde{ x}(t)$ 如下:

注意到上圖我們所建構的週期訊號,對 $|t| < T/2 $, $\tilde{x}(t) \equiv x(t)$。且對於上述週期訊號 $\tilde {x} (t)$,我們有 Fourier Series Pair 如下
\[\left\{ \begin{array}{l}
\tilde x\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} \\
{a_k} = \frac{1}{T}\int_{ - T/2}^{T/2} {\tilde x\left( t \right)} {e^{ - jk{\omega _0}t}}dt
\end{array} \right.\] 其中 $\omega_0 = 2\pi/T$。

現在注意到因為  $\tilde{x}(t) \equiv x(t)$ 只有在 $|t| < T/2$ 成立,且對於 $|t| \ge T/2$ 而言, $x(t) =0$,也就是說
\[\tilde x\left( t \right) = \left\{ \begin{array}{l}
x\left( t \right),\begin{array}{*{20}{c}}
{}
\end{array}\left| t \right| < T/2\\
0,\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}otherwise
\end{array} \right.\]故我們可以改寫 Fourier Series coefficient $a_k$ 用 $x(t)$ 表示:
\[\begin{array}{l}
{a_k} = \frac{1}{T}\int_{ - T/2}^{T/2} {\tilde x\left( t \right)} {e^{ - jk{\omega _0}t}}dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{T}\int_{ - T/2}^{T/2} {x\left( t \right)} {e^{ - jk{\omega _0}t}}dt = \frac{1}{T}\int_{ - \infty }^\infty  {x\left( t \right)} {e^{ - jk{\omega _0}t}}dt
\end{array}\]現在定義
\[X\left( {j\omega } \right): = \int_{ - \infty }^\infty  {x\left( t \right)} {e^{ - j\omega t}}dt
\]則 Fourier Series Coefficient $a_k$ 可改寫為
\[
a_k = \frac{1}{T}X(j k \omega_0)
\]且我們所建構的 週期訊號 $\tilde{x}(t)$ 亦可寫為
\[\tilde x\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}}  = \sum\limits_{k =  - \infty }^\infty  {\frac{1}{T}X\left( {jk{\omega _0}} \right){e^{jk{\omega _0}t}}}
\]或者,由 $T = \frac{2 \pi}{ \omega_0}$,我們有
\[\tilde x\left( t \right) = \frac{{{\omega _0}}}{{2\pi }}\sum\limits_{k =  - \infty }^\infty  {X\left( {jk{\omega _0}} \right){e^{jk{\omega _0}t}}} \]下圖可以說明上式,若讓 $\omega_0 \rightarrow 0$ 則 下圖的面積區域會逼近 其 外緣 $x(t)$。


故現在讓 $T \rightarrow \infty$ 則因為 $T = 2 \pi/ \omega_0$,故我們有 $\omega_0 \rightarrow 0$,且 $\tilde{x}(t) \rightarrow x(t)$ 且上式的 summation 過渡成積分:
\[\tilde x\left( t \right) = \frac{{{\omega _0}}}{{2\pi }}\sum\limits_{k =  - \infty }^\infty  {X\left( {jk{\omega _0}} \right){e^{jk{\omega _0}t}}}  \to x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega }
 \] 或者我們可寫
\[\mathop {\lim }\limits_{{\omega _0} \to 0} \frac{1}{{2\pi }}\sum\limits_{k =  - \infty }^\infty  {X\left( {jk{\omega _0}} \right){e^{jk{\omega _0}t}}} {\omega _0} = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega } \]現在我們總結如下:
非週期函數的可以視為 週期函數 Fourier Series 的極限 ($T \rightarrow \infty$),如下:
\[\left\{ \begin{array}{l}
x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega } \\
X\left( {j\omega } \right){\rm{ = }}\int_{ - \infty }^\infty  {x\left( t \right)} {e^{ - j\omega t}}dt
\end{array} \right.\]上式稱為 Fourier Transform Pair 。

Comments:
1. $x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega }$ 稱為 Inverse Fourier Transform; $X(j \omega)$ 稱為 $x(t)$ 的 Fourier Transform 或者稱 Fourier integral。

2. $x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega }$ 仍具備 Fourier Series 的本質:將非週期訊號用 complex exponential 做線性組合。

3. 對比於 Fourier Series,非週期訊號的 Fourier Transform, $X(j\omega)$ 又稱為 $x(t)$的 頻譜 (spectrum),因為其提供了對於不同頻率上,將 $x(t)$ 用 complex expoential 做線性組合 所需要的資訊。

4. 儘管 Fourier transform 獲得巨大的成功,但其 積分收斂性問題仍揮之不去,在控制理論中,Fourier transform 只能分析穩定系統,對於不穩定系統並不存在 Fourier transform,所幸此問題可透過 單邊型拉氏轉換(Unilateral Laplace Transform) 進一步拓展 Fourier transform 使其亦可分析不穩定系統,亦即
\[
X(s) := \cal{L}[x(t)]= \int_{0^-}^\infty x(t) e^{-st} dt
\]其中 $s = \sigma + j \omega$,$X(s)$ 稱為 s-domain function。
 Laplace Transform 可視為 Fourier Transform 的進一步推廣。而如果我們讓 $\sigma =0$,亦即 $s= j \omega$,可得到 Fourier Transform (在系統理論中 $s = j \omega$又稱 頻率響應)。

5.  若下面三個 Dirchlet conditions 滿足,則非週期訊號保證 Fourier Transform 存在:
  • $x(t)$ 必須絕對值可積分,亦即 $\int_\infty^\infty |x(t)|dt < \infty$
  • $x(t)$ 在任意有限區間內必須有 bounded variation,亦即 在任意區間內,只有有限個最大值或最小值。
  • $x(t)$ 在任意有限區間內,只有有限個不連續點。
6. Fourier Transform 亦可適用於 週期訊號。此部分我們之後的文章會在做介紹。

現在我們看下面一些例子:
Example 1
考慮下列訊號
\[
x(t) = e^{-a |t|}, \;\; a>0
\]試求其對應的 Fourier Transform $X(j \omega)$。
Solution:
注意到 $x(t) = e^{-a |t|}$ 為非週期訊號(但滿足 Dirchlet conditions),故我們可求 Fourier Transform,利用 Fourier Transform formula
\[
X(j \omega) = \int_{-\infty}^\infty e^{-a |t|}e^{-j \omega t} dt \ \ \ \ (*)
\]注意到
\[{e^{ - a\left| t \right|}} = \left\{ \begin{array}{l}
{e^{ - at}},\begin{array}{*{20}{c}}
{}
\end{array}t \ge 0\\
{e^{at}},\begin{array}{*{20}{c}}
{}
\end{array}t < 0
\end{array} \right.
\]故上式 $(*)$ 可改寫為
\[\begin{array}{l}
X(j\omega ) = \int_{ - \infty }^\infty  {{e^{ - a|t|}}} {e^{ - j\omega t}}dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_0^\infty  {{e^{ - at}}} {e^{ - j\omega t}}dt + \int_{ - \infty }^0 {{e^{at}}} {e^{ - j\omega t}}dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{{a + j\omega }} + \frac{1}{{a - j\omega }}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{{2a}}{{{a^2} + {\omega ^2}}}. \ \ \ \ \  \ \ \ \square
\end{array}\]
Example 2
考慮下列訊號
\[
x(t) = \delta (t)
\]其中 $\delta(t)$ 為單位脈衝函數 (Unit Impulse Function) ,試求其對應的 Fourier Transform $X(j \omega)$。
Solution
單位脈衝函數為非週期函數(但滿足 Dirchlet conditions),故我們計算其Fourier Transform:
\[\begin{array}{l}
X\left( {j\omega } \right) = \int_{ - \infty }^\infty  {\delta \left( t \right)} {e^{ - j\omega t}}dt = \int_{ - \infty }^\infty  {\delta \left( {t - 0} \right)} {e^{ - j\omega t}}dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {e^{ - j\omega 0}} = 1. \ \ \ \ \ \ \ \square
\end{array}\]
Example 3
考慮下列方波訊號
\[x\left( t \right) = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}\left| t \right| < {T_1}\\
0,\begin{array}{*{20}{c}}
{}
\end{array}\left| t \right| > {T_1}
\end{array} \right.\]試求其對應的 Fourier Transform $X(j \omega)$。
Solution
注意到上式方波為非週期訊號(但滿足 Dirchlet conditions),我們計算 其 Fourier Transform
\[\begin{array}{l}
X\left( {j\omega } \right) = \int_{ - \infty }^\infty  {x\left( t \right){e^{ - j\omega t}}dt}  = \int_{ - {T_1}}^{{T_1}} {{e^{ - j\omega t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{{j\omega }}\left( {{e^{j\omega {T_1}}} - {e^{ - j\omega {T_1}}}} \right) = \frac{2}{\omega }\frac{{{e^{j\omega {T_1}}} - {e^{ - j\omega {T_1}}}}}{{2j}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{2}{\omega }\sin \left( {\omega {T_1}} \right) \ \ \ \square
\end{array}\]
Example 4
考慮訊號 $x(t)$ 其 Fourier Transform 為
\[X\left( {j\omega } \right) = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}\left| t \right| < W\\
0,\begin{array}{*{20}{c}}
{}
\end{array}\left| t \right| > W
\end{array} \right.\]試求其原本訊號 $x(t) =?$
Solution
利用 Inverse Fourier Transform:
\[\begin{array}{l}
x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega }  = \frac{1}{{2\pi }}\int_{ - W}^W {{e^{j\omega t}}d\omega } \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left[ {\frac{1}{{jt}}\left( {{e^{jWt}} - {e^{ - jWt}}} \right)} \right] = \frac{1}{{\pi t}}\left( {\frac{{{e^{jWt}} - {e^{ - jWt}}}}{{2j}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{\pi t}}\sin \left( {Wt} \right). \ \ \ \ \ \ \ \square
\end{array}\]


下面例子讓讀者自行計算:
Practice 1
考慮下列訊號
\[
x(t) = e^{-at}u(t), \;\; a>0
\]其中 $u(t)$為單位步階函數(Unit Step function) 定義如下
\[u\left( t \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}t \ge 0\\
0,\begin{array}{*{20}{c}}
{}
\end{array}t < 0
\end{array} \right.\]試求其 Fourier Transform $X(j \omega) =?$

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[系統理論] 連續時間週期訊號的 Fourier Series Representation (4)-Parseval's relation for periodic signal

令 $x(t)$ 與 $y(t)$ 為具有週期為 $T$ 的連續時間週期訊號,且存在 Fourier Series Representation 如下
\[\begin{array}{l}
x\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}}\\
y\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {{b_k}} {e^{jk{\omega _0}t}}
\end{array}
\]

我們首先證明下面的結果:

Fact: 給定兩時域訊號相乘 $\Rightarrow$ 頻域訊號 convolution
定義兩訊號乘積 $z(t) := x(t) y(t) = \sum\limits_{k =  - \infty }^\infty  {{c_k}} {e^{jk{\omega _0}t}}$,則 其乘積的 Fourier Series Coefficient 為離散 convolution
\[
c_k = \sum_{n=-\infty}^{\infty}a_n b_{k-n}
\]Proof:
觀察 $z(t) = x(t)y(t)$ 如下
\[\begin{array}{l}
x\left( t \right)y\left( t \right) = \sum\limits_{n =  - \infty }^\infty  {{a_n}} {e^{jn{\omega _0}t}}\sum\limits_{k =  - \infty }^\infty  {{b_k}} {e^{jk{\omega _0}t}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {\left( {{b_k}\sum\limits_{n =  - \infty }^\infty  {{a_n}} {e^{jn{\omega _0}t}}} \right){e^{jk{\omega _0}t}}}
\end{array}\]又注意到 $b_k$ 為 $y(t)$ 的 Fourier Series Coefficient,故我們有
\[{b_k} = \frac{1}{T}\int_T^{} {y\left( t \right){e^{ - jk{\omega _0}t}}} dt
\] 帶入上式可得
\[\begin{array}{l}
x\left( t \right)y\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {\left( {\frac{1}{T}\int_T^{} {y\left( t \right){e^{ - jk{\omega _0}t}}} dt\sum\limits_{n =  - \infty }^\infty  {{a_n}} {e^{jn{\omega _0}t}}} \right){e^{jk{\omega _0}t}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {\left( {\sum\limits_{n =  - \infty }^\infty  {{a_n}} \underbrace {\frac{1}{T}\int_T^{} {y\left( t \right){e^{ - j\left( {k - n} \right){\omega _0}t}}dt} }_{ = {b_{k - n}}}} \right){e^{jk{\omega _0}t}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {\left( {\sum\limits_{n =  - \infty }^\infty  {{a_n}} {b_{k - n}}} \right){e^{jk{\omega _0}t}}}
\end{array}\]亦即
\[{c_k} = \sum\limits_{n =  - \infty }^\infty  {{a_n}} {b_{k - n}} \ \ \ \ \square
\]
Theorem: Parseval's Relation for Periodic Signals
現在我們令上述 $y(t) := x^*(t)$ (其中 ${}^*$ 表 complex conjugate)。則下列結果成立
\[
\frac{1}{T} \int_0^T |x(t)|^2 dt =\sum_{k=-\infty}^{\infty}|a_k|^2
\]

Comment: 上式說明了一個週期訊號 $x(t)$ 的 單一週期的 total energy 除以 週期 $T$ (或者 直接說 average power) 等同於 其對應的 Fourier Series coefficient 的平方 $|a_k|^2$ 做無窮級數。 (此平方項 $|a_k|^2$又稱 k-th harmonic components)

Proof:
觀察 ${\left| {x\left( t \right)} \right|^2} = x\left( t \right){x^*}\left( t \right)$,故我們有
\[\frac{1}{T}\int_0^T {{{\left| {x\left( t \right)} \right|}^2}dt}  = \frac{1}{T}\int_0^T {x\left( t \right){x^*}\left( t \right)dt} \]接著帶入 $x(t)$ (對應的 Fourier Series coefficient 為 $a_k$) 與 $x^*(t)$ ( $x^*(t)$ 對應的 Fourier Series 為 $a_{-k}^*$)。
\[\begin{array}{*{20}{l}}
{\frac{1}{T}\int_0^T {{{\left| {x\left( t \right)} \right|}^2}dt}  = \frac{1}{T}\int_0^T {\sum\limits_{n =  - \infty }^\infty  {{a_n}} {e^{jn{\omega _0}t}}\sum\limits_{k =  - \infty }^\infty  {a_{ - k}^*} {e^{ - jk{\omega _0}t}}dt} }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{T}\int_0^T {\sum\limits_{k =  - \infty }^\infty  {\sum\limits_{n =  - \infty }^\infty  {a_{ - k}^*{a_n}{e^{ - jk{\omega _0}t}}} {e^{jn{\omega _0}t}}} dt} }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{T}\sum\limits_{k =  - \infty }^\infty  {a_{ - k}^*\underbrace {\sum\limits_{n =  - \infty }^\infty  {{a_n}\int_0^T {{e^{ - jk{\omega _0}t}}{e^{jn{\omega _0}t}}dt} } }_{ = {a_k}T}} }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{T}\sum\limits_{k =  - \infty }^\infty  {a_{ - k}^*{a_k}T}  = \sum\limits_{k =  - \infty }^\infty  {{{\left| {{a_k}} \right|}^2}} } \ \ \ \ \square
\end{array}
\]

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

2012年8月19日 星期日

[系統理論] 連續時間週期訊號的 Fourier Series Representation (3)- Convergence condition

令 $x(t)$ 為週期訊號, $x(t)$ 存在 Fourier Series Representation,則我們可寫下
\[
x(t) = \sum_{k=-\infty}^{\infty} a_k e^{j k \omega_0 t}
\] Fourier 認為 "任意" 週期訊號都可以被表示成 complex exponentials 的線性組合,亦即任意週期訊號都 存在 Fourier Series,但事實上這個陳述並不正確。亦即,並非所有的週期訊號都有 Fourier Series;最關鍵的問題是 Fourier Series 本身牽涉到無窮級數,一旦級數涉及無窮項必然存在級數收斂性問題。

Validity of Fourier Series Representation
首先觀察一個具有週期 $T$ 的週期訊號 $x(t)$ ,但我們僅透過 有限 $N$ 項 complex exponentials 的線性組合來表示近似此週期訊號。用有限 $N$ 項 complex exponentials 線性組合的近似週期訊號記做 $x_N(t)$ 如下
\[{x_N}\left( t \right) = \sum\limits_{k =  - N}^N {{a_k}{e^{jk{\omega _0}t}}} \]
現在我們定義 $e_N(t)$ 為  $x(t)$ 與 $x_N(t)$的近似誤差 如下:
\[{e_N}\left( t \right): = x\left( t \right) - {x_N}\left( t \right) = x\left( t \right) - \sum\limits_{k =  - N}^N {{a_k}{e^{jk{\omega _0}t}}}
\]那麼有了上述 近似誤差 $e_N(t)$ 的定義,我們仍然不容易知道到底 $e_N(t)$ 怎樣算是好 ($x_N(t)$ 有多接近 $x(t)$)。故我們首先只觀察一個週期,然後透過 2-norm (或者說 energy idea) 定義 "近似誤差的大小"
\[
E_N := \int_T |e_N(t)|^2dt
\]那麼我們的目標是找出到底怎樣的 $a_k$ 使得 $E_N$ 被最小化,亦即 $\min_{a_k} E_N$ ,現在將 $e_N(t) = x\left( t \right) - \sum\limits_{k =  - N}^N {{a_k}{e^{jk{\omega _0}t}}} $ 帶入 $E_N$ 可得
\[{E_N} = {\int_T {\left| {x\left( t \right) - \sum\limits_{k =  - N}^N {{a_k}{e^{jk{\omega _0}t}}} } \right|} ^2}dt
\]現在觀察上式,若我們取 $a_k$ = Fourier Series Coefficient:
\[
{a_n} = \frac{1}{T}\int_T^{} {x(t){e^{ - jn{\omega _0}t}}dt}
\]則讀者可驗證確實 $E_N$為最小值。

上述結果說明了若週期訊號 $x(t)$ 有 Fourier Series Representation,則其透過有限 $N$ 項的最佳近似即為將 Fourier Series Representation 的前面 $N$ 項和。且隨著 $N$ 增加,我們的誤差 $E_N$ 便會逐步縮小直到誤差為$0$。


Question: 一個週期訊號在甚麼情況下存在 Fourier Series Representation? (此問等價於 一個週期訊號在甚麼情況下可以用 Complex Exponentials 做線性組合展開?)
注意到我們的剛剛推出的有限N項最佳誤差估計 (或者無限項的 or Fourier Series Coefficient formula)
\[{a_k} = \frac{1}{T}\int_T^{} {x(t){e^{ - jk{\omega _0}t}}dt}
\]並不一定永遠收斂 (亦即 $a_k \rightarrow \infty$ 積分有可能到無窮大)
再者就算每一項 $a_k$ 都可以定義 (積分存在),我們把這些 Fourier Series 係數收集起來,用 Complex exponential 展開
\[
x(t) = \sum_{k=-\infty}^{\infty} a_k e^{j k \omega_0 t}
\] 此時牽涉到無窮級數,如前所敘,有可能發生儘管每一項 $a_k$ 都有界,但其級數發散亦即 $x(t) \rightarrow \infty$

事實上,有兩類不同的條件可以解決前述的收斂性問題。如果週期訊號滿足此兩類條件,就能保證該週期訊號確實存在 Fourier Series Representation。

第一類條件: $L^2$ condition or energy condition
考慮週期訊號 $x(t)$,若在該訊號一個週期內的total energy為有限值,則此訊號存在 Fourier Series Representation,亦即若下列條件成立則 $x(t)$ 有 Fourier Series Representation
\[
\int_T |x(t)|^2 dt < \infty
\]當此條件成立,則 $a_k < \infty \; \forall k \in \mathbb{Z}$。


第二類條件: Dirichlet conditions
1. 對任意週期 $T$,$x(t)$ 必須絕對值可積分,亦即
\[
\int_T |x(t)|dt < \infty
\]
2. 對任意有限時間區間,$x(t)$ 有 bounded variation。亦即任意單一周期內,$x(t)$ 的最大或者最小值的數目為有限個。

3. 在任意有限時間區間內,$x(t)$ 只有 有限個 不連續點(discontinuous points)。

若上述三個 Dirichlet conditions 成立,則 $x(t)$ 存在 Fourier Series Representation 且除了不連續點之外,保證 $x(t)$等於 Fourier Series。且 在不連續點上,Fourier Series 收斂到 不連續點兩邊的平均值。亦即對不連續點 $t$
\[\sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}} = \frac{1}{2}(x(t + ) + x(t - ))\]其中
\[\begin{array}{l}
x(t + ) = \mathop {\lim }\limits_{t \to {t^ + }} x(t)\\
x(t - ) = \mathop {\lim }\limits_{t \to {t^ - }} x(t)
\end{array}\]


小結:
上述兩類條件其中一種成立,則我們說該 $x(t)$ 存在 Fourier Series Representation。


ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[電子學] 淺談雙極性接面電晶體(BJTs) 的基本想法。

真實電路中,常見的兩端點元件 e.g., 電阻、電感、電容、或者 二極體 (diode),但這些元件並無法將輸出端的電流或者電壓進行放大。故我們需要一個電路元件 可以幫助我們辦到這項目標。

比如說現在要建構一個新元件具備 電流控制 的電流放大器(current amplifier)元件。那麼這個元件應該具備怎樣的特性呢?? 我們首先繪製下圖


中間的 問號方塊即為我們要設計的三端子元件。目的是要透過電流 $i_s$ 來得到放大的輸出電流 $i_o$ 。現在我們把方塊內部繪製如下:



上圖中 $R_L$ 表示負載 (e.g., 馬達)。途中藍色線框標示處表示我們要設計的電流放大元件,觀察內部會發現有幾個設計參數待定:

  • 輸入電阻 $R_i$
  • 輸出電阻 $R_o$
  • 放大倍數 $A$

由於 $A$ 表示 放大倍數,我們會希望 $i_i$ 被放大 $A$ 倍; i.e., $A i_i$。

現在觀察上圖左方電路,計算 $i_i$ 電流:由分流定理我們可知
\[
i_i = i_s \frac{R_s}{R_s + R_i}
\]觀察上式,若輸入電阻 $R_i$ 設計成很小,則我們可以得到 $i_i \cong i_s$ ($i_s$ 都流經電阻 $R_i$ ,沒有損失太多電流)。

現在觀察上圖右方電路,此時輸入到右方電路的電流為 $A i_i$,我們可以計算 輸出電流 $i_o$,由分流定理可知
\[
i_o = (A i_i) \cdot \frac{R_o}{R_o + R_L}
\]故若 $R_o$ 選定很大,則我們可以得到較大輸出電流 $i_o$。

結論:對於電流放大元件的需求:

  1. 輸入電阻 $R_i$ 要小
  2. 輸出電組 $R_o$ 要大
  3. 放大倍數 $A$ 要大 ($\neq 0$)

那麼我們如何滿足上述條件呢? 透過 diode 單向導通的想法即可達成:首先取兩組diode,現在對其中一組 diode順向偏壓 (diode導通,此時等同得到輸入電阻很小),且對另外一組diode逆向偏壓 (diode不通,等同輸出電阻很大的效果),現在將兩組diode合併。如下圖 npn 電晶體:



另外亦可接成 npn 電晶體,將 Forward bias 換成 reverse bias 即可。在此不再贅述。

2012年7月29日 星期日

[數學分析] Volterra integral 與 Contraction Principle

首先回憶 Contraction Principle。

Theorem: Contraction Principle
若 $(X,d)$ 為 complete metric space 且 $\Phi$ 為 contraction on $X$,則
$\Phi$ 有 唯一 不動點 $x^*$ (unique fixed point);亦即 存在 $x^* \in X$ 使得 $\Phi(x^*) = x^*$


考慮 $K$ 為在 $[a,b]\times[a,b]$上 連續函數
現在我們定義 Volterra Integral $\cal K$ 如下
若 $\phi \in C([a,b])$,$\cal K: C([a,b]) \to C([a,b])$ 且滿足
\[
\mathcal{K}f(x):= \phi(x) + \lambda \int_a^x K(x,y)f(y)dy
\]

利用 Contraction Principle 我們可以證明下面命題:

Proposition: 對任意 $\lambda>0$,Volterra Integral $\cal K$ 有 fixed point on $C([a,b])$ with sup metric。

Proof:
我們要證明 Volterra Integral $\cal K$ 有 fixed point on $C([a,b])$,由於 $C([a,b])$ with sup metric 為 complete metric space,故若我們可以證明  $\cal K$ 為 contraction 則由 Contraction Principle 可知必有唯一不動點。

回憶 一個函數 $\Phi$ 為 metric space $(X,d)$ 上的 contraction 定義為:$\Phi:X \to X$ 且 存在 $c$ 滿足 $0 \le c <1$ 使得 $d(\Phi(x),\Phi(y)) \le c \cdot d(x,y)$。

故我們觀察
\[\begin{array}{l}
d(K{f_1},K{f_2}) = \left\| {K{f_1} - K{f_2}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \mathop {\sup }\limits_x \left| {\lambda \int_a^x K (x,y)\left[ {{f_1}(y) - {f_2}\left( y \right)} \right]dy} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \mathop {\sup }\limits_x \lambda \int_a^x {\left| {K(x,y)\left[ {{f_1}(y) - {f_2}\left( y \right)} \right]} \right|} dy
\end{array}\]由於 $K(x,y)$ 為 compact domain $ [a,b]\times [a,b]$上的連續函數故必有極值,我們可說 存在$M>0$使得對所有的 $x,y \in [a,b]\times [a,b]$$|K(x,y)| \le M$ ,故我們有
\[\begin{array}{l}
\left\| {K{f_1} - K{f_2}} \right\| \le \mathop {\sup }\limits_x \lambda \int_a^x {\left| {K(x,y)\left[ {{f_1}(y) - {f_2}\left( y \right)} \right]} \right|} dy\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le \lambda M\mathop {\sup }\limits_x \int_a^x {\left| {{f_1}(y) - {f_2}\left( y \right)} \right|} dy\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le \lambda M\left( {b - a} \right)\left\| {{f_1} - {f_2}} \right\|
\end{array}\]注意到上式儘管有 contraction 的樣子但並非為 contraction (why? 因為 前方係數 $c:=\lambda M (b-a)$ 不一定 小於 $1$)

那麼我們該怎麼做? 回憶我們可以對函數做 n-th iteration 在檢驗其是否為 contraction:首先做 2次 iteration 並
\[\begin{array}{l}
 \Rightarrow {K^2}f = \phi (x) + \lambda \int_a^x K (x,y)\left[ {\phi (y) + \lambda \int_a^y K (y,z)f(z)dz} \right]dy\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \phi (x) + \lambda \int_a^x {K(x,y)\phi (y)} dy + {\lambda ^2}\int_a^x {K(x,y)\int_a^y K (y,z)f(z)dz} dy
\end{array}\]現在再度檢驗 contraction property
\[\begin{array}{l}
{K^2}{f_1} - {K^2}{f_2} = {\lambda ^2}\int_a^x {K(x,y)\int_a^y K (y,z)\left[ {{f_1}(z) - {f_2}(z)} \right]dz} dy\\
 \Rightarrow \left| {{K^2}{f_1} - {K^2}{f_2}} \right| \le {\lambda ^2}{M^2}\left\| {{f_1} - {f_2}} \right\|\int_a^b {\int_a^b {dzdy} } \\
 \Rightarrow \left\| {{K^2}{f_1} - {K^2}{f_2}} \right\| \le \frac{{{\lambda ^2}{M^2}{{\left( {b - a} \right)}^2}}}{2}\left\| {{f_1} - {f_2}} \right\|
\end{array}\]重複上述步驟 到 $n-th$ iteration 可得
\[\left\| {{K^n}{f_1} - {K^n}{f_2}} \right\| \le \frac{{{\lambda ^n}{M^n}{{\left( {b - a} \right)}^n}}}{{n!}}\left\| {{f_1} - {f_2}} \right\|\]故若取足夠大的 $N$ 使得 $n \ge N$ 我們可得到 contraction。

則由 contraction principle 可推知 Volterra integral 存在 unique fixed point。

[線性系統] 動態方程式的求解(3) - LTV state equation- Total Solution

延續前篇文章 [線性系統] 動態方程式的求解(2) - LTV state equation- Homogeneous solution,這次要介紹線性時變 (Linear Time Varying, LTV ) 系統的狀態方程的全解。


考慮下列 LTV 動態系統
\[\left\{ {\begin{array}{*{20}{l}}
{{\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right){\bf{x}}\left( t \right) + {\bf{B}}\left( t \right){\bf{u}}\left( t \right)}\\
{{\bf{y}}\left( t \right) = {\bf{C}}\left( t \right){\bf{x}}\left( t \right) + {\bf{D}}\left( t \right){\bf{u}}\left( t \right)}
\end{array}} \right.
\] 且假設  ${\bf{A}}\left( t \right)$ 為 $n \times n$ 且矩陣中每一項元素 都為對時間 $t$ 連續函數。

Comment:
1. 上式中 ${{\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right){\bf{x}}\left( t \right) + {\bf{B}}\left( t \right){\bf{u}}\left( t \right)}$ 稱為狀態方程 (State equation)
2. ${{\bf{y}}\left( t \right) = {\bf{C}}\left( t \right){\bf{x}}\left( t \right) + {\bf{D}}\left( t \right){\bf{u}}\left( t \right)}$ 稱為 輸出方程 (Output equation)

===================
Claim:
給定初始狀態 ${\bf{x}}\left( {{t_0}} \right)$ 與 輸入 ${{\bf{u}}\left( t \right)}$,則狀態方程 ${{\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right){\bf{x}}\left( t \right) + {\bf{B}}\left( t \right){\bf{u}}\left( t \right)}$ 的解為
\[
{\bf{x}}\left( t \right) = {\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + \int_{{t_0}}^t {{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau } \ \ \ \ (*)
\]其中  ${\bf{\Phi }}\left( {t,\tau } \right): = {\bf{X}}\left( t \right){{\bf{X}}^{ - 1}}\left( \tau  \right)$ 為 ${\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right){\bf{x}}\left( t \right)$ 的 State Transition matrix 滿足\[\frac{\partial }{{\partial t}}{\bf{\Phi }}\left( {t,{t_0}} \right) = {\bf{A}}\left( t \right){\bf{\Phi }}\left( {t,{t_0}} \right)\]且 初始條件為 ${\bf{\Phi }}\left( {{t_0},{t_0}} \right) = {\bf{I}}$。
===================

Proof:
首先證明 $(*)$ 滿足初始條件:
\[\begin{array}{l}
{\bf{x}}\left( t \right) = {\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + \int_{{t_0}}^t {{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau } \\
 \Rightarrow {\bf{x}}\left( {{t_0}} \right) = {\bf{\Phi }}\left( {{t_0},{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + \underbrace {\int_{{t_0}}^{{t_0}} {{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau } }_{ = 0}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {\bf{X}}\left( {{t_0}} \right){{\bf{X}}^{ - 1}}\left( {{t_0}} \right){\bf{x}}\left( {{t_0}} \right) = {\bf{Ix}}\left( {{t_0}} \right) = {\bf{x}}\left( {{t_0}} \right)
\end{array}\]接著我們證明 $(*)$ 確實滿足狀態方程。
\[\begin{array}{l}
{\bf{x}}\left( t \right) = {\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + \int_{{t_0}}^t {{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau } \\
\frac{d}{{dt}}{\bf{x}}\left( t \right) = \frac{d}{{dt}}\left[ {{\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + \int_{{t_0}}^t {{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau } } \right]\\
 \Rightarrow {\bf{\dot x}}\left( t \right) = \frac{\partial }{{\partial t}}{\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + \frac{\partial }{{\partial t}}\left[ {\int_{{t_0}}^t {{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau } } \right]
\end{array}
\] 利用 Fundamental Theorem of Calculus:
\[\frac{\partial }{{\partial t}}\int_{{t_0}}^t {f\left( {t,\tau } \right)d\tau }  = \left. {f\left( {t,\tau } \right)} \right|_{\tau  = t}^{} + \int_{{t_0}}^t {\left( {\frac{\partial }{{\partial t}}f\left( {t,\tau } \right)} \right)d\tau }
\] 我們得知
\[\begin{array}{l}
{\bf{\dot x}}\left( t \right) = \frac{\partial }{{\partial t}}{\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right) \\
\ \ \ \ \ \ \ \ \ \ \ + \left[ {{\bf{\Phi }}\left( {t,t} \right){\bf{B}}\left( t \right){\bf{u}}\left( t \right) + \int_{{t_0}}^t {\left( {\frac{\partial }{{\partial t}}{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)} \right)d\tau } } \right]\\
 \Rightarrow {\bf{\dot x}}\left( t \right) = \frac{\partial }{{\partial t}}{\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + {\bf{\Phi }}\left( {t,t} \right){\bf{B}}\left( t \right){\bf{u}}\left( t \right) \\
\ \ \ \ \ \ \ \  \ \ \ \ \ \ \ \ \ \ \  \ \ \  + \int_{{t_0}}^t {\left( {\frac{\partial }{{\partial t}}{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)} \right)d\tau }
\end{array}
\]再由 State Transition Matrix 定義 $\frac{\partial }{{\partial t}}{\bf{\Phi }}\left( {t,{t_0}} \right) = {\bf{A}}\left( t \right){\bf{\Phi }}\left( {t,{t_0}} \right)$我們知道
\[\begin{array}{l}
{\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right){\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + {\bf{\Phi }}\left( {t,t} \right){\bf{B}}\left( t \right){\bf{u}}\left( t \right) \\
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \  \ \ \ \ \ \ \ \ \ \ \ + \int_{{t_0}}^t {\left( {\frac{\partial }{{\partial t}}{\bf{\Phi }}\left( {t,\tau } \right)} \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau } \\
 \Rightarrow {\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right){\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + {\bf{\Phi }}\left( {t,t} \right){\bf{B}}\left( t \right){\bf{u}}\left( t \right)\\
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \  + \int_{{t_0}}^t {{\bf{A}}\left( t \right){\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau } \\
 \Rightarrow {\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right)\underbrace {\left[ {{\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right)  + \int_{{t_0}}^t {{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau } } \right]}_{ = {\bf{x}}\left( t \right)} \\
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ + \underbrace {{\bf{X}}\left( t \right){{\bf{X}}^{ - 1}}\left( t \right)}_{ = {\bf{I}}}{\bf{B}}\left( t \right){\bf{u}}\left( t \right)\\
 \Rightarrow {\bf{\dot x}}\left( t \right) = {\bf{A}}\left( t \right){\bf{x}}\left( t \right) + {\bf{B}}\left( t \right){\bf{u}}\left( t \right)
\end{array}
\]

有了上述結果之後,我們便可以進一步求得 輸入輸出之間關係,將
\[
{\bf{x}}\left( t \right) = {\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right) + \int_{{t_0}}^t {{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau } \] 帶回輸出方程 ${{\bf{y}}\left( t \right) = {\bf{C}}\left( t \right){\bf{x}}\left( t \right) + {\bf{D}}\left( t \right){\bf{u}}\left( t \right)}$,可得
\[\begin{array}{l}
 \Rightarrow {\bf{y}}\left( t \right) = {\bf{C}}\left( t \right){\bf{\Phi }}\left( {t,{t_0}} \right){\bf{x}}\left( {{t_0}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} + {\bf{C}}\left( t \right)\int_{{t_0}}^t {{\bf{\Phi }}\left( {t,\tau } \right){\bf{B}}\left( \tau  \right){\bf{u}}\left( \tau  \right)d\tau }  + {\bf{D}}\left( t \right){\bf{u}}\left( t \right)
\end{array}\]