[線性系統] 淺談動態系統的可控制性(2)

延續前篇，考慮 $n$ 維度 $p$ 組輸入的狀態方程

\[{\bf{\dot x}} = {\bf{Ax}} + {\bf{Bu}}\]由於輸出方程與控制性無關在此我們僅討論狀態方程。

我們先回憶 系統狀態可控制的定義
=====================
Definition: (Controllability for LTI system)
我們稱狀態方程
\[
{\bf{\dot x}}\left( t \right) = {\bf{Ax}}\left( t \right) + {\bf{Bu}}\left( t \right)
\] 或者一組 $\left( {{\bf{A,B}}} \right)$ 為在時刻 $t_0$ 可控制(controllable)，若下列條件成立:
對任意初始狀態 ${\bf{x}}\left( 0 \right) = {\bf x}_0$ 與 終止狀態 ${\bf x}_1$，存在 一組輸入訊號 ${\bf u}(t)$ 使得可以在 有限時間 內將 ${{\bf{x}}_0}$ 送至 ${{\bf{x}}_1}$。反之我們稱此 $\left( {{\bf{A,B}}} \right)$ 不可控制 (uncontrollable)。
======================

Comment:
注意!! 上述的可控性定義並 "無" 限制 控制力大小。

現在我們給出 控制性 有關的結果整合在下面

=========================

Theorem: Controllability equivalence statements

下列 4個 陳述完全等價(if and only if)：

1. $n$維度的 pair $(\bf{A,B})$ 為 controllable

2. 對任意 $t>0$，$n \times n$ 的矩陣

\[{{\bf{W}}_C}(t): = \int_{\rm{0}}^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{{\bf{A}}^T}\left( {t - \tau } \right)}}} d\tau \]為 nonsingular。

3. $n \times np$ 的控制性矩陣 controllability matrix

\[C: = \left[ {\begin{array}{*{20}{c}}
{\bf{B}}&{{\bf{AB}}}&{{{\bf{A}}^2}{\bf{B}}}& \cdots &{{{\bf{A}}^{n - 1}}{\bf{B}}}
\end{array}} \right]\]為 full rank (rank $=n$)

4. 若 $A$ 矩陣 所有的 eigenvalue 皆具有 負實部，則下列 Lyapunov equation

\[{\bf{A}}{{\bf{W}}_C} + {{\bf{W}}_C}{{\bf{A}}^T} =  - {\bf{B}}{{\bf{B}}^T}\]有唯一解 

\[{{\bf{W}}_C}: = \int_{\rm{0}}^\infty  {{e^{{\bf{A}}\tau }}{\bf{B}}{{\bf{B}}^T}{e^{{{\bf{A}}^T}\tau }}} d\tau \]且為 正定矩陣 (positive definite matrix)。

=========================

Proof: $ (1) \Leftrightarrow (2)$

我們先證 $(2) \Rightarrow (1)$ 亦即假設對任意 $t>0$，$n \times n$ 的矩陣

\[{{\bf{W}}_C}(t): = \int_{\rm{0}}^t {{e^{{\bf{A}}\left( {t - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{{\bf{A}}^T}\left( {t - \tau } \right)}}} d\tau \]為 nonsingular。我們要證明 $(\bf{A,B})$ 為 controllable。

由 controllable 定義，我們給定任意初始狀態 ${\bf{x}}\left( 0 \right) = {{\bf{x}}_0}$ 與 任意終端狀態 ${\bf{x}}\left( {{t_1}} \right) = {{\bf{x}}_1}$，需找出一個控制力 $\bf u$ 使得在有限時間 $t_1$ 內 使 ${{\bf{x}}_0}$ 移動到 ${{\bf{x}}_1}$。

故現在回憶對於 ${\bf{\dot x}} = {\bf{Ax}} + {\bf{Bu}}$ 其 在 時刻$t_1$ 對應的解為
\[{\bf{x}}\left( {{t_1}} \right) = {e^{{\bf{A}}{t_1}}}{\bf{x}}\left( 0 \right) + \int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } \]現在我們令控制力為
\[{\bf{u}}\left( t \right): =  - {{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{{\bf{W}}_C}^{ - 1}\left( {{t_1}} \right)\left[ {{e^{{\bf{A}}\left( {{t_1}} \right)}}{{\bf{x}}_0} - {{\bf{x}}_1}} \right]
\]由於我們假設 ${ = {{\bf{W}}_C}\left( {{t_1}} \right)}$ 為 nonsingular，反矩陣存在!。現在我們代入 $(*)$ 可得
\[\begin{array}{*{20}{l}}
{{\bf{x}}\left( {{t_1}} \right) = {e^{{\bf{A}}{t_1}}}{{\bf{x}}_0} - \int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{{\bf{A}}^T}\left( {{t_1} - \tau } \right)}}{{\bf{W}}_C}^{ - 1}\left( {{t_1}} \right)\left[ {{e^{{\bf{A}}\left( {{t_1}} \right)}}{{\bf{x}}_0} - {{\bf{x}}_1}} \right]d\tau } }\\
{ \Rightarrow {\bf{x}}\left( {{t_1}} \right) = {e^{{\bf{A}}{t_1}}}{{\bf{x}}_0} - \underbrace {\left[ {\int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{{\bf{A}}^T}\left( {{t_1} - \tau } \right)}}d\tau } } \right]}_{ = {{\bf{W}}_C}\left( {{t_1}} \right)}{{\bf{W}}_C}^{ - 1}\left( {{t_1}} \right)\left[ {{e^{{\bf{A}}\left( {{t_1}} \right)}}{{\bf{x}}_0} - {{\bf{x}}_1}} \right]}\\
{ \Rightarrow {\bf{x}}\left( {{t_1}} \right) = {{\bf{x}}_1}}
\end{array}\]亦即此 $\bf u$ 確實幫我們把 ${{\bf{x}}_0}$ 移動到 ${{\bf{x}}_1}$。

接著我們證明 $(1) \Rightarrow (2)$。
利用歸謬法，假設 $(\bf{A,B})$ 為 controllable 且我們讓 ${{{\bf{W}}_C}\left( {{t_1}} \right)}$ 為 singular。故可知存在一向量 $v$ 使得
\[{{\bf{W}}_C}\left( {{t_1}} \right)v ={ \bf 0}
\]對上式等號兩邊同乘 $v^T$ 得到 ${{{\bf{W}}_C}\left( {{t_1}} \right)}$的二次式：
\[\begin{array}{l}
{v^T}{{\bf{W}}_C}\left( {{t_1}} \right)v = 0\\
 \Rightarrow {v^T}\left( {\int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}d\tau } } \right)v = 0\\
 \Rightarrow \int_0^{{t_1}} {{v^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{B}}{{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}vd\tau }  = 0\\
 \Rightarrow \int_0^{{t_1}} {{{\left( {{{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}v} \right)}^T}\left( {{{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}v} \right)d\tau }  = 0\\
 \Rightarrow \int_0^{{t_1}} {\left\| {{{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}v} \right\|_2^2d\tau }  = 0\\
 \Rightarrow {{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}v = \bf{0}
\end{array}\]上式對任意 $\tau \in [0, t_1] $ 都成立。

現在由於 我們已假設  $(\bf{A,B})$ 為 controllable ，故由可控制性的定義可知：給定任意初始狀態 ${\bf{x}}\left( 0 \right) = {{\bf{x}}_0}$ 與 任意終端狀態 ${\bf{x}}\left( {{t_1}} \right) = {{\bf{x}}_1}$，必存在一組控制力 $\bf u$ 使得在有限時間 $t_1$ 內 使 ${{\bf{x}}_0}$ 移動到 ${{\bf{x}}_1}$。

故現在我們給定初始狀態為 ${{\bf{x}}_0}: = {e^{ - {\bf{A}}{t_1}}}v$ 且 ${{\bf{x}}_1} := \bf{0}$ 則由狀態空間的解可知
\[\begin{array}{*{20}{l}}
{{\bf{x}}\left( {{t_1}} \right) = {e^{{\bf{A}}{t_1}}}{\bf{x}}\left( 0 \right) + \int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } }\\
{ \Rightarrow {\bf{0}} = v + \int_0^{{t_1}} {{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } }
\end{array}\]對上式兩邊同乘 $v^T$ 可得
\[0 = {v^T}v + \int_0^{{t_1}} {{v^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau }  \ \ \ \ (\star)
\]由於先前我們已知 ${{\bf{B}}^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}v = {\bf{0}} \Leftrightarrow {v^T}{e^{{{\bf{A}}^T}\left( {{t_1} - \tau } \right)}}{\bf{B}} = {\bf{0}}$ ，故 $(\star)$ 變成
\[\begin{array}{*{20}{l}}
{0 = {v^T}v + \underbrace {\int_0^{{t_1}} {{v^T}{e^{{\bf{A}}\left( {{t_1} - \tau } \right)}}{\bf{Bu}}\left( \tau  \right)d\tau } }_{ = 0}}\\
{ \Rightarrow 0 = \left\| v \right\| \Leftrightarrow v = 0}
\end{array}\]上式結果 $v =0$ 與 ${{{\bf{W}}_C}\left( {{t_1}} \right)}$ 的 singularity 矛盾 ( 因為 Singularity 告訴我們 必定存在一組 "非零" 向量 $v$ 使得 ${{{\bf{W}}_C}\left( {{t_1}} \right)}v=0$)。$\square$

[分享]從事學問的目的是甚麼?

從事學問的目的是甚麼?我完全認同本日(092011)劉校長說的下面這句話

從事學問並不是為了得獎或發表論文，而是為了探索新知識、新技術及對社會有所貢獻，讓自己從中得到快樂，才能在漫長求知過程中，有源源不斷的動力。-清大前校長、現任蒙民偉榮譽講座教授 劉炯朗，

===================================
是的，研究人員應追求學問，探索新知識，不是為了發表論文。是要讓自己開心有動力做研究，探究學術之美不是為了升等或得獎。希望自己也能把這些話謹記在心 :)

[數學分析] 逐點收斂與均勻收斂(4) - Uniform boundedness and Equicontinuity

回憶對於 實數sequence 而言，我們有以下結果：
=================
Theorem: Convergence of Real Numbers 
1. 若 $\{p_n \}$ 為一個在 compact metric space $X$ 的實數 sequence，則存在一 subsequence $\{p_{n_i}\}$ 在 $X$ 上收斂。

2. (Bolzano-Weierstrass Theorem) 任意 $\mathbb{R}^k$ 中有界 sequences 都必有收斂 subsequence。
=================

那麼現在我們想問，如果是 函數 sequence 是否有類似結果可以使用?
Q1. 任意 收斂函數sequence 是否都有均勻收斂 sequence ?
Q2. 如果我們有一組 "有界" 的 函數 sequence，那麼是否此組有界函數 sequence 仍有 收斂 subsequence? 如果有? 是甚麼樣的收斂(逐點? or 均勻?) 如果沒有? 我們該怎麼修正。

讀者可以發現我們想要 模仿 實數sequence 的 Bolzano-Weierstrass theorem 到 函數 sequence 中，故第一個問題便是甚麼叫做 "有界" 的函數sequence ? 故以下我們給出 有界函數sequence (bounded function sequences)的定義 ：

=======================
Definition: ( Boundedness of Sequence of Function)
令 $\{f_n \}$ 為定義在 $E \subset X$ 上函數 sequence。
我們說 $\{f_n \}$ 為在 $E$ 上逐點有界(pointwise bounded)  若下列條件成立：
存在一個有限值域函數 $\phi(x)>0$ 使得 對任意 $x\in E$ 與 對 $n=1,2,3,...$，\[
|f_n(x)|< \phi(x)
\]
我們說 $\{f_n \}$ 為在 $E$ 上均勻有界(uniformly bounded)  若下列條件成立：
存在一個(夠大的)數字 $M\in \mathbb{R}$ 使得 對任意 $x\in E$ 與 $n=1,2,3,...$，\[
|f_n(x)|<M
\]=======================

現在看個例子

Example 1

令 $x \in [0,1]$ 且 $n \in \mathbb{N}$，定義函數sequence

\[ f_n(x) = \frac{x^2}{x^2 +(1 - nx)^2} \]試問 

1. 此函數sequence 是否均勻有界?

2. 此函數 sequence 是否收斂? 是否均勻收斂?

3. 此函數 sequence 是否具有均勻收斂 subsequence $\{f_{n_k} \}$?

Solution

1. 給定 $x\in [0,1]$ 觀察

\[\left| {{f_n}(x)} \right| = \left| {\frac{{{x^2}}}{{{x^2} + {{\left( {1 - nx} \right)}^2}}}} \right| \le 1\]故選 $M=1$ $\{f_n\}$ 在 $[0,1] $均勻有界。

2. 現在檢驗收斂性

\[\mathop {\lim }\limits_{n \to \infty } {f_n}(x) = \mathop {\lim }\limits_{n \to \infty } \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}} = \mathop {\lim }\limits_{n \to \infty } \frac{1}{{1 + {n^2}}} = 0
\] 但若我們檢驗 supnorm可發現
\[\left\| {{f_n}(x) - 0} \right\| = \mathop {\sup }\limits_{x \in [0,1]} \left| {\frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}} \right| = 1 \ne 0
\]故此函數不均勻收斂。

3. 令子數列如下
\[{f_{{n_k}}}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - {n_k}x)}^2}}}
\]現在觀察若 $x = \frac{1}{{{n_k}}}$ 則
\[{f_{{n_k}}}\left( {\frac{1}{{{n_k}}}} \right) = \frac{{{x^2}}}{{{x^2}}} = 1
\]故在 $[0,1]$ 上 無均勻收斂的 subsequence；亦即如果我們選 $\varepsilon = 1/2 >0$  則 對所有的 $N>0$，$n_k >N$ 存在一個 $x = \frac{1}{n_k} \in [0,1]$ 使得
\[\left| {{f_{{n_k(x)}}} - f(x)} \right| = \left| 1 - 0 \right| =1 \ge 1/2
\]

現在我們看個比連續以及均勻連續更強的定義，此定義可以幫我們連結均勻收斂 等相關概念
======================
Definition: Equicontinuity
令 $\mathcal{F}$ 為在 $E \subset X$上的 函數 $f$ 的 family，我們說此 family $\mathcal{F}$ 為 等度連續 (equicontinuous) on $E$ 若下列條件成立
對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對任意 $x,y \in E, f \in \mathcal{F}$
\[
d(x,y) < \delta \Rightarrow |f(x) - f(y)| < \varepsilon
\]======================

Comment: 
sequence of functions $f_n$ 可以看成是一個 函數 的 family $\mathcal{F}$，$f_n \in \mathcal{F} \;\; \forall n$。

如前例

Example 2

令 $x \in [0,1]$ 且 $n \in \mathbb{N}$，定義函數sequence

\[{f_n}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}
\]試問 $f_n$ 是否為 equicontinuous?

Solution
令 $x,y \in [0,1]$，觀察
\[\left| {{f_n}\left( x \right) - {f_n}\left( y \right)} \right| = \left| {\frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}} - \frac{{{y^2}}}{{{y^2} + {{(1 - ny)}^2}}}} \right| \ \ \ \ (*)
\]若我們取 $x = 1/n$ 與 $y = 2/n$ 滿足則當 $n \rightarrow \infty$ 我們有 $d(x,y) \rightarrow 0$；但若將上述 $x,y$兩點代入 $(*)$
\[\left| {{f_n}\left( {\frac{1}{n}} \right) - {f_n}\left( {\frac{2}{n}} \right)} \right| = \left| {1 - \frac{{\frac{4}{{{n^2}}}}}{{\frac{4}{{{n^2}}} + 1}}} \right| = \left| {\frac{{{n^2}}}{{4 + {n^2}}}} \right| \rightarrow 1\]亦即 無論 $n$ 多大 $|f_n(x) - f_n(y)|$之差都不會到 $0$。故並非 equicontinuous。$\square$


Example 3
令 $K \subset \mathbb{R}$ 為 compact ，且對任意 $R \in \mathbb{R}$ 滿足 $R<\infty$ 定義
\[
B_R:=\{f \in C(K): |f(x) - f(y)| < R|x-y|\}
\] 試證 上述集合 $B_R$ 為 equicontinuous。

Proof:
給定 $f \in B_R$，我們要證明 $f$ 為 uniform continuous  亦即 $\varepsilon >0$，存在 $\delta >0$ 使得 $u,v \in K$，$|u-v|<\delta \Rightarrow |f(u) - f(v)| <\varepsilon$。注意到 $f \in B_R$ 故 $|f(u) - f(v)| < R|u-v|$ 現在選 $\delta := \varepsilon /2R$ 則
\[|f(u) - f(v)| < R|u - v| = R\frac{\varepsilon }{{2R}} < \varepsilon
\]

接著我們介紹等度連續的判斷定理：

=======================
令 $\{f_n\}$ 為函數 sequence
Theorem: 
若 $K$ 為 compact metric space 且 $f_n \in \cal{C}(K)$ 且 $\{f_n\}$ 在 $K$上均勻收斂，則
$f_n$ 在 $K$ 上等度連續。
=======================
Proof: omitted.

現在回頭再看看剛剛的例子

Example 

令 $x \in [0,1]$ 且 $n \in \mathbb{N}$，定義函數sequence

\[{f_n}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}
\]試問 $f_n$ 是否為 equicontinuous?

我們發現主因是 

\[{f_n}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}
\]並未在 $K$ 上均勻收斂，故並非等度連續!!



現在我們可以回答在文章開始時的問題：
在甚麼條件下，一組函數 Sequence 可以具有 均勻收斂的 subsequence?

=============================
Theorem: Sufficient Condition for Existence of Uniform Convergent Subsequence
若 $K$ 為 compact set，$\{f_n\}$ 為有界連續函數 sequence ( $ f_n \in \mathcal{C}(K),\;\; \forall n\in \mathbb{N}$) 且 $f_n$ 為 pointwise bounded 與 equicontinuous on $K$ 則
1. $\{f_n\}$ 為 uniformly bounded on $K$
2. $\{f_n\}$ 具有均勻收斂 subsequence
============================
Proof: omitted.


以下我們看個例子說明我們確實需要 $f_n$ pointwise bounded

Example 4
同 Example 3，令 $K \subset \mathbb{R}$ 為 compact ，且對任意 $R \in \mathbb{R}$ 滿足 $R<\infty$ 定義
\[
B_R:=\{f \in C(K): |f(x) - f(y)| < R|x-y|\}
\] 試問 sequence $\{f_n\} \subset B_R$ 是否有 convergent subsequence?

Proof:
注意到儘管 $K$ 為 compact，且 $B_R$ 為 equicontinuous，但是 $\{f_n\}$ 不一定為 pointwise bounded，比如說若選 $f_n(x) := r x + n$  ($0 < r < R$ ) 則 $f_n \in B_R$ 因為
\[|{f_n}(x) - {f_n}(y)| = |rx + n - ry - n| = r|x - y| < R|x - y|\]
但是 讀者可察覺 $f_n(x)$ 並無 pointwise bounded。(事實上 $f_n(x) \to \infty$)

[系統理論] 連續時間週期訊號的 Fourier Series Representation (2) - Coefficients determination

延續前篇，回憶 對於 週期訊號 $x(t)$ 我們可寫下其對應的 Fourier Series Representation 如下
\[
x(t) = \sum_{k=-\infty}^{\infty} a_k e^{j k \omega_0 t}
\] 其中 $\omega_0$ 為週期訊號的基本頻率 (fundamental frequency)。$a_k$ 稱為 Fourier Series 的係數。之前我們已經討論過 給定 Fourier Series 係數，我們可以重建週期 $x(t)$，現在我們專注 在 給定 週期訊號 $x(t)$，如何反求 Fourier Series 的係數。

如前所述，現在給定 平滑(smooth)有界 週期訊號 $x(t)$ 且假設其可以寫下對應的 Fourier Series Representation：
 \[
x(t) = \sum_{k=-\infty}^{\infty} a_k e^{j k \omega_0 t}
\] 對兩邊同乘 $e^{-j n \omega_0 t}, \; n \in \mathbb{Z}$  可得
\[x(t){e^{ - jn{\omega _0}t}} = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}{e^{ - jn{\omega _0}t}}}
\]接著在對等式兩邊同積分從$0$ 積到 $x(t)$ 的基本週期(fundamental period) $T$ $(T=2\pi/\omega_0)$，亦即
\[\begin{array}{l}
\int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt = \int_0^T {\sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}{e^{ - jn{\omega _0}t}}} } dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {{a_k}\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}} } dt \ \ \ \ (*)
\end{array}\]注意到上述運算中要求積分與無窮級數順序互換，此運算需要較為嚴謹的數學討論，但在此我們僅僅指出若 訊號為有界平滑函數(無窮階導數存在)，且僅有有限個不連續跳點，則上述積分與無窮級數順序互換之運算成立。另外我們注意到上式中的積分部分可利用 Euler formula： $e^{j \omega t} = \cos \omega t + j \sin \omega t$可得
\[\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}dt}  = \int_0^T {\cos \left( {\left( {k - n} \right){\omega _0}t} \right)dt}  + j\int_0^T {\sin \left( {\left( {k - n} \right){\omega _0}t} \right)dt} \]觀察上式，當 $k =n$ 時，我們可計算積分值，但當 $k \neq n$時，對 $\sin, \cos$ 一個週期的積分值為 $0$，也就是說
\[\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}dt}  = \left\{ \begin{array}{l}
T,\begin{array}{*{20}{c}}
{}
\end{array}k = n\\
0,\begin{array}{*{20}{c}}
{}
\end{array}k \ne n
\end{array} \right.
\]故 $(*)$ 可改寫為
\[\begin{array}{l}
\int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt = \sum\limits_{k =  - \infty }^\infty  {{a_k}\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}dt} } \\
 \Rightarrow \int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt = {a_n}T\\
 \Rightarrow {a_n} = \frac{1}{T}\int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt \ \ \ \ (\star)
\end{array}
\]故若訊號 $x(t)$ 具有 Fourier Series Representation (亦即，可以被表示成 諧波相關 complex exponentials 的線性組合)，則 Fourier Series 的係數由上式 $(\star)$給出。

我們可以給一個總結如下：
對於連續時間 週期訊號 $x(t)$ 若 Fourier Series Representation存在：則下列的對偶關係式成立
\[\left\{ \begin{array}{l}
x(t) = \sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}}\\
{a_k} = \frac{1}{T}\int_T^{} {x(t){e^{ - jk{\omega _0}t}}} dt
\end{array} \right.
\]上述的 Fourier Series 係數 $a_k$ 是用來 measure 週期訊號 $x(t)$ 中 每一次諧波分量的成分大小。另外 $a_0$ 表示 直流(DC) 分量，亦即讓 $k=0$，則 $a_k$式 $(\star)$ 變成
\[{a_0} = \frac{1}{T}\int_T^{} {x(t)} dt\]

現在我們看個例子:

Example
令
\[x\left( t \right) = 1 + \sin {\omega _0}t + 2\cos {\omega _0}t + \cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right)
\]試求 Fourier Series 係數 $a_k$

Solution
注意到 $x(t)$ 的最後一項 $\cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right)$ 可用 三角函數和差化積得到
\[\begin{array}{l}
\cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right) = \cos \left( {2{\omega _0}t} \right)\cos \left( {\frac{\pi }{4}} \right) + \sin \left( {2{\omega _0}t} \right)\sin \left( {\frac{\pi }{4}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \cos \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }} + \sin \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }}
\end{array}
\]故 $x(t)$ 變為
\[ \Rightarrow x\left( t \right) = 1 + \sin {\omega _0}t + 2\cos {\omega _0}t + \cos \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }} + \sin \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }}
\]利用 Fourier Series 定義，我們首先將其改寫為 complex exponential 的線性組合，利用 Euler formula，我們可得
\[\begin{array}{l}
x\left( t \right) = 1 + \frac{1}{{2j}}\left( {{e^{j{\omega _0}t}} - {e^{ - j{\omega _0}t}}} \right) + \left( {{e^{j{\omega _0}t}} + {e^{ - j{\omega _0}t}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} + \frac{1}{{2\sqrt 2 }}\left( {{e^{j\left( {2{\omega _0}t} \right)}} + {e^{ - j\left( {2{\omega _0}t} \right)}}} \right) + \frac{1}{{j2\sqrt 2 }}\left( {{e^{j\left( {2{\omega _0}t} \right)}} - {e^{ - j\left( {2{\omega _0}t} \right)}}} \right)
\end{array}
\]整理上式得到
\[\begin{array}{l}
x\left( t \right) = \underbrace 1_{{a_0}} + \underbrace {\left( {1 + \frac{1}{{2j}}} \right)}_{{a_1}}{e^{j{\omega _0}t}} + \underbrace {\left( {1 - \frac{1}{{2j}}} \right)}_{{a_{ - 1}}}{e^{ - j{\omega _0}t}}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} + \underbrace {\frac{{\sqrt 2 }}{4}\left( {1 + \frac{1}{j}} \right)}_{{a_2}}{e^{j\left( {2{\omega _0}t} \right)}} + \underbrace {\frac{{\sqrt 2 }}{4}\left( {1 - \frac{1}{j}} \right)}_{{a_{ - 2}}}{e^{ - j\left( {2{\omega _0}t} \right)}} \ \ \ \ \square
\end{array}\]

Example 2: Sinc function
考慮週期方波如下圖所示

試求其 Fourier Series coefficients $a_k$：
Solution
首先判斷上式週期訊號 $x(t)$ 的週期為 $T$。
利用 $(\star)$ 我們可先計算 $a_0$
\[\begin{array}{*{20}{l}}
{{a_0} = \frac{1}{T}\int_T^{} {x(t)} dt}\\
{ \Rightarrow {a_0} = \frac{1}{T}\int_{ - T/2}^{T/2} {x(t)} dt = \frac{1}{T}\int_{ - {T_1}}^{{T_1}} 1 dt = \frac{{2{T_1}}}{T}}
\end{array}\]接著計算 $a_k$
\[\begin{array}{*{20}{l}}
{{a_k} = \frac{1}{T}\int_T^{} {x(t){e^{ - jk{\omega _0}t}}} dt}\\
{ \Rightarrow {a_k} = \frac{1}{T}\int_{ - {T_1}}^{{T_1}} {{e^{ - jk{\omega _0}t}}} dt = \frac{1}{{jk{\omega _0}T}}\left( {{e^{jk{\omega _0}{T_1}}} - {e^{ - jk{\omega _0}{T_1}}}} \right)}\\
{\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{2}{{k{\omega _0}T}}\left( {\frac{{{e^{jk{\omega _0}{T_1}}} - {e^{ - jk{\omega _0}{T_1}}}}}{{2j}}} \right) = \frac{{2\sin \left( {k{\omega _0}{T_1}} \right)}}{{k{\omega _0}T}}}
\end{array}\]注意到 $T := \frac{2 \pi}{\omega_0}$，故我們可進一步改寫上式得到
\[{a_k} = \frac{{\sin \left( {k{\omega _0}{T_1}} \right)}}{{k\pi }},\begin{array}{*{20}{c}}
{}
\end{array}k \ne 0\]且 $a_0 = \frac{T_1}{T}$。上式 $a_k$ 稱為 sinc function。

有了上述結果，我們可以做些實驗看看此係數的分布
我們固定 $T = 4 T_1$，則 Fourier Series coefficient 的分布如下圖

若將週期提高為 $T = 16 T_1$，則分布如下

Gibbs Phenomenon of Periodic Square Wave
延續上方例子，現在若限制 $|k| \le N$ ，且將每一個 $a_k$ 透過 complex exponential 做有限$N$項的線性組合，可得到前有限 $N$項的訊號，記做$x_N(t)$，
\[
x_N(t) = \sum_{k=-N}^{N} a_k e^{j k \omega_0 t}
\]我們試圖看看用此訊號 $x_N(t)$ "近似" 原本 $x(t)$ (以無窮項的 Fourier Series Representation) 看看是否確實還原我們的週期方波訊號。現在讓 $N$ 分別為 $1, 3,7,19,79$我們會得到下圖

上圖會發現方波確實被還原，但在不連續端點部分出現過大的 overshoot ，且不論 $N$ 如何增加，只要是有限的 $N$，該處的不連續 overshoot現象都回持續存在 (約 9% overshoot 在不連續點處)，此一現象稱為 Gibbs phenomenon。

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[系統理論] 連續時間週期訊號的 Fourier Series Representation (1) - Periodic signal represents by linear combination of complex exponentials

在系統理論中，週期訊號是非常重要的一類訊號，我們將在這篇文章介紹 對於週期訊號的頻域處理： Fourier Series Representation。本質上想法就是企圖將 週期訊號 透過 Complex exponentials 展開 (或者等價 用 sin 與 cos 展開)。

Comment:
1. 上述句子提及的展開 表示 週期訊號 可以透過 complex exponential 透過線性組合 建構。
2. 儘管 Fourier Series 對"大部分" 週期訊號 (e.g., 連續週期訊號)都成立。但若欲擴展到 "任意" 週期訊號的 Fourier Series Representation 須加上額外條件保證 Fourier Sereis 收斂，此部分會在後續文章再做討論。
3. 注意到若訊號為 "非週期"訊號，則 Fourier Series 不能使用，需引入 Fourier Transform!! 關於 Fourier Transform 的議題我們會在之後再做討論。 (基本想法仍不變，只是將非週期訊號 "看成" 週期訊號 但週期為無窮大)


======================
Definition: (Continuous Time Periodic Signal)
我們稱一個訊號 $x(t)$ 為週期訊號 (periodic signal) 若下列條件成立：
對任意時間 $t>0$ 存在一正實數 $T >0$，使得
\[
x(t) = x(t + T)
\]======================
下圖為連續時間的週期訊號的一個例子

我們稱 $T_0$ 為 週期訊號 $x(t)$ 的基本週期(fundamental period) 若下列條件滿足：
取最小週期 $T_0 = T>0$ 使得 $x(t) = x(t+T)$仍然成立。

由基本週期的定義，我們可透過 $\omega = \frac{2 \pi}{T}$ 定義 基本頻率 (fundamental frequency, $\omega_0$)
\[
\omega_0 := \frac{2 \pi}{T_0}
\] Example
考慮
\[x\left( t \right) = 1 + \sin {\omega _0}t + 2\cos {\omega _0}t + \cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right)
\]則上述訊號 為週期訊號 (或者週期訊號的線性組合)，且 fundamental frequency 為 $\omega_0$。

下面是一些常見的 週期訊號 ：
-----------
Example
1. $x(t) = \cos \omega_0 t$
2.  $x(t) = e^{j \omega_0 t}$
-----------

Proof:
給定 $t>0$，
1. 先證 $\cos \omega_0 t$ 為週期訊號，亦即要證明 存在一個 $T >0$ 使得
\[
\cos(\omega_0 (t + T)) = \cos( \omega_0 (t))
\]現在令 $T := \frac{2\pi}{ |\omega_0|} >0$，則
\[\begin{array}{*{20}{l}}
{\cos ({\omega _0}(t + T)) = \cos ({\omega _0}(t + \frac{{2\pi }}{{\left| {{\omega _0}} \right|}}))}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \cos ({\omega _0}t \pm 2\pi ) = \cos ({\omega _0}t)}
\end{array}\]亦即 $\cos \omega_0 t$ 確實為週期訊號。

2. 我們接著證 $e^{ j \omega_0 t}$ 為週期訊號，亦即要證明 存在一個 $T >0$ 使得
\[
e^{j\omega_0 (t + T)} = e^{j\omega_0 t}
\]同樣取 $T := \frac{2\pi}{ |\omega_0|} >0$，則
\[\begin{array}{l}
{e^{j{\omega _0}(t + T)}} = {e^{j{\omega _0}\left( {t + \frac{{2\pi }}{{\left| {{\omega _0}} \right|}}} \right)}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {e^{j({\omega _0}t \pm 2\pi )}} = \cos ({\omega _0}t \pm 2\pi ) + jsin\left( {{\omega _0}t \pm 2\pi } \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \cos ({\omega _0}t) + jsin\left( {{\omega _0}t} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {e^{j({\omega _0}t)}}
\end{array}\]亦即 $e^{j\omega_0 t} $ 確實為週期訊號。$\square$。


現在我們考慮訊號為 Complex exponentials，亦即
\[
x(t) = e^{j \omega_0 t}
\]其對應的 fundamental frequency 為 $\omega_0$ 。

現在我們定義一組與諧波相關(harmonically related)的 complex exponentials  如下
\[
\phi_k(t) := e^{j k \omega_0 t}
\]上述 $\phi_k(t)$ 仍為週期訊號且 fundamental frequency 仍為 $\omega_0$，現在若我們把週期訊號 透過 線性組合疊加 寫成下列無窮級數形式：
\[
x\left( t \right): = \sum\limits_{k =  - \infty }^\infty  {{a_k}{\phi _k}\left( t \right)}  = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} \ \  \ \ (*)
\]則我們說上述訊號 $x(t)$ 仍為 一個週期為 $T$ 的訊號。

NOTE: 上述的無窮級數形式稱為週期訊號 $x(t)$ 的 Fourier Series Representation。亦即，給定係數 $a_k$，我們便可以透過 complex exponentials 的線性組合 來建構週期訊號 $x(t)$。

Comments:
對於
\[
x\left( t \right): = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} \ \  \ \ (*)
\]
注意到 $k=0$時，上式 $(*)$為常數。
\[x\left( t \right): = {\left. {\sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} } \right|_{k = 0}} = {a_0}
\]若 $k= \pm 1$時，此時 $(*)$ 可寫為
\[x\left( t \right): = {\left. {\sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} } \right|_{k =  \pm 1}} = {a_1}{e^{j{\omega _0}t}} + {a_{ - 1}}{e^{ - j{\omega _0}t}}
\]上式仍為 週期函數且 fundamental freqeuncy 為 $\omega_0$，我們稱為 1次諧波分量 (first harmonic compoenents)
同理，若 $k = \pm2$時，我們亦可得到週期函數，且 fundamental frequency 為 $2 \omega_0$，稱為 2次諧波分量 (second harmonic componenents)，以此類推，若 $k= \pm N$時，我們透過 $(*)$仍得到的週期函數，且 fundamental frequency 為 $N \omega_0$ 稱為 N次諧波分量。

我們現在看個例子：
考慮週期訊號 $x(t)$ 具有 fundamental frequency $2 \pi$ 表為
\[x\left( t \right) = \sum\limits_{k =  - 3}^3 {{a_k}{e^{jk2\pi t}}}
\]其中 $a_0 =1, \; a_1 = a_{-1} = 1/4$, $a_2 = a_{-2}=1/2$, $a_3 = a_{-3} = 1/3$。試求原本 $x(t) = ?$
Solution:
將給定係數 $a_k, k= -3,-2,-1,0,1,2,3$帶入上式，我們可得
\[{\small
\begin{array}{l}
x\left( t \right) = \sum\limits_{k =  - 3}^3 {{a_k}{e^{jk2\pi t}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {a_0} + {a_1}{e^{j2\pi t}} + {a_{ - 1}}{e^{ - j2\pi t}} + {a_2}{e^{j4\pi t}} + {a_{ - 2}}{e^{ - j4\pi t}} + {a_3}{e^{j6\pi t}} + {a_{ - 3}}{e^{ - j6\pi t}}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 1 + \frac{1}{4}\left( {{e^{j2\pi t}} + {e^{ - j2\pi t}}} \right) + \frac{1}{2}\left( {{e^{j4\pi t}} + {e^{ - j4\pi t}}} \right) + \frac{1}{3}\left( {{e^{j6\pi t}} + {e^{ - j6\pi t}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 1 + \frac{1}{2}\left( {\frac{{{e^{j2\pi t}} + {e^{ - j2\pi t}}}}{2}} \right) + \frac{1}{1}\left( {\frac{{{e^{j4\pi t}} + {e^{ - j4\pi t}}}}{2}} \right) + \frac{2}{3}\left( {\frac{{{e^{j6\pi t}} + {e^{ - j6\pi t}}}}{2}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 1 + \frac{1}{2}\left( {\cos 2\pi t} \right) + \frac{1}{1}\left( {\cos 4\pi t} \right) + \frac{2}{3}\left( {\cos 6\pi t} \right) \square
\end{array}
}\]

現在如果反過來，如果給定週期訊號 $x(t)$，如何反求 Fourier Series Represetnation 的係數 $a_k$ ? 我們將留待下一篇文章在做介紹。

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[線性系統] 離散時間 LTI 系統的漸進穩定度

考慮離散時間系統
\[
x(k+1) = Ax(k) + Bu(k)
\]若 $A$ 為 穩定矩陣，且 $u(k) \to 0$ 則 $x(k) \to 0$

Proof:
我們要證明  $x(k) \to 0$，故給定任意 $\varepsilon>0$，要證明 存在 $M>0$ 使得 對任意 $k \ge M$，我們有
\[
|x(k)| \le \varepsilon
\]
注意到該系統 $x(k+1) = Ax(k) + Bu(k)$ 的解為
\[{x(k) = {A^k}x(0) + \sum\limits_{i = 0}^{k - 1} {{A^{k - 1 - j}}Bu(j)} }
\]兩邊同取 norm 並利用三角不等式 可得
\[\begin{array}{*{20}{l}}
{\left| {x(k)} \right| = \left| {{A^k}x(0) + \sum\limits_{i = 0}^{k - 1} {{A^{k - 1 - j}}Bu(j)} } \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le \left| {{A^k}} \right|\left| {x(0)} \right| + \sum\limits_{i = 0}^{k - 1} {\left| {{A^{k - 1 - j}}} \right|\left| B \right|} \left| {u(j)} \right|}
\end{array}\ \ \ \ \ (*)
\]回憶 Horn 與 Johnson (1985) 的結果：
==================
FACT:
\[
|A^k| \le c \lambda^k, \; c>0 \;\; \max_i |eig_i(A)| < \lambda <1
\]==================
故
\[\left| {x(k)} \right| \le c{\lambda ^k}\left| {x(0)} \right| + c\left| B \right|\sum\limits_{j = 0}^{\infty} {{\lambda ^{k - 1 - j}}\left| {u(j)} \right|} \]現在利用已知假設 $u(k) \to 0$ 我們可推知必存在 $ N > 0$ 使得 對任意 $k \ge N$，我們有
\[\left| {u(k)} \right| \le \frac{{\varepsilon \left( {1 - \lambda } \right)}}{{2c{\lambda ^k}\left| B \right|}}\]將上述結果代入 $(*)$ 可得
\[\begin{array}{l}
\left| {x(k)} \right| \le c{\lambda ^k}\left| {x(0)} \right| + c\left| B \right|\sum\limits_{j = 0}^\infty  {{\lambda ^{k - 1 - j}}\frac{{\varepsilon \left( {1 - \lambda } \right)}}{{2c{\lambda ^k}\left| B \right|}}} \\
 \Rightarrow \left| {x(k)} \right| \le c{\lambda ^k}\left| {x(0)} \right| + \frac{\varepsilon }{2}
\end{array}\]由於 $\lambda <1$ 我們可選 $M'>0$ 使得 對任意 $k \ge \max (M', N)$
\[
c\lambda^k |x(N)| \le \varepsilon/2, \;\; \forall k \ge m'
\]現在結合前述結果我們可推得 對任意 $k \ge M = \max(M', N)$，
\[\left| {x(k)} \right| \le \varepsilon
\]即為所求。 $\square$

[Win8] 系統插斷異常占用CPU資源可能的解決方法

前陣子偶然發現個人 Sony Vaio 筆電 (Windows 8 作業系統) 的 "系統插斷" 程式 經常呈現異常性占用CPU資源 10~30% 左右，此類問題多半是硬體相衝所導致。下圖為 "系統插斷" 正常CPU使用情況圖

經過查詢之後發現 主因是筆電內建顯卡(Intel HD Graphics 3000) 與 獨立顯卡 (AMD Radeon 6700M) 硬體相衝問題。(多半是 Intel 顯卡有相衝問題，需要更新驅動)

解決方法很簡單，如果有發現異常 系統插斷占用，可以前往 Intel  與 AMD 官方網站 更新顯卡驅動到最新版本便可解決。