[控制理論] 具有負實部特徵值之 LTV系統 並不保證系統穩定

考慮線性非時變 (Linear Time-Invariant, LTI)系統利用狀態空間表示：
\[
{\bf \dot x} = A {\bf x} + B {\bf u}
\] 回憶在大學部自動控制課程中，我們知道 LTI 系統穩定 的 充分必要條件 為系統矩陣 $A$ 之特徵值具有負實部 （或者等價論述為 極點 pole 落在 複數平面的左半面）。現在我們想問若 系統為 線性時變 (Linear Time-Varying, LTV)系統是否此條件依然成立？

答案是否定的，以下為一個極為出色的反例：考慮線性時變系統 ${\bf \dot x} = A(t) {\bf x} $ 其中
\[A\left( t \right): = \left[ {\begin{array}{*{20}{c}}
{ - 1}&{{e^{2t}}}\\
0&{ - 1}
\end{array}} \right]
\] 且給定初始狀態為 $x_1(0) = x_2(0)=1$ 則由於此系統 $A(t)$ 矩陣為三角矩陣，其特徵值為對角線元素，亦即 $\lambda_{1,2} = -1$，具有負實部。然而，若我們求解此 LTV 系統，亦即觀察
\[{\bf{\dot x}}\left( t \right) = \left[ {\begin{array}{*{20}{c}}
{ - 1}&{{e^{2t}}}\\
0&{ - 1}
\end{array}} \right]\left[ \begin{array}{l}
{x_1}\left( t \right)\\
{x_2}\left( t \right)
\end{array} \right] = \left[ \begin{array}{l}
 - {x_1}\left( t \right) + {e^{2t}}{x_2}\left( t \right)\\
 - {x_2}\left( t \right)
\end{array} \right]\]故我們可首先解得
\[\begin{array}{*{20}{l}}
{{{\dot x}_2}\left( t \right) =  - {x_2}\left( t \right)}\\
\begin{array}{l}
 \Rightarrow {x_2}\left( t \right) = {e^{ - t}}{x_2}\left( 0 \right)\\
 \Rightarrow {x_2}\left( t \right) = {e^{ - t}}
\end{array}
\end{array}
\]再將此 $x_2(t)$ 帶回 $\dot x_1(t)$ 式中，可求解 $x_1$ 如下
\[\begin{array}{*{20}{l}}
{{{\dot x}_1}\left( t \right) =  - {x_1}\left( t \right) + {e^{2t}}{x_2}\left( t \right)}\\
{ \Rightarrow {{\dot x}_1}\left( t \right) =  - {x_1}\left( t \right) + {e^{2t}}{e^{ - t}}}\\
{ \Rightarrow {x_1}\left( t \right) = {e^{ - t}}{x_1}\left( 0 \right) + \int_0^t {{e^{ - \left( {t - \tau } \right)}}{e^\tau }d\tau } }\\
{ \Rightarrow {x_1}\left( t \right) = {e^{ - t}} + {e^{ - \left( t \right)}}\int_0^t {{e^{2\tau }}d\tau } }\\
{ \Rightarrow {x_1}\left( t \right) = \frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}}
\end{array}\]故系統之解為
\[{{\bf{x}}\left( t \right) = \left[ \begin{array}{l}
{e^{ - t}}\\
\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}
\end{array} \right]}\]但注意到若我們計算上述之狀態的 2-norm 且取極限 $t \to \infty$ 會發現
\[\begin{array}{l}
\mathop {\lim }\limits_{t \to \infty } \left\| {{\bf{x}}\left( t \right)} \right\| = \mathop {\lim }\limits_{t \to \infty } \left\| {\left[ \begin{array}{l}
{e^{ - t}}\\
\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}
\end{array} \right]} \right\|\\
 = \mathop {\lim }\limits_{t \to \infty } {\left( {\left[ {\begin{array}{*{20}{c}}
{{e^{ - t}}}&{\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}}
\end{array}} \right]\left[ \begin{array}{l}
{e^{ - t}}\\
\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}
\end{array} \right]} \right)^{1/2}}\\
 = \mathop {\lim }\limits_{t \to \infty } {\left( {{e^{ - 2t}} + {{\left( {\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}} \right)}^2}} \right)^{1/2}} = \infty
\end{array}\]亦即系統狀態發散。

上述結果闡釋了對於 LTV 系統而言，負實部特徵值 (左半面極點) 不保證系統穩定。

[線性代數] 線性算子 與 特徵值/特徵向量(1) - 線性算子的矩陣代表 所表示的等價特徵問題

令 $V$ 為有限維度向量空間配備基底 $S=\{{\bf s}_1,{\bf s}_2,...,{\bf s}_n\}$ 且 $L: V \to V$ 為線性算子，則必存在唯一 的 一個 對應於基底 $S$ 的 $n \times n$ 矩陣代表 $A$  來 表示 $L$ (我們稱此矩陣代表 $A$ 為  representation of $L$ with respect to $S$) 使得 對任意 ${\bf x} \in V$ 我們有
\[
[L({\bf x})]_S = A [{\bf x}]_S \;\;\;\;\; (\star)
\]其中 $[{\bf x}]_S$ 表示 ${\bf x}$基於 基底 $S$ 的座標向量 (coordinate vector)，亦即 若\[{[{\bf{x}}]_S} = \left[ \begin{array}{l}
{a_1}\\
{a_2}\\
 \vdots \\
{a_n}
\end{array} \right] \Leftrightarrow {\bf{x}} = {a_1}{{\bf{s}}_1} + {a_2}{{\bf{s}}_2} + ... + {a_n}{{\bf{s}}_n}\]

現在我們回憶原本 定義在 線性算子 $L$ 之上的特徵問題：亦即我們要 找出一組 特徵值 $\lambda$ 與其對應的 特徵向量 ${\bf x} \neq {\bf 0}$ 且 ${\bf x} \in V$ 滿足
\[
L({\bf x}) = \lambda {\bf x}\;\;\;\;\; (*)
\]
觀察 $(\star)$ 式，我們可得到透過 $A$ 矩陣所描述的等價特徵問題如下
\[\begin{array}{l}
{[L({\bf{x}})]_S} = A{[{\bf{x}}]_S}\;\\
 \Rightarrow {[\lambda {\bf{x}}]_S} = A{[{\bf{x}}]_S}\;\\
 \Rightarrow \lambda {[{\bf{x}}]_S} = A{[{\bf{x}}]_S}\;
\end{array}
\]則我們的目標變成要找 一組 $\lambda \in \mathbb{R}$ (or $\in \mathbb{C}$) 與 $[{\bf x}]_S \neq {\bf 0}$ 且 $[{\bf x}]_S \in \mathbb{R}^n$ (or $\mathbb{C}^n$)  滿足
\[
\lambda {[{\bf{x}}]_S} = A{[{\bf{x}}]_S}
\]

現在我們考慮以下例子：

Example 1
令 $L: P_1 \to P_1$ 為線性算子滿足
\[
L( at + b) := bt + a
\]另外給定一組 $P_1$ 的 有序基底 $S:=\{t, 1\}$，
(a) 試求透過 基底 $S$ 的矩陣 $A$ 來代表線性算子 $L$
(b) 定義對應於 $A$ 矩陣的等價特徵問題


Solution (a):
令 $A$ 為 線性算子 $L$ 為透過 基底 $S$ 的矩陣代表 ，則 $A$ 必須滿足 對任意 ${\bf x} \in P_1$，
\[
[L({\bf x})]_S = A [{\bf x}]_S
\]注意到我們的基底元素 ${\bf s}_1, {\bf s}_2 \in P_1$ 故我們現在若觀察
\[\left\{ \begin{array}{l}
L\left( {{{\bf{s}}_1}} \right) = L\left( t \right) = 1\\
L\left( {{{\bf{s}}_2}} \right) = L\left( 1 \right) = t
\end{array} \right.\]亦即
\[\left\{ \begin{array}{l}
{\left[ {L\left( {{{\bf{s}}_1}} \right)} \right]_S} = {\left[ 1 \right]_S} = \left[ \begin{array}{l}
0\\
1
\end{array} \right]\\
{\left[ {L\left( {{{\bf{s}}_2}} \right)} \right]_S} = {\left[ t \right]_S} = \left[ \begin{array}{l}
1\\
0
\end{array} \right]
\end{array} \right.\]故我們求得矩陣代表 (基於 $S$) 為
\[A = \left[ {\begin{array}{*{20}{c}}
{{{\left[ {L\left( {{{\bf{s}}_1}} \right)} \right]}_S}}&{{{\left[ {L\left( {{{\bf{s}}_2}} \right)} \right]}_S}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
0&1\\
1&0
\end{array}} \right]\]
Solution (b)
等價的矩陣代表的特徵問題為要找 一組 $\lambda \in \mathbb{R}$ (or $\in \mathbb{C}$) 與 $[{\bf x}]_S \neq {\bf 0}$ 且 $[{\bf x}]_S \in \mathbb{R}^2$  滿足
\[
A{[{\bf{x}}]_S} = \lambda {[{\bf{x}}]_S}
\] 或者更簡而言之，我們要找 $\lambda \in \mathbb{R}^1$ (or $\mathbb{C}^1$) 與非零向量 ${\bf v} \in \mathbb{R}^2$ 滿足
\[
A {\bf v} = \lambda {\bf v}
\]

上述討論說明了 對線性算子的特徵問題(Eigenproblem) 可以透過 其矩陣代表 描述，事實上對任意方陣，我們皆可定義其特徵問題如下：
若 $A$ 為 $n \times n$ 方陣 ，定義 線性算子 $L: \mathbb{R}^n \to \mathbb{R}^n$ or ($\mathbb{C}^n \to \mathbb{C}^n$) 滿足 對任意 ${\bf x} \in \mathbb{R}^n$ (or $\mathbb{C}^n$)
\[
L({\bf x}) = A{\bf x}
\]現在，若存在 $\lambda \in \mathbb{R}$ (or $\mathbb{C}$) 且 ${\bf x} \neq {\bf 0}, {\bf x} \in \mathbb{R}^n$ or ($\mathbb{C}^n$) 使得
\[
A {\bf x} = \lambda {\bf x}
\]則我們說 $\lambda$ 為 $A$ 的特徵值 且 ${\bf x}$ 為其 對應於 $\lambda$ 的特徵向量，亦即 $\lambda$ 為 $L$ 的特徵值 且 ${\bf x}$ 為其 對應於 $\lambda$ 的特徵向量

[線性代數] 線性算子 與 特徵值/特徵向量(0)

======================
Definition: Linear Operator
令 $V$ 為 $n$ 維 向量空間 且 $L: V \to V$ 為線性轉換 (Linear transformation)：亦即給定任意兩向量 ${\bf u,v} \in V$ 與 $c \in \mathbb{R}$ (or $c \in \mathbb{C}$)滿足
\[\begin{array}{l}
L\left( {{\bf{u}} + {\bf{v}}} \right) = L\left( {\bf{u}} \right) + L\left( {\bf{v}} \right)\\
L\left( {c{\bf{u}}} \right) = cL\left( {\bf{u}} \right)
\end{array}\]則我們稱該 $L:V \to V$ 為定義在 $V$ 上的線性算子 (Linear Operator)
======================

那麼我們現在想問一個基本問題：是否可以找到 一組非零向量 ${\bf v} \neq {\bf 0}$ 與 純量 $\lambda \in \mathbb{R}$ (or $\in \mathbb{C}$) 使得
\[
L({\bf v}) = \lambda{\bf v}
\]
此問題在工程領域有諸多應用，一般而言上述問題又稱為特徵值問題。

Comments:
1. 上述討論中所提及的 Linear Operator 僅僅表示 domain 與 codomain 都為同一個向量空間 $V$，其餘皆與線性轉換定義相同。也就是說若我們將 domain $V$ 與 codomain $W$ 設為不同的向量空間，且若 $L: V \to W$ 滿足
\[\begin{array}{l}
L\left( {{\bf{u}} + {\bf{v}}} \right) = L\left( {\bf{u}} \right) + L\left( {\bf{v}} \right)\\
L\left( {c{\bf{u}}} \right) = cL\left( {\bf{u}} \right)
\end{array}\]則我們稱 $L$ 為線性轉換 (Linear Transformation)。

2. 若 ${\bf v} = {\bf 0}$ 則 $L({\bf v}) = \lambda{\bf v}$ 自動滿足故我們只需關心 ${\bf v} \neq {\bf 0}$ 的情況
3. 注意到若 $V:= \mathbb{R}^n$ 或者複數向量空間 $V= \mathbb{C}^n$ 則我們可從幾何觀點來看上述特徵值問題，則此問題變成決定是否 $L({\bf v})$ 與 ${\bf v}$ 平行。
4. 給定任意線性算子 $L: V \to V$ ，其(實數)特徵值與其對應的特徵向量不一定存在，比如說考慮 旋轉轉換 $L: \mathbb{R}^2 \to \mathbb{R}^2$ 滿足
\[L\left( {\left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right]} \right) = \left[ {\begin{array}{*{20}{c}}
{\cos \theta }&{ - \sin \theta }\\
{\sin \theta }&{\cos \theta }
\end{array}} \right]\left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right]\]其中 $0 < \theta < \pi$ 則此算子為線性算子但不存在(實數)特徵值與特徵向量。但存在 (複數)特徵值與複數特徵向量

Example 1:
令 Linear operator $L : \mathbb{R}^2 \to \mathbb{R}^2$ 滿足
\[L\left( {\bf{v}} \right) = L\left( {\left[ \begin{array}{l}
{v_1}\\
{v_2}
\end{array} \right]} \right): = \left[ \begin{array}{l}
{v_1}\\
 - {v_2}
\end{array} \right]\]試求 ${\bf v} \neq {\bf 0}$ 與 $\lambda$ 使得 $L({\bf v}) = \lambda {\bf v}$?

Solution
觀察
\[L\left( {\bf{v}} \right) = L\left( {\left[ \begin{array}{l}
{v_1}\\
{v_2}
\end{array} \right]} \right): = \left[ \begin{array}{l}
{v_1}\\
 - {v_2}
\end{array} \right]\]因為我們要求 $L({\bf v}) = \lambda {\bf v}$ 故
\[\begin{array}{*{20}{l}}
{\left[ {\begin{array}{*{20}{l}}
{{v_1}}\\
{ - {v_2}}
\end{array}} \right] = \lambda \left[ {\begin{array}{*{20}{l}}
{{v_1}}\\
{{v_2}}
\end{array}} \right]}\\
{ \Rightarrow \lambda \left[ {\begin{array}{*{20}{l}}
{{v_1}}\\
{{v_2}}
\end{array}} \right] - \left[ {\begin{array}{*{20}{l}}
{{v_1}}\\
{ - {v_2}}
\end{array}} \right] = {\bf{0}}}\\
{ \Rightarrow \left[ {\begin{array}{*{20}{c}}
{\lambda  - 1}&0\\
0&{\lambda  + 1}
\end{array}} \right]\left[ {\begin{array}{*{20}{l}}
{{v_1}}\\
{{v_2}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{l}}
0\\
0
\end{array}} \right]}
\end{array}\]由上式可知我們在決定 $\lambda$ 使得並求解 Null Space of ${\left[ {\begin{array}{*{20}{c}}
{\lambda  - 1}&0\\
0&{  \left( {\lambda  + 1} \right)}
\end{array}} \right]}$ 故若我們選 $\lambda := \lambda_1 = 1 $ 則對應的 ${\bf v}_1 = [s\;\;0]^T$ 其中 $s \in \mathbb{R}^1$。

另外若選 $\lambda := \lambda_2 = -1$ 則對應的 ${\bf v}_2 = [0\;\;t]$ 其中 $t \in \mathbb{R}^1$。 $\square$


由上述討論所求出的 $\lambda$ 與 ${\bf v}$ 即為所謂特徵值與特徵向量，現在我們引入 eigenvalue 與 eigenvector 定義


======================
Definition:  Eigenvalue and Eigenvector
令 $V$ 為 $n$ 維度向量空間且 $L: V \to V$ 為定義在 $V$ 上的 線性算子。我們稱 $\lambda$ 為 $L$ 的特徵值( eigenvalue of $L$) 若存在一組非零向量 ${\bf x} \in V$ 使得
\[
L({\bf x}) = \lambda {\bf x}
\]且 任意非零向量 ${\bf x}$ 滿足上式稱為 $L$ 對應於特徵值 $\lambda $ 的特徵向量 (eigenvector of $L$ associated with the eigenvalue $\lambda$)
======================

Remark: 
1. 上述定義中的純量 $\lambda$ 與向量 ${\bf x}$皆可為 實數或者複數。有興趣的讀者請看 Example 2
2. 若我們允許 ${\bf x} = {\bf 0}$ 則 任意 $\lambda$ 都可為 eigenvalue 因為
\[
L({\bf x}) = \lambda {\bf x} \Rightarrow L({\bf 0}) = \lambda {\bf 0}
\]則任何 $\lambda$ 都滿足上式。
3. 事實上特徵值與特徵向量在無窮維向量空間 亦可被定義，有興趣讀者請看 Example 3


===================
Fact: 令 $L:V\to V$ 為線性算子，若 ${\bf x}$ 為 eigenvector of $L$ associated with the eigenvalue ${\lambda}$ 則 對任意實數 $c \in \mathbb{R}^1$ 我們有
\[
L(c {\bf x}) = \lambda (c {\bf x})
\]===================

Proof:
由於 ${\bf x}$ 為 eigenvector of $L$ associated with the eigenvalue ${\lambda}$ 我們有 對任意非零向量 ${\bf x} \neq {\bf 0}$
\[
L({\bf x}) = \lambda ({\bf x})
\] 現在觀察
\[\begin{array}{l}
L(c{\bf{x}}) = cL({\bf{x}})\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = c\left( {\lambda {\bf{x}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \lambda \left( {c{\bf{x}}} \right)
\end{array}\]讀者應注意到上述第一條等式應用 $L$ 為線性算子的性質。$\square$


以下我們用一個例子來說明何時會發生複數的 eigenvalue $\lambda$ 與 負數特徵向量 ${\bf x}$

Example 2:
考慮線性算子 $L: \mathbb{R}^2 \to \mathbb{R}^2$ 滿足
\[L\left( {\left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right]} \right) = \left[ \begin{array}{l}
 - {x_2}\\
{x_1}
\end{array} \right]\]試求 eigenvalue of $L$ 與對應的 eigenvector

Solution
回憶前述定義，線性算子 $L$ 的特徵值 $\lambda$ 必須滿足 $L\left( {\bf{x}} \right) = \lambda {\bf{x}}$ 故現在觀察
\[\begin{array}{l}
L\left( {\bf{x}} \right) = \lambda {\bf{x}}\\
 \Rightarrow L\left( {\left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right]} \right) = \left[ \begin{array}{l}
 - {x_2}\\
{x_1}
\end{array} \right] = \lambda \left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right]\\
 \Rightarrow \lambda \left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right] - \left[ \begin{array}{l}
 - {x_2}\\
{x_1}
\end{array} \right] = \left[ \begin{array}{l}
0\\
0
\end{array} \right]\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
\lambda &1\\
{ - 1}&\lambda
\end{array}} \right]\left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right] = \left[ \begin{array}{l}
0\\
0
\end{array} \right]
\end{array}\]觀察上述線性系統方程，求解 Null Space of $\left[ {\begin{array}{*{20}{c}}
\lambda &1\\
{ - 1}&\lambda
\end{array}} \right]$ 可得到以下結果：

若 $\lambda = \lambda_1 = i$ 則對應的特徵向量可透過將 $\lambda = \lambda_1$ 帶回上述線性系統方程並求解 ${\bf x}_1$ 如下 \[
{\bf x}_1 = s[i \;\; 1]^T,\;\; \forall s \in \mathbb{R}^1
\]
若 $\lambda = \lambda_i =-i$ 則對應的特徵向量可透過將 $\lambda = \lambda_2$ 帶回上述線性系統方程並求解 ${\bf x}_2$ 如下
\[
{\bf x}_2 = t[-i \;\; 1]^T,\;\; \forall t \in \mathbb{R}^1
\]
注意到上述結果之中，$L$ 的 特徵值皆為複數：亦即 $\lambda_{i} \in \mathbb{C}$ 對任意 $i=1,2$ 且對應的特徵向量亦為 $\mathbb{C}^2$ 複數向量。且這表示原本題目之中要求 $L: \mathbb{R}^2 \to \mathbb{R}^2$ 並無法找到對應的複數向量除非我們更改 domain 與 codomain 使其變成 $\mathbb{C}^2$


Example 3: Eigenvalue Problem in Function Space
考慮 $V:=C^\infty (\mathbb{R})$ 亦即 $V$ 為所有 單變數實數函數所成的向量空間 且我們假設其上的函數任意階導數存在。現在令 $L: V \to V$ 為線性算子滿足
\[
L(f) := f'
\]
則我們想問是否可找到 常數 $\lambda$ 與 函數 $f \neq 0$ 且 $f \in V$ 使得 $L(f) = \lambda f$ 成立？

 Solution
令 $f \in V$ 為單變數函數，注意到 $L(f) = f'$ 為線性算子(why?)，現在觀察 $L(f) = f' = \lambda f $ 亦即 我們要找出 $\lambda$ 與對應的 $f \neq 0, f \in V$ 滿足
\[
f' = \lambda f
\] 由於我們要找的 $f$ 必須無窮維導數存在 且一次導數必須滿足 $f' = \lambda f$，故我們猜 $f(t) = e^{\lambda t}$ 則
\[\frac{d}{{dt}}\left( {{e^{\lambda t}}} \right) = \lambda {e^{\lambda t}} = \lambda f\left( t \right)\]故現在我們找到一組 $f$ 滿足該方程，但是否有其他人選？答案是肯定的，比如說我們改令
\[
f(t) = K e^{\lambda t}
\]仍為該方程 $f' = \lambda f$ 的解 （讀者可自行驗證），因此我們有以下結果，對任意 特徵值 $\lambda \in \mathbb{R}^1$，其特徵向量 $f(t) = K e^{\lambda t} $ 其中 $K$ 為任意非零常數。$\square$

Comment:
1. 上述例子中顯示微分方程 $f' = \lambda f$ 的解 $f(t) = exp(\lambda t)$ 剛好為該 $L(f) = f'$ 的對應於特徵值 $\lambda$ 的特徵向量。

2. 若我們只關心 $f>0$ 上述微分方程可直接求解不必猜測，解法如下：
\[\begin{array}{l}
f' = \lambda f\\
 \Rightarrow \frac{{df\left( t \right)}}{{dt}} = \lambda f\left( t \right)\\
 \Rightarrow \frac{{df\left( t \right)}}{{f\left( t \right)}} = \lambda dt\\
 \Rightarrow \int {\frac{1}{{f\left( t \right)}}df\left( t \right)}  = \int {\lambda dt} \\
 \Rightarrow \log f\left( t \right) + C = \lambda t + D\\
 \Rightarrow f\left( t \right) = {e^{\lambda t}}{e^{D-C}}: = K{e^{\lambda t}}
\end{array}\]

[系統理論] 閉迴路系統的暫態響應 與 eigenvalue/eigenvector 關係

首先考慮  $n$階 線性微分方程如下
\[
\dot {\bf x}(t) = G{\bf x}(t); \;\; { \bf x}(0) ={\bf x}_0
\]上式一般表示為 無外力輸入 $u$ 的系統。且我們可對其求解得到
\[{\bf x}(t) = e^{Gt} {\bf x}_0 \ \ \ \ \ \ (*)
\] 我們可進一步將上式的解 $(*)$ 重新用 矩陣 $G$ 的 eigenvalues/eigenvectors 表示; i.e., 若 $G$ 為 $n \times n$ 則 下式 eigenvalue-eigenvector 關係需被滿足
\[G{{\bf{v}}_i} = {\lambda _i}{{\bf{v}}_i}, \text{ for $i=1,2,...,n$}
\]其中 $\lambda_i$ 為 $G$ 的 eigenvalues 且 $v_i$ 為對應的 eigenvectors。 注意到在此我們假設 $G$ 的 eigenvalues 均相異。現在使用這些 eigenvectors, $v_i$，建構  非奇異轉換矩陣 或稱 modal matrix  $M$ 如下
\[M: = \left[ {\begin{array}{*{20}{c}}
{{{\bf{v}}_1}}&{{{\bf{v}}_2}}& \cdots &{{{\bf{v}}_n}}
\end{array}} \right]
\]注意到 $M$ 為 nonsingular 因為 $\{v_i\}$ 彼此線性獨立 (因為相異 eigenvalue 對應 線性獨立的 eigenvector) ；現在使用 $M$，定義下列新狀態 $\bf z$ 轉換
\[
{\bf x} = M {\bf z}
\]將上述新的狀態關系代入原系統 $\dot {\bf x}(t) = G{\bf x}(t)$ 我們可以改寫如下
\[\begin{array}{l}
{\bf{\dot x}}(t) = G{\bf{x}}(t)\\
 \Rightarrow M{\bf{\dot z}}\left( t \right) = GM{\bf{z}}(t)\\
 \Rightarrow {\bf{\dot z}}\left( t \right) = {M^{ - 1}}GM{\bf{z}}(t)
\end{array}
\]其中初始值 (Initial Condition, I.C.) 為 $\begin{array}{l}
{\bf{z}}(0) = {M^{ - 1}}{\bf{x}}(0)\\
\end{array}$
上述轉換又稱對角化，故我們得到 $G$ 如下
\[{M^{ - 1}}GM = \left[ {\begin{array}{*{20}{c}}
{{\lambda _1}}&{}&{}&{}\\
{}&{{\lambda _2}}&{}&{}\\
{}&{}& \ddots &{}\\
{}&{}&{}&{{\lambda _n}}
\end{array}} \right]: = \Lambda \]因此，若我們求解 ${{\bf{\dot z}}\left( t \right) = {M^{ - 1}}GM{\bf{z}}(t)}$ 可得
\[{\bf{z}}(t) = {e^{{M^{ - 1}}GMt}}{\bf{z}}(0) = {e^{\Lambda t}}{\bf{z}}(0)
\]現在將上述結果轉回原本的狀態 $\bf x$
\[{\bf{x}}(t) = M\underbrace {{\bf{z}}(t)}_{ = {e^{\Lambda t}}{\bf{z}}(0)} = M{e^{\Lambda t}}\underbrace {{\bf{z}}(0)}_{ = {M^{ - 1}}{\bf{x}}(0)} = M{e^{\Lambda t}}{M^{ - 1}}{\bf{x}}(0) \ \ \ \ \ (**)
\] 其中
\[\begin{array}{*{20}{l}}
{M{e^{\Lambda t}} = \left[ {\begin{array}{*{20}{c}}
{{{\bf{v}}_1}}&{{{\bf{v}}_2}}&{...}&{{{\bf{v}}_n}}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{e^{{\lambda _1}t}}}&0& \cdots &0\\
0&{{e^{{\lambda _2}t}}}&{}& \vdots \\
 \vdots &{}& \ddots &0\\
0& \cdots &0&{{e^{{\lambda _n}t}}}
\end{array}} \right]}\\
{\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{e^{{\lambda _1}t}}{{\bf{v}}_1}}&{{e^{{\lambda _2}t}}{{\bf{v}}_2}}&{...}&{{e^{{\lambda _n}t}}{{\bf{v}}_n}}
\end{array}} \right]}
\end{array}
\]另外我們觀察 $M^{-1}$ 定義 $L:= M^{-1}$ 具有 rows 向量為 $l_i$; i.e.,
\[L = {M^{ - 1}} = \left[ {\begin{array}{*{20}{c}}
{{{{{l}}}_1}}\\
{{{{l}}_2}}\\
 \vdots \\
{{{{l}}_n}}
\end{array}} \right]\]
因此我們可以更進一步改寫 $(**)$ 如下
\[\begin{array}{l}
{\bf{x}}(t) = M{e^{\Lambda t}}{M^{ - 1}}{\bf{x}}(0)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{e^{{\lambda _1}t}}{{\bf{v}}_1}}&{{e^{{\lambda _2}t}}{{\bf{v}}_2}}&{...}&{{e^{{\lambda _n}t}}{{\bf{v}}_n}}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{l_1}}\\
{{l_1}}\\
 \vdots \\
{{l_n}}
\end{array}} \right]{\bf{x}}(0)
\end{array}
\]或者更簡潔的表示成矩陣的形式
\[{\bf{x}}(t) = \sum\limits_{i = 1}^n {{e^{{\lambda _i}t}}{{\bf{v}}_i}{l_i}} {\bf{x}}(0) \ \ \ \ (\star)
\] 也就是說
\[{\bf x}(t) = e^{Gt} {\bf x}_0 = \sum\limits_{i = 1}^n {{e^{{\lambda _1}t}}{{\bf{v}}_i}{\alpha _i}}\]
現在我們觀察 $(\star)$ 整理結果如下：上述的(自由響應 (free response) )解 與下列三者有關：

1. ${\bf eigenvalues}$：用以決定 系統自由響應 的 衰減率/增長率 
2. ${\bf eigenvectors}$： 用以決定 系統自由響應的 " shape "
3. ${\bf Initial Condition.}$： 用以決定哪一個系統的 mode 參與自由響應的程度

[控制理論] 狀態回授控制(1)- Eigenstructure Assignment

控制理論中最重要的本質 便是 回授控制 (feedback control)，在實現上，回授控制具有下列四種主要功能：

1. 改善/保證 系統穩定度
2. 降低系統的 敏感度(提升強健性)
3. 改善系統 抑制 低頻外在干擾 或者 抑制 高頻雜訊 的能力
4. 改善 系統暫態響應

而 Eigenstructure Assignment (同時給定 eigenvalue 與 eigenvector )主要是透過回授控制達成第四個目標：改善 系統的 暫態響應。以下我們介紹 全狀態回授 (Full State Feedback) 的 Eigenstructure Assignment。


考慮系統
\[\dot x\left( t \right) = Ax\left( t \right) + Bu\left( t \right)
\] 其中 $x(t) \in \mathbb{R}^n$； $u(t) \in \mathbb{R}^m$

且狀態回授控制器 $u(t) = F x(t)$。
則將控制器帶入系統，可得閉迴路系統如下
\[\dot x\left( t \right) = \left( {A + BF} \right)x\left( t \right)
\]
現在令 $\lambda_i$ 為系統 $A+BF$ 的 eigenvalue，且 $v_i$ 為對應的 eigenvector，則我們有 eigenvalue-eigenvector relationship 如下
\[
(A+BF) v_i = \lambda_i v_i
\] 上式可改寫為
\[\begin{array}{l}
(A + BF){v_i} = {\lambda _i}{v_i}\\
 \Rightarrow \left( {{\lambda _i}I - A} \right){v_i} - BF{v_i} = 0
\end{array}\]

故我們現在定義 $S_{\lambda_i }:= [\lambda_i I - A \;\; B]$ 且定義其對應的分割矩陣
\[{K_{{\lambda _i}}}: = \left[ {\begin{array}{*{20}{c}}
{{N_{{\lambda _i}}}}\\
{{M_{{\lambda _i}}}}
\end{array}} \right]\]此 $K_{\lambda_i}$ spans $\ker\{S_{\lambda_i}\}$

Theorem: (Moore, 1976) 令 $\{\lambda_i, i=1,...,n\}$ 為 self-conjugate 且 相異的特徵值所形成的集合。我們說 存在控制矩陣 $F$ 使得 對任意 $i=1,...n$ 而言，我們有 $(A+BF) v_i = \lambda_i v_i$  若且為若 對任意 $i=1,...n$，下列三個條件成立
1. (線性獨立) $v_i$ 彼此線性獨立
2. (共顎條件) $\lambda_i = \lambda_j^* \Rightarrow v_i = v_j^*$
3. $v_i \in \text{span}\{N_{\lambda_i}\}= \left\{ {\sum\limits_{i = 1}^n {{c_i}{v_i}} :{v_i} \in {N_{{\lambda _i}}},{c_i} \in \mathbb{R}} \right\}$

Proof: 
$(\Rightarrow)$ 假設 存在控制矩陣 $F$ 使得 對任意 $i=1,...n$ 而言，我們有 $(A+BF) v_i = \lambda_i v_i$，我們要證明三個條件成立；由於前面兩個條件由線性代數的理論可得；故我們只需檢驗條件 3. 假設 $(A+BF)v_i = \lambda_i v_i$, 則我們有
\[\begin{array}{l}
(A + BF){v_i} = {\lambda _i}{v_i}\\
\Rightarrow \left( {{\lambda _i}I - A} \right){v_i} - BF{v_i} = 0\\
\Rightarrow \underbrace {\left[ {\begin{array}{*{20}{c}}
{{\lambda _i}I - A}&B
\end{array}} \right]}_{{S_{{\lambda _i}}}}\underbrace {\left[ {\begin{array}{*{20}{c}}
{{v_i}}\\
{ - F{v_i}}
\end{array}} \right]}_{{\in K_{{\lambda _i}}}} = 0
\end{array}\] 由於 $K_{\lambda_i}$ 的 columns 做為基底建構 $\ker \{ {S_{{\lambda _i}}}\}  = \ker \left\{ {\left[ {\begin{array}{*{20}{c}}
{{\lambda _i}I - A}&B
\end{array}} \right]} \right\}$ ，故 $v_i \in \text{span}\{N_{\lambda_i}\}$.

$(\Leftarrow)$ 假設前述 Theorem 三個條件成立， 我們要證明存在一個實數矩陣 $F$ 使得對 $1 \le i \le n$，下式 eigenvalue-eigenvector relation 滿足
\[
(A+BF)v_i = \lambda_i v_i.
\]現在選 $v_i, \; 1\le i \le n$ 滿足 3 條件; i.e., 對 $1\le i \le n$

  1. $v_i$ 彼此線性獨立
  2. $\lambda_i = \lambda_j^* \Rightarrow v_i = v_j^*$
  3. $v_i \in \text{span}\{N_{\lambda_i}\}$

首先由條件 3 可知 $v_i \in \text{span}\{N_{\lambda_i}\}$ (the subspace spanned by colmuns of $N_{\lambda_i}$ and $v_i$ is the member of such subspace. ), 存在一個向量 $k_i$ (real or complex) 使得
\[
v_i = N_{\lambda_i} k_i
\]接著由於
\[{K_{{\lambda _i}}} = \left[ {\begin{array}{*{20}{c}}
{{N_{{\lambda _i}}}}\\
{{M_{{\lambda _i}}}}
\end{array}} \right] = \ker \left\{ {\left[ {\begin{array}{*{20}{c}}
{{\lambda _i}I - A}&{B}
\end{array}} \right]} \right\}\]故暗示了
\[
 \left( {{\lambda _i}I - A} \right){N_{{\lambda _i}}}{k_i} - B{M_{{\lambda _i}}}{k_i} = 0
\] 上述結果暗示了 若我們選 $F$ 使得 $ - {M_{{\lambda _i}}}{k_i} = F{v_i}$ 則 可得
\[\begin{array}{l}
\left( {{\lambda _i}I - A} \right){v_i} + B{M_{{\lambda _i}}}{k_i} = 0\\
\Rightarrow \left( {{\lambda _i}I - A} \right){v_i} + B\left( { - F{v_i}} \right) = 0\\
\Rightarrow \left[ {{\lambda _i}I - \left( {A + BF} \right)} \right]{v_i} = 0
\end{array}
\]亦即我們需要的結果。故剩下的證明便是要證明我們可以永遠建構出一控制矩陣 $F$ 滿足
\[F\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{{w_1}}&{{w_2}}& \cdots &{{w_n}}
\end{array}} \right]\]其中 $w_i := -M_{\lambda_i} k_i$ ; i.e., 若這樣的 $F$ 存在 則必定滿足
\[F\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{ - {M_{{\lambda _1}}}{k_1}}&{ - {M_{{\lambda _2}}}{k_2}}& \cdots &{ - {M_{{\lambda _n}}}{k_n}}
\end{array}} \right]\]

現在我們分成兩種情況討論

${\bf CASE 1: }$ 特徵值皆為實數的情況
若任意相異的 $\lambda_i$ 為實數，則 $v_i, w_i$ 亦為實數，且矩陣 $\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]$ 之反矩陣存在 (由條件 1)，故可得控制力矩陣 $F$ 為
\[\begin{array}{l}
F = \left[ {\begin{array}{*{20}{c}}
{{w_1}}&{{w_2}}& \cdots &{{w_n}}
\end{array}} \right]{\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]^{ - 1}}\\
\begin{array}{*{20}{c}}
{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{ - {M_{{\lambda _1}}}{k_1}}&{ - {M_{{\lambda _2}}}{k_2}}& \cdots &{ - {M_{{\lambda _n}}}{k_n}}
\end{array}} \right]{\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]^{ - 1}}
\end{array}\]

${\bf CASE 2: }$ 特徵值具有共顎複數情況
若特徵值有共顎複數，在此我們假設 $\lambda_1 = \lambda_2^*$. 由條件2可知 $v_1 = v_2^*$ 故可推知 $w_1 = w_2^*$. 因此，設其他剩餘的特徵值皆為實數，則控制力矩陣 $F$ 必定需滿足
\[ \small
F\left[ {\begin{array}{*{20}{c}}
{{v_{1R}} + j{v_{1I}}}&{{v_{1R}} - j{v_{1I}}}& {{v_3}}& \cdots &{{v_n}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{{w_{1R}} + j{w_{1I}}}&{{w_{1R}} - j{w_{1I}}}& {{w_3}}& \cdots &{{w_n}}
\end{array}} \right]
\]其中 $w_i := -M_{\lambda_i} k_i$. 現在兩邊同乘下式 的非奇異矩陣
\[\left[ {\begin{array}{*{20}{c}}
{1/2}&{}&{ - j1/2}& {}\\
{1/2}&{}&{j1/2}& 0\\
\hline
{}&0&{}& I
\end{array}} \right]\]
則我們可得
\[F\left[ {\begin{array}{*{20}{c}}
{{v_{1R}}}&{{v_{1I}}}& {{v_3}}& \cdots &{{v_n}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{{w_{1R}}}&{{w_{1I}}}& {{w_3}}& \cdots &{{w_n}}
\end{array}} \right]\]
現在由於 $\{v_i\}_{i=1}^n$ 彼此獨立，故矩陣
\[V:=\left[ {\begin{array}{*{20}{c}}
{{v_{1R}}}&{{v_{1I}}}& {{v_3}}& \cdots &{{v_n}}
\end{array}} \right]
\] 之反矩陣存在，故我們可如前計算 $F$. (by taking inverse of $V$). $\square$

[線性系統] 對角化 與 Eigenvalues and Eigenvectors

首先我們給出相關定義

============================
Definition (Eigenvalue and Eigenvector)
設 $A$ 為 $n \times n$ 方陣，若存在一非零向量 $x \in \mathbb{R}^n$ (or $\in \mathbb{C}^n$) 與 純量 $\lambda \in \mathbb{R}^1$ (or $\in \mathbb{C}^1$)滿足
\[
Ax = \lambda x
\]則我們稱 $\lambda$ 為 $A$ 的 特徵值 (eigenvalue) 且 $x$ 為 $A$對應於 $\lambda $ 的特徵向量(eigenvector)。
============================

Comments:

1. 上述定義中 $Ax = \lambda x$ 又稱 eigenvalue-eigenvector 關係： $( \lambda I - A)x =0$，注意! $0$ 為 零向量!!。
2. 若 $A$ 為 $n \times n$ 方陣，則我們稱下式

\[\det (\lambda I - A)\]為 $A$ 矩陣的 特徵多項式(characteristic polynomial) 且 $\det(\lambda I -A)=0$ 為特徵方程(characteristic equation)。

現在考慮 LTI 系統 (但無考慮外力 $u=0$) 以狀態空間表示
\[
\dot {x} = Ax,
\]其中 $x$ 為 $n \times 1$ 狀態向量，$A$ 為 $n \times n$ 常數矩陣。現在對上式取拉式轉換 且令初值為零，
\[sX\left( s \right) = AX\left( s \right) \Rightarrow \left( {sI - A} \right)X\left( s \right) = 0
\] 亦即對上述系統而言，其解特徵方程 (characteristic polynomial) 可寫為
\[
\det( s I - A) =0
\]且 特徵方程式的根 即為 eigenvalue。


對角化 (Diagonalization)

考慮  $A$ 為 $n$ 階方陣 ，且 $A$ 與 一個 對角矩陣(diagonal matrix) $ \Lambda$ 相似 (亦即有相同的 eigenvalue)，則稱此 $A$ 矩陣為可對角化 (diagonalizable)；亦即存在一個 non-singular transformation matrix $T$ 使得
\[
\Lambda = T^{-1}AT
\]

FACT: 若 $n$ 階方陣 $A$ 為可對角化(Diagonalizable)，則必須具備 $n$個線性獨立的 eigenvector。
Proof: omitted
NOTE: $n$個線性獨立的 eigenvector 具有 $n$ 個對應的 相異 eigenvalue


由於矩陣的對角化可借助 eigenvalue 與 eigenvector 來達成，且依照 eigenvalue 的不同情況(共有三種情況)會有所各自不同的衍生討論，我們將各種情況總結如下：

1. 矩陣 $A$ 具有 相異特徵值 (distinct eigenvalues)
2. 矩陣 $A$ 具有 重複特徵值 (repeated eigenvalues)
3. 矩陣 $A$ 具有 複數特徵值 (complex eigenvalues)

以下我們逐項討論：

Case I: 相異特徵值 (Distinct eigenvalues)
考慮  $A$ 為 $n \times n$ 方陣，其特性方程
\[
\det(\lambda_iI - A) =0, \; \forall i
\]且 $\lambda_1 \neq \lambda_2 \neq ... \neq \lambda_n$。那麼對於 第 i 個 eigenvalue $\lambda_i$而言，其對應的 eigenvector 定為 $v_i$，且滿足 eigenvalue-eigenvector 關係
\[({\lambda _i}I - A){v_i} = 0\]那麼對任意 $i$ 而言，我們有
\[({\lambda _i}I - A){v_i} = 0 \Rightarrow {\lambda _i}{v_i} = A{v_i}\]亦即
\[ \Rightarrow \left\{ \begin{array}{l}
{\lambda _1}{v_1} = A{v_1}\\
{\lambda _2}{v_2} = A{v_2}\\
 \vdots \\
{\lambda _n}{v_n} = A{v_n}
\end{array} \right.
\]現在將上述結果寫成矩陣形式：
\[\begin{array}{*{20}{l}}
{\left[ {\begin{array}{*{20}{c}}
{{\lambda _1}{v_1}}&{{\lambda _2}{v_2}}& \cdots &{{\lambda _n}{v_n}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{A{v_1}}&{A{v_2}}& \cdots &{A{v_n}}
\end{array}} \right]}\\
{ \Rightarrow \underbrace {\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]}_{n \times n}\underbrace {\left[ {\begin{array}{*{20}{c}}
{{\lambda _1}}&0& \cdots &0\\
0&{{\lambda _2}}&{}& \vdots \\
 \vdots &{}& \ddots &0\\
0& \cdots &0&{{\lambda _n}}
\end{array}} \right]}_{n \times n} = A\underbrace {\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]}_{n \times n}}
\end{array}\]令 $T: = \left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]$ 且
\[
\Lambda := {\left[ {\begin{array}{*{20}{c}}
{{\lambda _1}}&0& \cdots &0\\
0&{{\lambda _2}}&{}& \vdots \\
 \vdots &{}& \ddots &0\\
0& \cdots &0&{{\lambda _n}}
\end{array}} \right]}
\]則我們有
\[\begin{array}{l}
T\Lambda  = AT \Rightarrow \Lambda  = {T^{ - 1}}AT
\end{array}\]若 $T$ 為 nonsingular (i.e., $T$ 有 $n$ 個線性獨立的 row or columns 亦即 eigenvectors 之間彼此線性獨立)。

那麼現在我們證明 $T$ 確實為 nonsingular matrix。
Proof
用歸納法：令 $n=2$ 對任意兩個 eigenvector $v_i, v_j$ 而言，我們要證明此兩者為線性獨立，亦即由線性獨立的定義，對下式
\[
\alpha_i v_i + \alpha_j v_j =0 \ \ \ \ (*)
\]其係數 $\alpha_i = \alpha_j =0$。

故現在觀察 $(*)$ 式，兩邊同乘 $(\lambda_i I - A)$
\[\begin{array}{l}
{\alpha _i}\underbrace {({\lambda _i}I - A){v_i}}_{ = 0\begin{array}{*{20}{c}}
{}
\end{array}by\begin{array}{*{20}{c}}
{}
\end{array}def.} + {\alpha _j}({\lambda _i}I - A){v_j} = 0\\
 \Rightarrow {\alpha _j}({\lambda _i}I - A){v_j} = 0\\
 \Rightarrow {\alpha _j}({\lambda _i}I - A - {\lambda _j}I + {\lambda _j}I){v_j} = 0\\
 \Rightarrow {\alpha _j}({\lambda _i}I - {\lambda _j}I + \left( {{\lambda _j}I - A} \right)){v_j} = 0\\
 \Rightarrow {\alpha _j}\left( {{\lambda _i}I - {\lambda _j}I} \right){v_j} + \underbrace {{\alpha _j}\left( {{\lambda _j}I - A} \right){v_j}}_{ = 0\begin{array}{*{20}{c}}
{}
\end{array}by\begin{array}{*{20}{c}}
{}
\end{array}def.} = 0\\
 \Rightarrow {\alpha _j}\left[ {\left( {{\lambda _i} - {\lambda _j}} \right)I} \right]{v_j} = 0
\end{array}\]又因為 $\lambda_i \neq \lambda_j$ (因為我們假設相異特徵值)，且特徵向量 $ v_j \neq 0$ 故必然 $\alpha_j = 0$。
同理可推至 $n$個情況，這邊留給讀者自行證明。 $\square$


透過以上討論我們知道對相異 eigenvalue的情況必定存在 nonsingular matrix $T$ 使得 $A$ 可被對角化 (亦即由 彼此線性獨立 eigenvector 建構 $T$ 矩陣)，但若我們有矩陣並不具有 $n$ 個獨立 eigenvector 該怎麼辦呢?  這個情況將會發生在 $A$ 矩陣有重根的時候：


Case II: 重複特徵值 (Repeated eigenvalues) 
考慮矩陣 $A$ 為 $n \times n$ 矩陣且具有 $m$ 個重複特徵值，亦即
\[
\lambda_1 = \lambda_2 = ... = \lambda_m
\]那麼這些重複的特徵值仍必須滿足特徵方程，亦即我們有
\[
\det(\lambda_m I - A) =0
\]且由於出現重根，在此情況下我們不再具有 $n$ 個線性獨立的 eigenvectors；故我們想知道到底剩下幾個 eigenvector 仍是線性獨立，故我們計算 rank: 若
\[
\text{rank}\{ \lambda_m I - A\} =i
\] 則 我們具有 $n -i$ 個 對應於 $\lambda_m$ 的線性獨立 eigenvectors。

重根的情況其實頗為複雜，現在我們看一些例子：

Example 1
\[A: = \left[ {\begin{array}{*{20}{c}}
{{\lambda _m}}&0&0\\
0&{{\lambda _m}}&0\\
0&0&{{\lambda _m}}
\end{array}} \right]\]此時 $A$ 矩陣具有三重根  $\lambda_m$ ，且 $\text{rank} \{\lambda_m I - A \} =0$ 故此三重根 $\lambda_m$ 會對應 $3 - 0 = 3$ 個各自獨立的 eigenvectors。

Example 2
\[A: = \left[ {\begin{array}{*{20}{c}}
{{\lambda _m}}&0&0\\
0&{{\lambda _m}}&1\\
0&0&{{\lambda _m}}
\end{array}} \right]\]此時 $A$ 矩陣具有三重根  $\lambda_m$ ，但 $\text{rank} \{\lambda_m I - A \} = 1$ 故此三重根 $\lambda_m$ 會對應 $3 - 1 = 2$ 個各自獨立的 eigenvectors。

Example 2
\[A: = \left[ {\begin{array}{*{20}{c}}
{{\lambda _m}}&1&0\\
0&{{\lambda _m}}&1\\
0&0&{{\lambda _m}}
\end{array}} \right]\]此時 $A$ 矩陣具有三重根  $\lambda_m$ ，但 $\text{rank} \{\lambda_m I - A \} = 2$故此三重根 $\lambda_m$ 會對應 $3 - 2 = 1$ 個各自獨立的 eigenvectors。

那麼當矩陣 $A$ 不具備足夠的線性獨立 eigenvector 時，我們需引入新的概念，稱作廣義特徵向量(Generalized eigenvector)。且 eigenvector 與 generalized eigenvector 可以建構一個
 non-singular matrix $T$ 使得 $J:= T^{-1}AT$ 且我們稱此 $J$ 矩陣為 Jordan matrix。
=============================
Definition: Generalized eigenvector
我們稱向量 $v$ 為 矩陣 $A$ 對應於 eigenvalue, $\lambda$ 的 rank $k$ 廣義特徵向量(generalized eigenvector) 若下列條件成立
\[\left\{ \begin{array}{l}
{\left( {\lambda I - A} \right)^k}v = 0\\
{\left( {\lambda I - A} \right)^{k - 1}}v \ne 0
\end{array} \right.
\]其中 $k$ 為矩陣 $A$ 的重根數目
=============================

NOTE: $k=1$ 即為原本的 eigenvalue 與 eigenvector。 (無重根)


Example
試求 $A$ 矩陣的 Jordan matrix 。
\[A = \left[ {\begin{array}{*{20}{c}}
1&1&2\\
0&1&3\\
0&0&2
\end{array}} \right]
\]
Solution
首先求解 $A$ 矩陣對應的 eigenvalue：注意由於此矩陣為上三角矩陣，eigenvalue 直接就是對角線元素。或者讀者亦可由特徵方程 $\det(\lambda I - A) =0$ 可解得 $\lambda_i = 1,1,2, \;\; i=1,2,3$ (雙重根 $\lambda_1 = \lambda_2 = 1$)。

我們可先計算單根 $\lambda_3 = 2$ 部分對應的 eigenvector ：由 eigenvalue-eigenvector 關係
\[\begin{array}{l}
\left( {{\lambda _3}I - A} \right){v_3} = 0\\
 \Rightarrow \left( {2\left[ {\begin{array}{*{20}{c}}
1&0&0\\
0&1&0\\
0&0&1
\end{array}} \right] - \left[ {\begin{array}{*{20}{c}}
1&1&2\\
0&1&3\\
0&0&2
\end{array}} \right]} \right){v_3} = 0\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
1&{ - 1}&{ - 2}\\
0&1&{ - 3}\\
0&0&0
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{v_{31}}}\\
{{v_{32}}}\\
{{v_{33}}}
\end{array}} \right] = 0\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{31}}}\\
{{v_{32}}}\\
{{v_{33}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
5\\
3\\
1
\end{array}} \right]
\end{array}\]接著我們回頭對付重根 $( \lambda_1 = \lambda_2 = 1)$，先計算 $\text{rank}\{ \lambda_1 I - A\} = \text{rank}\{ \left[ {\begin{array}{*{20}{c}}
0&{ - 1}&{ - 2}\\
0&0&{ - 3}\\
0&0&{ - 1}
\end{array}} \right] = 2 \}$ 故重根對應的線性獨立 eigenvector 數目為 $3 - 2 = 1$。我們先求此 eigenvector：
\[\begin{array}{*{20}{l}}
{\left[ {\begin{array}{*{20}{c}}
0&{ - 1}&{ - 2}\\
0&0&{ - 3}\\
0&0&{ - 1}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}\\
{{v_{13}}}
\end{array}} \right] = 0}\\
{ \Rightarrow \left\{ {\begin{array}{*{20}{l}}
{ - {v_{12}} - 2{v_{13}} = 0}\\
{ - 3{v_{13}} = 0}\\
{ - {v_{13}} = 0}
\end{array}} \right. \Rightarrow \left\{ {\begin{array}{*{20}{l}}
{{v_{12}} = 0}\\
{{v_{13}} = 0}
\end{array}} \right.}
\end{array}\]三個未知數，兩條方程式，故 $v_{11}$ 為自由變數，令 $v_{11} =1 $ 可得 $\lambda_m$ 對應的一組 eigenvector 為
\[\left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}\\
{{v_{13}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{\rm{1}}\\
{\rm{0}}\\
{\rm{0}}
\end{array}} \right]\]接著我們利用此eigenvector 產生 generalized eigenvector 且滿足
\[\begin{array}{l}
\left( {{\lambda _2}I - A} \right){v_2} =  - {v_1}\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
0&{ - 1}&{ - 2}\\
0&0&{ - 3}\\
0&0&{ - 1}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{v_{21}}}\\
{{v_{22}}}\\
{{v_{23}}}
\end{array}} \right] =  - \left[ {\begin{array}{*{20}{c}}
1\\
0\\
0
\end{array}} \right]\\
 \Rightarrow \left\{ \begin{array}{l}
 - {v_{22}} - 2{v_{23}} =  - 1\\
{v_{23}} = 0
\end{array} \right. \Rightarrow \left\{ \begin{array}{l}
{v_{22}} = 1\\
{v_{23}} = 0
\end{array} \right.
\end{array}\]故我們選 $v_{22} = 1$ 亦即

\[\left\{ {\begin{array}{*{20}{l}}
{{\lambda _1} = 1 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}\\
{{v_{13}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{\rm{1}}\\
{\rm{0}}\\
{\rm{0}}
\end{array}} \right];{\lambda _2} = 1 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{21}}}\\
{{v_{22}}}\\
{{v_{23}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{\rm{0}}\\
{\rm{1}}\\
{\rm{0}}
\end{array}} \right]}\\
{{\lambda _3} = 2 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}\\
{{v_{13}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{\rm{5}}\\
{\rm{3}}\\
{\rm{1}}
\end{array}} \right]}
\end{array}} \right.\]故其 nonsingular transformation matrix
\[T = \left[ {\begin{array}{*{20}{c}}
1&0&5\\
0&1&3\\
0&0&1
\end{array}} \right]\]
 Jordan matrix
\[
J = T^{-1} A T =\left[ {\begin{array}{*{20}{c}}
1&1&0\\
0&1&0\\
0&0&2
\end{array}} \right]
\]

Case III: Complex eigenvalues
考慮 $A$ 為 $2 \times 2$ 方陣，其特性方程滿足
\[
\det(\lambda_i - A) = 0
\]且 eigenvalue $\lambda = \sigma + j \omega$ 為 complex number 。

由上述可知 eigenvalue-eigenvector 關係
\[
(\lambda I - A) v_i =0
\] eigenvalue 為 complex value，其對應的 eigenvector $v_i$ 亦為 complex vector。

Example
考慮矩陣
\[A = \left[ {\begin{array}{*{20}{c}}
a&b\\
{ - b}&a
\end{array}} \right]\]$a,b \in \mathbb{R}, b \ne 0$。則我們可對此矩陣先求 eigenvalue，利用特性方程式可知
\[\begin{array}{l}
\det \left( {\lambda I - A} \right) = 0 \Rightarrow \det \left( {\left[ {\begin{array}{*{20}{c}}
{\lambda  - a}&{ - b}\\
b&{\lambda  - a}
\end{array}} \right]} \right) = 0\\
 \Rightarrow {\left( {\lambda  - a} \right)^2} + {b^2} = 0\\
 \Rightarrow {\lambda ^2} - 2a\lambda  + \left( {{a^2} + {b^2}} \right) = 0\\
 \Rightarrow \lambda  = a \pm jb
\end{array}\]現在我們求對應的 eigenvectors：

對 ${\lambda _1} = a + jb$ 我們可計算其 eigenvector 為
\[\begin{array}{l}
\left( {{\lambda _1}I - A} \right){v_1} = 0 \Rightarrow \left( {\left( {a + jb} \right)I - A} \right){v_1} = 0\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{\left( {a + jb} \right) - a}&{ - b}\\
b&{\left( {a + jb} \right) - a}
\end{array}} \right]{v_1} = 0\\
 \Rightarrow b\left[ {\begin{array}{*{20}{c}}
j&{ - 1}\\
1&j
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}
\end{array}} \right] = 0\\
 \Rightarrow \left\{ \begin{array}{l}
j{v_{11}} - {v_{12}} = 0\\
{v_{11}} + j{v_{12}} = 0
\end{array} \right. \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
1\\
j
\end{array}} \right]
\end{array}\]
接著對 ${\lambda _2} = a - jb$
\[\begin{array}{l}
\left( {{\lambda _2}I - A} \right){v_2} = 0 \Rightarrow \left( {\left( {a - jb} \right)I - A} \right){v_2} = 0\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{\left( {a - jb} \right) - a}&{ - b}\\
b&{\left( {a - jb} \right) - a}
\end{array}} \right]{v_2} = 0\\
 \Rightarrow b\left[ {\begin{array}{*{20}{c}}
{ - j}&{ - 1}\\
1&{ - j}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}
\end{array}} \right] = 0\\
 \Rightarrow \left\{ \begin{array}{l}
 - j{v_{11}} - {v_{12}} = 0\\
{v_{11}} - j{v_{12}} = 0
\end{array} \right. \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
j\\
1
\end{array}} \right]
\end{array}\]故 nonsingular transformation matrix $T$ 為
\[T = \left[ {\begin{array}{*{20}{c}}
1&j\\
j&1
\end{array}} \right]\]且
\[\begin{array}{l}
{T^{ - 1}}AT = {\left[ {\begin{array}{*{20}{c}}
1&j\\
j&1
\end{array}} \right]^{ - 1}}\left[ {\begin{array}{*{20}{c}}
a&b\\
{ - b}&a
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
1&j\\
j&1
\end{array}} \right] = \frac{1}{2}\left[ {\begin{array}{*{20}{c}}
1&{ - j}\\
{ - j}&1
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
a&b\\
{ - b}&a
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
1&j\\
j&1
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\left[ {\begin{array}{*{20}{c}}
1&{ - j}\\
{ - j}&1
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{a + bj}&{aj + b}\\
{ - b + aj}&{ - bj + a}
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\left[ {\begin{array}{*{20}{c}}
{\left( {a + bj} \right) - j\left( { - b + aj} \right)}&{aj + b - j\left( { - bj + a} \right)}\\
{ - j\left( {a + bj} \right) - b + aj}&{ - j\left( {aj + b} \right) - bj + a}
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\left[ {\begin{array}{*{20}{c}}
{2a + 2jb}&0\\
0&{2a - 2jb}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{a + jb}&0\\
0&{a - jb}
\end{array}} \right]
\end{array}\]