[微分方程] 二階常係數 線性 齊次微分方程

首先回憶標準二階微分方程 (2nd ODE)可表為
\[
y'' = f(t,y',y'')
\]現在我們考慮上述方程的一類重要的子集：二階線性常係數 齊次微分方程 (2nd Order Linear Constant Coefficient Homogeneous Ordinary Differential Equation) ，該子集的方程一般可寫作
\[
y'' + py' + q y = 0,\;\;\;\; -\infty < t < \infty \;\;\;\;\; (\star)
\]其中 $p, q \in \mathbb{R}$。讀者可注意到 我們仍處在線性 ODE 的世界，亦即對 $y,y'$ 與 $y''$ 皆線性。我們的目標是要對上述 ODE 就進行求解，亦即要找到某函數 $\phi(t)$ 對 $t \in (-\infty, \infty)$ 都滿足 $(\star)$ 。

Comments: 讀者也許會對於上述 $(\star)$ 為何稱之為 $y'' = f(t,y'=,y')$ 的一類子集感到疑惑，在此我們邀請讀者仔細檢查 $(\star)$，應可發現若令
\[
f(t,y,y') := -(py' + q y )
\] 則確實可看出 $(\star)$ 式 具有 標準二階 ODE 之形式。

以下定理給了我們一個重要的結果來界定 解的形式 與條件：

====================
Theorem: 令 $\phi_1(t)$ 與 $\phi_2(t)$ 在 $t \in (-\infty, \infty)$ 為對下列 二階微分方程的 IVP 問題：
\[
y'' + p y' + qy = 0, \;\;\;\; y(t_0) = y_0;\;\;\;\; y'(t_0) = v_0
\]的兩組解。則
(1) 對任意常數 $c_1,c_2 \in \mathbb{R}$ 其線性組合 $c_1 \phi_1(t) + c_2 \phi_2(t)$ 亦為上述ODE之解。
(2) 除此之外，若下列行列式函數
\[\Delta \left[ {{\phi _1},{\phi _2}} \right]\left( {{t_0}} \right) := \left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right| \ne 0,\begin{array}{*{20}{c}}
{}&{}
\end{array}{t_0} \in \left( { - \infty ,\infty } \right)
\]則對 上述 ODE 的任意解 $\phi(t)$ 滿足以下條件：存在 $c_1, c_2 \in \mathbb{R}$ 使得
$$
\phi(t) = c_1 \phi_1(t) + c_2 \phi_2(t)
$$====================

Comments:
上述行列式條件一般稱為 Wronskian

Proof:

令 $\phi_1(t)$ 與 $\phi_2(t)$ 在 $t \in (-\infty, \infty)$ 為對下列二階 ODE \[ y''+ p y' + qy = 0 \]的解。首先證明則對任意常數 $c_1,c_2 \in \mathbb{R}$ 其線性組合 $c_1 \phi_1(t) + c_2 \phi_2(t)$ 亦為上述ODE之解。故給定任意常數 $c_1,c_2$，令\[ \phi(t) = c_1 \phi_1(t) + c_2 \phi_2(t) \] 則我們僅需證明上式滿足 ODE，現在觀察 \[\begin{array}{l} \phi '' + p\phi ' + q\phi \\ \begin{array}{*{20}{c}} {}&{} \end{array} = {\left( {{c_1}{\phi _1}(t) + {c_2}{\phi _2}(t)} \right)^{\prime \prime }} + p{\left( {{c_1}{\phi _1}(t) + {c_2}{\phi _2}(t)} \right)^\prime } + q\left( {{c_1}{\phi _1}(t) + {c_2}{\phi _2}(t)} \right)\\ \begin{array}{*{20}{c}} {}&{} \end{array} = {c_1}\left( {{\phi _1}^{\prime \prime }(t) + p{\phi _1}^\prime (t) + q{\phi _1}(t)} \right) + {c_2}\left( {{\phi _2}^{\prime \prime }(t) + p{\phi _2}^\prime (t) + q{\phi _2}(t)} \right)\\ \begin{array}{*{20}{c}} {}&{} \end{array}{c_1}\underbrace {\left( {{\phi _1}''(t) + p{\phi _1}'(t) + q{\phi _1}(t)} \right)}_{ = 0} + {c_2}\underbrace {\left( {{\phi _2}''(t) + p{\phi _2}'(t) + q{\phi _2}(t)} \right)}_{ = 0} = 0 \end{array}
\]上述最後一行等式成立因為我們利用了已知假設  $\phi_1(t)$ 與 $\phi_2(t)$ 在 $t \in (-\infty, \infty)$為對下列二階微分方程 $y'' + p y' + qy = 0$ 的解，亦即
\[\left\{ \begin{array}{l} {\phi _1}''(t) + p{\phi _1}'(t) + q{\phi _1}(t) = 0\\ {\phi _2}''(t) + p{\phi _2}'(t) + q{\phi _2}(t) = 0 \end{array} \right.\]

接著我們證 $(2)$，令 $\phi(t)$ 為上述 ODE 的任意解且固定時刻 $t_0 \in (-\infty, \infty)$，則我們可定義
\[
\phi(t_0) := y_0;\;\;\; \phi'(t_0)"=v_0
\]現在我們要證明存在 $c_1, c_2 \in \mathbb{R}$ 使得 $\phi(t) = c_1 \phi_1(t) + c_2 \phi_2(t)$。觀察若 $\phi \left( t \right) = {c_1}{\phi _1}\left( t \right) + {c_2}{\phi _2}\left( t \right)$ 則 $\phi '\left( t \right) = {c_1}{\phi _1}'\left( t \right) + {c_2}{\phi _2}'\left( t \right)$，故此我們可針對 任意時刻 $t_0$寫下
\[\left\{ \begin{array}{l}
\phi \left( {{t_0}} \right) = {c_1}{\phi _1}\left( {{t_0}} \right) + {c_2}{\phi _2}\left( {{t_0}} \right) = {y_0}\\
\phi '\left( {{t_0}} \right) = {c_1}{\phi _1}'\left( {{t_0}} \right) + {c_2}{\phi _2}'\left( {{t_0}} \right) = {v_0 }
\end{array} \right.\]亦即我們得到兩條線性方程且未知數為 $c_1,c_2$ 回憶高中數學，利用 Cramer Rule可知上述線性方程有 唯一解 若且唯若
\[ {c_1} = \frac{{\left| {\begin{array}{*{20}{c}}
{{y_0}}&{{\phi _2}\left( {{t_0}} \right)}\\
{{v_0}}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right|}}{{\underbrace {\left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right|}_{ = \Delta [{\phi _1},{\phi _2}]\left( {{t_0}} \right)}}};{c_1} = \frac{{\left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{y_0}}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{v_0}}
\end{array}} \right|}}{{\underbrace {\left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right|}_{ =  \Delta [{\phi _1},{\phi _2}]\left( {{t_0}} \right)}}}
\]注意到由假設前提可知，對任意 $t_0 \in (-\infty, \infty)$，我們有 $\Delta[\phi_1,\phi_2](t_0) \neq 0$。故我們取上述 $c_1, c_2$ 則任意解 $\phi$ 皆可表成\[
\phi(t) = c_1 \phi_1(t) + c_2 \phi_2(t)
\]且上述等式對任意 $t \in (-\infty, \infty)$ 成立且滿足初始條件。 $\square$


Comments:
1. 微分方程與線性代數彼此之間存在巨大的連結，比如說上述定理中我們先假設有兩解 $\phi_1, \phi_2$ 接著我們才說其他的解亦可透過此兩解做線性組合。所有滿足 ODE 的解所構成之集合稱之為解空間 (Solution Space) 。現在我們提供一個更簡潔(抽象)的觀點：若我們將微分看作算子(operator) ，亦即
\[\begin{array}{l}
y'' + py' + qy = 0\\
 \Rightarrow \left( {\frac{{{d^2}}}{{d{t^2}}} + p\frac{d}{{dt}} + q} \right)\left( y \right) = 0\\
 \Rightarrow L\left( y \right) = 0
\end{array}
\]則讀者可驗證微分算子 $L(\cdot)$ 為 線性算子，且其解空間
\[
\{\phi: L (\phi) = 0\}
\]空間等價為 線代中的零空間(Null Space)

2. 我們稱 $\phi_1, \phi_2$ 為在 $t \in (-\infty, \infty)$ 的一組解空間的 基底 ( basis) 若且唯若 $\Delta[\phi_1, \phi_2](t_0) \neq 0$ 對任意 $t_0 \in (-\infty, \infty)$，那麼該如何找到此兩解？我們要求此兩解滿足 Wronskian 行列式條件
\[
{\Delta [{\phi _1},{\phi _2}]\left( {{t_0}} \right)} \neq 0
\]事實上此條件等價說明 $\phi_1, \phi_2$ 彼此線性獨立。

3. 由於此系統為二階系統，我們僅需找到兩個彼此線性獨立的解 $\phi_1, \phi_2$，亦即 對任意 $p,q$ 且任意 $t_0 \in (-\infty, \infty)$，下列 Wronkian
\[\Delta \left( {{t_0}} \right): = \left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right| \ne 0
\]

4. 在前述證明中，我們在最後需回頭驗證上述結果是否滿足初始條件 $y(t_0) = y_0, \; y'(t_0) = v_0$，且且我們稱 $\phi(t)$
$$
\phi(t) := c_1 \phi_1(t) + c_2 \phi_2(t),\;\;\; -\infty< t < \infty, \;\;c_1,c_2\in \mathbb{R}
$$ 為 general solution。


儘管我們有了前述定理的幫助，知道對任意二階ODE 我們要先找出兩組線性獨立解，則其餘所有可能的解可透過此兩組線性獨立解基底做線性組合而得，但我們還有一個問題尚待解決：也就是該如何事先找到此兩組線性獨立解 $\phi_1, \phi_2$？一個常用的辦法為 先猜出解的形式，再來決定 待定係數，我們將此法稱作 Guess Method：


透過 Guess Method 來找出 $\phi_1(t), \phi_2(t)$:
由於我們要求解的方程為 ODE ，故我們可猜測 $e^{zt}, \;\;\; t \in (-\infty, \infty)$ 為解候選 (solution candidate)，其中 $z$ 為待定常數 (注意到在此 $z$ 不一定要是實數，可以是複數)。則
\[\begin{array}{l}
y'' + py' + qy = 0\\
 \Rightarrow {z^2}\left( {{e^{zt}}} \right) + pz\left( {{e^{zt}}} \right) + q\left( {{e^{zt}}} \right) = 0\\
 \Rightarrow \left( {{z^2} + pz + q} \right){e^{zt}} = 0
\end{array}\]因此 $e^{zt}$ 為 $y''+p y' + qy=0$ 的解 若且唯若
\[
(z^2 + p z + q) e^{zt} = 0
\]因為 $e^{zt} \neq 0$ ，故充分必要條件可簡化成
\[
z^2 + p z + q =0
\]上述 等式 稱為 特性方程式 (Characteristic equation) 或者 輔助方程 (Auxiliary equation)，由於此特性方程為二次函數，回憶中學數學裡，我們可對其求根 $z$ 如下
\[
{z_{1,2}} = \frac{{ - p \pm \sqrt {{p^2} - 4q} }}{2}
\]注意到上述 $z$ 現在我們討論以下三種可能

Case 1: $p^2 > 4 q$，則 $z_{1,2}$ 為 實數 且 相異

Case 2: $p^2 < 4q$，則 $z_{1,2}$ 為一對共軛複數

Case 3: $p^2 = 4q$ ，則 $z_1 = z_2$ （重根）

以下我們分別針對此三種情況來求出 我們對二街常係數齊次 ODE 所需要的線性獨立解 $\phi_1$ 與 $\phi_2$：

對於 Case 1，我們有 $\phi_1(t) = e^{z_1 t}$ 且 $\phi_2(t) = e^{z_2 t}$ 且 $z_1 \neq z_2$，故我們檢驗 Wronskian
\[\begin{array}{l}
\Delta \left( {{t_0}} \right) = \left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}'\left( {{t_0}} \right)}&{{\phi _2}'\left( {{t_0}} \right)}
\end{array}} \right|\\
 \Rightarrow \Delta \left( {{t_0}} \right) = \left| {\begin{array}{*{20}{c}}
{{e^{{z_1}{t_0}}}}&{{e^{{z_2}{t_0}}}}\\
{{z_1}{e^{{z_1}{t_0}}}}&{{z_2}{e^{{z_2}{t_0}}}}
\end{array}} \right|\\
 \Rightarrow \Delta \left( {{t_0}} \right) = \left( {{z_2} - {z_1}} \right){e^{{z_1}{t_0}}}{e^{{z_2}{t_0}}}
\end{array}
\] 由於 $z_1 \neq z_2$ 且 $e^{(z_1 + z_2)t_0}$ 永遠不為零，則 $\Delta(t_0) \neq 0$ 對任意 $t_0 \in (-\infty, \infty)$ ，故對於 Case 1，建構線性組合
\[
\phi(t) := c_1 \phi_1(t) + c_2 \phi_2(t), \;\;\;\; t\in (-\infty, \infty)
\]且此即為我們的 general solution。

同理，對於 Case 2 ，此時
\[{z_{1,2}} = \frac{{ - p \pm i\sqrt {4q - {p^2}} }}{2}\]故我們檢驗 Wronskian
\[\begin{array}{*{20}{l}}
{\Delta \left( {{t_0}} \right) = \left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}^\prime \left( {{t_0}} \right)}&{{\phi _2}^\prime \left( {{t_0}} \right)}
\end{array}} \right|}\\
{ \Rightarrow \Delta \left( {{t_0}} \right) = \left| {\begin{array}{*{20}{c}}
{{e^{{z_1}{t_0}}}}&{{e^{{z_2}{t_0}}}}\\
{{z_1}{e^{{z_1}{t_0}}}}&{{z_2}{e^{{z_2}{t_0}}}}
\end{array}} \right|}\\
\begin{array}{l}
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {{z_2} - {z_1}} \right){e^{\left( {{z_1} + {z_2}} \right){t_0}}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {\frac{{ - p + i\sqrt {4q - {p^2}} }}{2} - \frac{{ - p - i\sqrt {4q - {p^2}} }}{2}} \right){e^{\left( {\frac{{ - p + i\sqrt {4q - {p^2}} }}{2} + \frac{{ - p - i\sqrt {4q - {p^2}} }}{2}} \right){t_0}}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {i\sqrt {4q - {p^2}} } \right){e^{\left( { - 2p} \right){t_0}}} \ne 0
\end{array}
\end{array}\]故對於 Case 2，我們亦可建構線性組合
\[
\begin{array}{l}
\phi (t): = {c_1}{\phi _1}(t) + {c_2}{\phi _2}(t)\\
 \Rightarrow \phi (t) = {c_1}{e^{{z_1}{t_0}}} + {c_2}{e^{{z_2}{t_0}}}
\end{array}
\]其中 \[{z_{1,2}} = \frac{{ - p \pm i\sqrt {4q - {p^2}} }}{2}
\]此即為我們的 general solution。

對於 Case 3 ，我們陷入重根的情況，此時 $z_1 = z_2 = -p/2$，也就是說我們僅有一解
\[
\phi_1(t)  = e^{z_1t} = e^{-(p/2)t}
\] 但我們知道對於二階 ODE 要構成完整的解空間，需要兩組線性獨立解，故我們需要再找出一組解與其 $\phi_1(t)$線性獨立。故我們猜測有一待定函數 $w(t)$ 使得
\[
\phi_2(t) := e^{z_2 t} w(t) = e^{}
\]亦為對 二皆 ODE 之一解，則 $\phi_2$ 滿足
\[
\phi_2'' + p \phi_2' + q \phi_2 = 0 ,\;\;\; t \in (-\infty, \infty)
\]此表示
\[
\begin{array}{l}
{\phi _2}^{\prime \prime } + p{\phi _2}^\prime  + q{\phi _2} = 0\\
 \Rightarrow {\left( {{e^{{z_2}t}}w(t)} \right)^{\prime \prime }} + p{\left( {{e^{{z_2}t}}w(t)} \right)^\prime } + q\left( {{e^{{z_2}t}}w(t)} \right) = 0\\
 \Rightarrow \left( {{z_2}^{}w'(t) + w''\left( t \right)} \right){e^{{z_2}t}} + {z_2}{e^{{z_2}t}}\left( {{z_2}^{}w(t) + w'\left( t \right)} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + p\left( {{z_2}{e^{{z_2}t}}w(t) + w'\left( t \right){e^{{z_2}t}}} \right) + q\left( {{e^{{z_2}t}}w(t)} \right) = 0\\
 \Rightarrow \left[ {w''\left( t \right) + \left( {q - \frac{{{p^2}}}{4}} \right)w(t)} \right]{e^{ - \frac{p}{2}t}} = 0
\end{array}\]由於在 Case 3 我們知道 $p^2 = 4q$ 故上述條件退化成
\[\begin{array}{l}
\left[ {w''\left( t \right) + \underbrace {\left( {q - \frac{{{p^2}}}{4}} \right)}_{ = 0}w(t)} \right]{e^{ - \frac{p}{2}t}} = 0\\
 \Rightarrow w''\left( t \right){e^{ - \frac{p}{2}t}} = 0
\end{array}
\]但注意到 $e^{-pt/2} \neq 0$ 故我們要求 $w''(t) =0$對任意 $t \in (-\infty,\infty)$ 故我們僅需選擇 $w(t)$ 使得 $w''(t)=0$ 成立。那麼不難發現可令 $w(t)$ 為多項式形式，故我們猜測以下兩組 $w(t)$ 作為 候選：
\[
w(t) = 1 \;\;\; w(t) = t
\]但注意到若 $w(t) =1$ 則我們的解 $\phi_2(t) = e^{z_2 t} w(t) = e^{z_2 t} =\phi_1(t)$ 不符合線性獨立要求，故我們選 $w(t) = t$ 則
$$
\phi_2(t) := e^{z_2 t} w(t) =  e^{z_2 t} t = t \phi_1(t)
$$ 現在我們檢驗 Wronskian：
\[\begin{array}{l}
\Delta [{\phi _1},{\phi _2}]\left( {{t_0}} \right) = \left| {\begin{array}{*{20}{c}}
{{\phi _1}\left( {{t_0}} \right)}&{{\phi _2}\left( {{t_0}} \right)}\\
{{\phi _1}^\prime \left( {{t_0}} \right)}&{{\phi _2}^\prime \left( {{t_0}} \right)}
\end{array}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left| {\begin{array}{*{20}{c}}
{{e^{ - pt/2}}}&{t{e^{ - pt/2}}}\\
{\left( {\frac{{ - p}}{2}} \right){e^{ - pt/2}}}&{{e^{ - pt/2}} + \left( {\frac{{ - p}}{2}} \right)t{e^{ - pt/2}}}
\end{array}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {e^{ - pt/2}}\left( {{e^{ - pt/2}} + t\left( {\frac{{ - p}}{2}} \right){e^{ - pt/2}}} \right) - t{e^{ - pt/2}}\left( {\frac{{ - p}}{2}} \right){e^{ - pt/2}}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {e^{ - pt}} \ne 0
\end{array}
\]故可知\[
\phi_2(t) = t e^{-pt/2}
\]確實為另一解，且此解與先前的 $\phi_1$ 彼此線性獨立。

[線性代數] 線性算子 與 特徵值/特徵向量(1) - 線性算子的矩陣代表 所表示的等價特徵問題

令 $V$ 為有限維度向量空間配備基底 $S=\{{\bf s}_1,{\bf s}_2,...,{\bf s}_n\}$ 且 $L: V \to V$ 為線性算子，則必存在唯一 的 一個 對應於基底 $S$ 的 $n \times n$ 矩陣代表 $A$  來 表示 $L$ (我們稱此矩陣代表 $A$ 為  representation of $L$ with respect to $S$) 使得 對任意 ${\bf x} \in V$ 我們有
\[
[L({\bf x})]_S = A [{\bf x}]_S \;\;\;\;\; (\star)
\]其中 $[{\bf x}]_S$ 表示 ${\bf x}$基於 基底 $S$ 的座標向量 (coordinate vector)，亦即 若\[{[{\bf{x}}]_S} = \left[ \begin{array}{l}
{a_1}\\
{a_2}\\
 \vdots \\
{a_n}
\end{array} \right] \Leftrightarrow {\bf{x}} = {a_1}{{\bf{s}}_1} + {a_2}{{\bf{s}}_2} + ... + {a_n}{{\bf{s}}_n}\]

現在我們回憶原本 定義在 線性算子 $L$ 之上的特徵問題：亦即我們要 找出一組 特徵值 $\lambda$ 與其對應的 特徵向量 ${\bf x} \neq {\bf 0}$ 且 ${\bf x} \in V$ 滿足
\[
L({\bf x}) = \lambda {\bf x}\;\;\;\;\; (*)
\]
觀察 $(\star)$ 式，我們可得到透過 $A$ 矩陣所描述的等價特徵問題如下
\[\begin{array}{l}
{[L({\bf{x}})]_S} = A{[{\bf{x}}]_S}\;\\
 \Rightarrow {[\lambda {\bf{x}}]_S} = A{[{\bf{x}}]_S}\;\\
 \Rightarrow \lambda {[{\bf{x}}]_S} = A{[{\bf{x}}]_S}\;
\end{array}
\]則我們的目標變成要找 一組 $\lambda \in \mathbb{R}$ (or $\in \mathbb{C}$) 與 $[{\bf x}]_S \neq {\bf 0}$ 且 $[{\bf x}]_S \in \mathbb{R}^n$ (or $\mathbb{C}^n$)  滿足
\[
\lambda {[{\bf{x}}]_S} = A{[{\bf{x}}]_S}
\]

現在我們考慮以下例子：

Example 1
令 $L: P_1 \to P_1$ 為線性算子滿足
\[
L( at + b) := bt + a
\]另外給定一組 $P_1$ 的 有序基底 $S:=\{t, 1\}$，
(a) 試求透過 基底 $S$ 的矩陣 $A$ 來代表線性算子 $L$
(b) 定義對應於 $A$ 矩陣的等價特徵問題


Solution (a):
令 $A$ 為 線性算子 $L$ 為透過 基底 $S$ 的矩陣代表 ，則 $A$ 必須滿足 對任意 ${\bf x} \in P_1$，
\[
[L({\bf x})]_S = A [{\bf x}]_S
\]注意到我們的基底元素 ${\bf s}_1, {\bf s}_2 \in P_1$ 故我們現在若觀察
\[\left\{ \begin{array}{l}
L\left( {{{\bf{s}}_1}} \right) = L\left( t \right) = 1\\
L\left( {{{\bf{s}}_2}} \right) = L\left( 1 \right) = t
\end{array} \right.\]亦即
\[\left\{ \begin{array}{l}
{\left[ {L\left( {{{\bf{s}}_1}} \right)} \right]_S} = {\left[ 1 \right]_S} = \left[ \begin{array}{l}
0\\
1
\end{array} \right]\\
{\left[ {L\left( {{{\bf{s}}_2}} \right)} \right]_S} = {\left[ t \right]_S} = \left[ \begin{array}{l}
1\\
0
\end{array} \right]
\end{array} \right.\]故我們求得矩陣代表 (基於 $S$) 為
\[A = \left[ {\begin{array}{*{20}{c}}
{{{\left[ {L\left( {{{\bf{s}}_1}} \right)} \right]}_S}}&{{{\left[ {L\left( {{{\bf{s}}_2}} \right)} \right]}_S}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
0&1\\
1&0
\end{array}} \right]\]
Solution (b)
等價的矩陣代表的特徵問題為要找 一組 $\lambda \in \mathbb{R}$ (or $\in \mathbb{C}$) 與 $[{\bf x}]_S \neq {\bf 0}$ 且 $[{\bf x}]_S \in \mathbb{R}^2$  滿足
\[
A{[{\bf{x}}]_S} = \lambda {[{\bf{x}}]_S}
\] 或者更簡而言之，我們要找 $\lambda \in \mathbb{R}^1$ (or $\mathbb{C}^1$) 與非零向量 ${\bf v} \in \mathbb{R}^2$ 滿足
\[
A {\bf v} = \lambda {\bf v}
\]

上述討論說明了 對線性算子的特徵問題(Eigenproblem) 可以透過 其矩陣代表 描述，事實上對任意方陣，我們皆可定義其特徵問題如下：
若 $A$ 為 $n \times n$ 方陣 ，定義 線性算子 $L: \mathbb{R}^n \to \mathbb{R}^n$ or ($\mathbb{C}^n \to \mathbb{C}^n$) 滿足 對任意 ${\bf x} \in \mathbb{R}^n$ (or $\mathbb{C}^n$)
\[
L({\bf x}) = A{\bf x}
\]現在，若存在 $\lambda \in \mathbb{R}$ (or $\mathbb{C}$) 且 ${\bf x} \neq {\bf 0}, {\bf x} \in \mathbb{R}^n$ or ($\mathbb{C}^n$) 使得
\[
A {\bf x} = \lambda {\bf x}
\]則我們說 $\lambda$ 為 $A$ 的特徵值 且 ${\bf x}$ 為其 對應於 $\lambda$ 的特徵向量，亦即 $\lambda$ 為 $L$ 的特徵值 且 ${\bf x}$ 為其 對應於 $\lambda$ 的特徵向量

[數學分析] 淺論多變數函數的全導數

首先回憶 單變數 函數的導數定義

若 $f : (a,b) \subset \mathbb{R} \to \mathbb{R}$ 為 實數函數 若 $x \in (a,b)$ 則其 導數
\[
f'(x) := \lim_{h \to 0}\frac{f(x+h) - f(x)}{h}
\]

上述的單變數函數導數雖然直覺，但是若我們想要拓展到多變數情況的時候便會面臨一些問題，比如說上述導數定義需要除以 $h $ 但如果我們現在考慮 多變數 的時候此時分母 $h$ 會變成向量 $\bf h$ 此時我們該怎麼處理 "除以一個向量" 這類的問題。

想法如下：取 norm $||\cdot||$ 將向量變回單變數。

==================
Definition: Differentiable at point ${\bf x}$
我們稱函數 ${\bf{f}}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ ($E$ 為 open) 為在 ${\bf x} \in \mathbb{R}^n$ 可微，若下列條件成立：
存在 Linear Transformation $L \in \mathcal{L}(\mathbb{R}^n, \mathbb{R}^m)$ 使得
\[\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - L \cdot {\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0
\]且我們稱 ${\bf f}$ 為在  ${\bf x} \in \mathbb{R}^n$ 可微且記做 ${\bf{f}}'\left( {\bf{x}} \right) = L$
==================

==================
Definition: Differentiable on an open set $E$
若 ${\bf{f}}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ 且 $E$ open，則我們說 ${\bf{f}}$ 在 differentiable on $E$ 若 對任意 ${\bf{x}} \in E$，${\bf{f}}$ 都在 ${\bf{x}}$ 上可微。
==================

Comments:
1. 若 $\bf f$ 為在 open set $E$ 上 可導，則我們視為 ${\bf f}' : E \to L(\mathbb{R}^n, \mathbb{R}^m)$

2. 前述定義中線性算子 $L  ={\bf f}'({\bf x})$ 通常又記做 $D_{\bf x} {\bf f}$ ；我們稱此算子為 total derivative 或者 differential at point $\bf x$


現在我們看幾個例子：
-----
Example 1. What is the Derivative of a Linear Operator?
令 ${\bf f}: \mathbb{R}^n \to \mathbb{R}^m$ 且 ${\bf f}({\bf x}) = A{\bf x}$，其中 $A$ 為 Linear operator (事實上 $A$ 為 $m \times n$ 的矩陣)。試問 ${\bf f}'({\bf x}) =?$
-----
Solution:
由定義可知我們需要
\[\mathop {\lim }\limits_{{\bf{h}} \to {\bf{0}}} \frac{{\left\| {{\bf{f}}\left( {{\bf{x}} + {\bf{h}}} \right) - {\bf{f}}\left( {\bf{x}} \right) - {\bf{f}}'\left( {\bf{x}} \right){\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0\]故現在觀察
\[{\bf{f}}\left( {{\bf{x}} + {\bf{h}}} \right) - {\bf{f}}\left( {\bf{x}} \right) = A\left( {{\bf{x}} + {\bf{h}}} \right) - A\left( {\bf{x}} \right) = A{\bf{h}}\]可以發現若選 ${\bf{f}}'\left( {\bf{x}} \right) = A$ 即為所求。$\square$

-----
Example 2. 
令 ${\bf f}: \mathbb{R}^1 \to \mathbb{R}^n$ 且 \[{\bf{f}}({t}) = \left[ {\begin{array}{*{20}{c}}
1&t&{{t^2}}& \cdots &{{t^{n - 1}}}
\end{array}} \right]^T
\]試問 ${\bf f}'({\bf 0}) \in L(\mathbb{R}, \mathbb{R}^n)$ 為何?
-----
Solution:
注意到 ${\bf f}: \mathbb{R}^1 \to \mathbb{R}^n$，故由導數定義可知我們希望下式成立：
\[\mathop {\lim }\limits_{h \to 0} \frac{{\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\|}}{{\left\| h \right\|}} = 0\]注意到 $\bf f$ 為 $n \times 1$ 的向量，故
\[\begin{array}{*{20}{l}}
{{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) = {{\left[ {\begin{array}{*{20}{c}}
1&h&{{h^2}}& \cdots &{{h^{n - 1}}}
\end{array}} \right]}^T} - {{\left[ {\begin{array}{*{20}{c}}
1&0&0& \cdots &0
\end{array}} \right]}^T}}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = {{\left[ {\begin{array}{*{20}{c}}
0&h&{{h^2}}& \cdots &{{h^{n - 1}}}
\end{array}} \right]}^T}\;\;\;\;(*)}
\end{array}\]我們的目的是要找到 ${\bf f'}({\bf 0}) $ 使得
\[\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\| = 0\]故我們可將待求的導數寫做 ${\bf f'}({\bf 0}) := L = [l_1\;\;l_2\;\;...\;\; l_n]^T$ 其中 $l_1, l_2,...,l_n$ 為待定係數。則
\[\small{{\bf{f}}^\prime }\left( {\bf{0}} \right){\bf{h}} = {\left[ {\begin{array}{*{20}{c}}
{{l_1}}&{{l_2}}&{{l_3}}& \cdots &{{l_n}}
\end{array}} \right]^T}h = \left[ {\begin{array}{*{20}{c}}
{{l_1}h}\\
{{l_2}h}\\
 \vdots \\
{{l_n}h}
\end{array}} \right]\;\;\;\;({ \star })\]現在我們計算 (利用 FACT: 若 $A$ 為 linear operator，則 $||A {\bf x}|| \le ||A|| ||{\bf x}||$)
\[\begin{array}{l}
\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\| = \left\| {\left[ {\begin{array}{*{20}{c}}
0\\
h\\
{{h^2}}\\
 \vdots \\
{{h^{n - 1}}}
\end{array}} \right] - \left[ {\begin{array}{*{20}{c}}
{{l_1}h}\\
{{l_2}h}\\
{{l_3}h}\\
 \vdots \\
{{l_n}h}
\end{array}} \right]} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} =\left\| {\left[ {\begin{array}{*{20}{c}}
{ - {l_1}h}\\
{h - {l_2}h}\\
{{h^2} - {l_3}h}\\
 \vdots \\
{{h^{n - 1}} - {l_n}h}
\end{array}} \right]} \right\| \le \left\| {\left[ {\begin{array}{*{20}{c}}
{ - {l_1}}\\
{{\rm{1}} - {l_2}}\\
{h - {l_3}}\\
 \vdots \\
{{h^{n - {\rm{2}}}} - {l_n}}
\end{array}} \right]} \right\|\left\| h \right\|
\end{array}
\]故選 $l_2 = 1$ 其餘 $l_i = 0, \;\; \forall i =1,..,n $ 則我們可得
\[\small \mathop {\lim }\limits_{h \to 0} \frac{{\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\|}}{{\left\| h \right\|}} \le \mathop {\lim }\limits_{h \to 0} \frac{{\left\| {\left[ {\begin{array}{*{20}{c}}
{ - {l_1}}\\
{{\rm{1}} - {l_2}}\\
{h - {l_3}}\\
 \vdots \\
{{h^{n - {\rm{2}}}} - {l_n}}
\end{array}} \right]} \right\|\left\| h \right\|}}{{\left\| h \right\|}}{\rm{ = }}\mathop {\lim }\limits_{h \to 0} \left\| {\left[ {\begin{array}{*{20}{c}}
{\rm{0}}\\
{\rm{0}}\\
h\\
 \vdots \\
{{h^{n - {\rm{2}}}}}
\end{array}} \right]} \right\|{\rm{ = 0}}
\]故 ${\bf{f}}'\left( 0 \right){\rm{ = }}{\left[ {\begin{array}{*{20}{c}}
{\rm{0}}&{\rm{1}}&{\rm{0}}& \cdots &{\rm{0}}
\end{array}} \right]^T}$ $\square$


Exercise：
令 函數 $\Phi: C([0,1]) \to C([0,1])$，且
\[
\Phi(f) := \int_0^x f(t) dt
\]試求其 total derivative $D_f \Phi =?$


讀者也許會認為 上述導數存在並不保證為唯一，但事實上 導數確實具備 uniqueness ，現在我們可以著手處理 uniqueness 問題。
==============
Theorem: ${\bf{f}}:E \subset \mathbb{R}^n \to \mathbb{R}^m$，$E$ 為 open，且假設 ${\bf f}$ 滿足  \[\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - L \cdot {\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0
\] 且 $L=A_1$， $L= A_2$ 則 $A_1 = A_2$
==============
Proof:
我們要證明 $A_1 = A_2$，故 令 $B:= A_1 - A_2$ 只要證明 $B=0$即可 (注意! 此處 $0$ 表示 zero-operator ，故要證明對任意 ${\bf h} \in \mathbb{R}^n$，$B {\bf h} = 0$)。現在觀察
\[\begin{array}{l}
\left\| {B{\bf{h}}} \right\| = \left\| {\left( {{A_1} - {A_2}} \right){\bf{h}}} \right\| = \left\| {{A_1}{\bf{h}} - {A_2}{\bf{h}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left\| {{A_1}{\bf{h}} - \left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right] + \left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right] - {A_2}{\bf{h}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \left\| {{A_1}{\bf{h}} - \left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right]} \right\| + \left\| {\left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right] - {A_2}{\bf{h}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_1}{\bf{h}}} \right\| + \left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_2}{\bf{h}}} \right\|
\end{array}\]故可推知
\[\small \mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {B{\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} \le \underbrace {\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_1}{\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}}}_{ = 0} + \underbrace {\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_2}{\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}}}_{ = 0} = 0
\]故 $B$ 為 linear transformation，且注意到 對任意 ${\bf h} \neq {\bf 0}$ 我們有
\[
\frac{||B(t {\bf h})||}{||t {\bf h}||} \to 0 \text{ as $t \to 0$}
\]上述可推知對任意 ${\bf h} \in \mathbb{R}^n$， $B {\bf h} = 0$ 故 $B = 0$。 $\square$

[數學分析] 淺談有限維度空間的 Linear Transformation

這邊介紹 $\mathbb{R}^n$ 空間的 線性轉換 (Linear Transformation)；

但我們首先從無窮維任意向量空間開始定義：

======================
令 $X,Y$ 為任意 向量空間 (Vector Space)：
Definition: Linear Transformation
我們稱 映射 $A : X \to Y$ 為 線性轉換 (Linear Transformation) 若下列條件成立：對任意 ${\bf{x}},{\bf{y}} \in X$ 與 純量 $c \in \mathbb{R}$，
\[\begin{array}{l}
A\left( {{\bf{x}} + {\bf{y}}} \right) = A{\bf{x}} + A{\bf{y}}\\
A\left( {c{\bf{x}}} \right) = cA{\bf{x}}
\end{array}\]======================

Comment:

1. 注意到上述符號： $A ({\bf x}) $ 表示 $A$ 作用在 ${\bf x}$ 上!!  並非乘法! 一般而言，若 $A$ 為 linear ，$A({\bf x}) $ 會記為 $A \bf x$ (讀者須避免與乘法造成誤會!)

2. 考慮 Linear transformation $A: X \to Y$ ，若 $\left\{ {{{\bf{x}}_1},{{\bf{x}}_2},...,{{\bf{x}}_n}} \right\}$ 為 $X$ 空間的 基底 (basis)，則任意向量 ${\bf x} \in X$ 有唯一表示：
\[{\bf{x}} = \sum\limits_{i = 1}^n {{c_i}{{\bf{x}}_i}} \]且由 Linearity of $A$ 可知
\[A{\bf{x}} = A\left( {\sum\limits_{i = 1}^n {{c_i}{{\bf{x}}_i}} } \right) = \sum\limits_{i = 1}^n {{c_i}A{{\bf{x}}_i}} \]

======================
Definition: Linear Operator
Linear Transformation  $A : X \to X$ 稱為 線性算子 (Linear Operator) 。
======================

======================

Definition: Invertible Linear Operator
Linear Operator $A : X \to X$ 為 invertible 若下列條件成立：
1. $A$ 為 one-to-one；亦即 對任意 ${{\bf{x}}_1},{{\bf{x}}_2} \in X$, ${{\bf{x}}_1} \ne {{\bf{x}}_2} \Rightarrow A{{\bf{x}}_1} \ne A{{\bf{x}}_2}$
2. $A$ 為 onto；亦即 對任意 ${\bf y} \in X$ 存在 ${\bf x} \in X$ 使得 $A {\bf x} = {\bf x}$

若 Linear Operator $A$ 為 invertible 則其 inverse 我們記做 $A^{-1}$ on $X$ 且滿足
對任意 ${\bf x} \in X$，\[
A^{-1}A({\bf x}) = {\bf x}
\]======================

現在我們看幾個結果：
======================
Theorem 1: 考慮 Linear Operator $A: X \to X$ 且 $X$ 為 有限維度的 vector space。則 $A$ 為 one-to-one 若且為若 $A$ is onto。
======================

Proof: omitted

Comments/Notations:
1. 一般而言，我們定義 $L(X,Y)$ 為一個集合，其中的元素為所有由 $X$ 映射到 $Y$ 的 Linear transformation 所組成。

2. $L(X) := L(X,X)$

3. Addition and Scalar multiplication of Linear Operators
若 $A_1, A_2 \in L(X,Y)$ 且 $c_1, c_2 \in \mathbb{R}$，則對任意 ${\bf x} \in X$，我們可以定義
\[({c_1}{A_1} + {c_2}{A_2}){\bf{x}}: = {c_1} \cdot \underbrace {{A_1}{\bf{x}}}_{ \in L\left( {X,Y} \right)} + {c_2} \cdot \underbrace {{A_2}{\bf{x}}}_{ \in L\left( {X,Y} \right)}\]故 $({c_1}{A_1} + {c_2}{A_2}){\bf{x}} \in L\left( {X,Y} \right)$

4. Composition of Linear Operators:
若 $X,Y,Z$ 為 Vector Spaces 且若 $A \in L(X,Y)$ 與 $B \in L(Y,Z)$ 則我們可以定義 composition of $A$ and $B$ : 對任意 ${\bf x} \in X$
\[
(B \circ A){\bf x} = B(A{\bf x})
\]且 $B \circ A \in L(X,Z)$

5. Operator Norms
考慮 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$ 則我們定義 Operator norm $||A||_L$ 如下：對任意 ${\bf x} \in X$，
\[
||A||_L:=\sup_{||x|| =1} ||A {\bf x}||
\]
且上述 Operator norm 滿足 $||A {\bf x}|| \le ||A||_L ||{\bf x}||$ 對任意 ${\bf x} \in X$。(在不失一般性之下，我們通常將 operator norm $||A||_L$ 直接記做 $||A||$。)
---


現在我們看以下幾個關於 operator norm 的衍生結果：
=================
FACT 1: 若 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$ 則 $||A|| < \infty$ 且 $A$ 為 uniformly continuous mapping。
=================

Proof:
令 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$，我們首先證明  $||A|| < \infty$ ；由定義可知
\[||A|| = ||A|{|_L}: = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| \ \ \ \ (*)
\]現在令 $\left\{ {{{\bf{e}}_1},...,{{\bf{e}}_n}} \right\}$ 為 $\mathbb{R}^n$ 空間的 standard basis，則可知任意 ${\bf x}$ 可用上述的 standard basis 做唯一表示，故我們現在取 ${\bf x}$ 滿足 $||{\bf x}|| =1$ ；亦即我們可寫
\[{\bf{x}}: = \sum\limits_{i = 1}^n {{c_i}{{\bf{e}}_i}}
\]且 $|c_i| \le 1\; \forall i=1,...,n$ 故 $(*)$ 變成
\[\begin{array}{*{20}{l}}
{||A|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| = \mathop { }||A\sum\limits_{i = 1}^n {{c_i}{{\bf{e}}_i}} ||}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = ||\sum\limits_{i = 1}^n {{c_i}A{{\bf{e}}_i}} || \le \sum\limits_{i = 1}^n {\left\| {A{{\bf{e}}_i}} \right\|}  < \infty }
\end{array}\]
接著我們證明 $A$ 為 uniformly continuous，給定 $\varepsilon>0$ 我們要證明 存在 $\delta>0$ 使得 對任意 ${\bf u,v} \in \mathbb{R}^n$ ，
\[||{\bf{u}} - {\bf{v}}|| < \delta  \Rightarrow ||A{\bf{u}} - A{\bf{v}}|| < \varepsilon \]
如果我們選 $\delta < \varepsilon/||A||$ 則我們有
\[||A{\bf{u}} - A{\bf{v}}|| = ||A\left( {{\bf{u}} - {\bf{v}}} \right)|| \le \underbrace {||A||}_{ < \infty } \cdot \underbrace {||{\bf{u}} - {\bf{v}}||}_{ < \frac{\varepsilon }{{||A||}}} < \varepsilon \]若 $||{\bf{u}} - {\bf{v}}|| < \delta $ 成立。亦即 $A$ 為 uniformly continuous。$\square$



==================
FACT 2: 若 $A,B \in L(\mathbb{R}^n, \mathbb{R}^m)$ 且 $c$ 為 純量，則 operator norm 滿足
\[
||A+B|| \le ||A|| + ||B||;\;\;\; ||c A|| = |c| ||A||
\] =================
Proof:
首先證明 operator norm 滿足 三角不等式 $||A+B|| \le ||A|| + ||B||$；對任意 ${\bf x} \in \mathbb{R}^n$，觀察
\[\begin{array}{l}
||A + B|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||\left( {A + B} \right){\bf{x}}|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}} + B{\bf{x}}||\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| + \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||B{\bf{x}}||\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le ||A|| + ||B||
\end{array}\]
接著我們證明 $ ||c A|| = |c|\cdot ||A||$；對任意 ${\bf x} \in \mathbb{R}^n$，觀察
\[\left| {\left| {c \cdot A} \right|} \right| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||cA{\bf{x}}|| = \left| c \right|\mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| = \left| c \right|\left| {\left| A \right|} \right| \ \ \ \ \square
\]

==================
FACT 3: 考慮 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$ 且 $B \in L(\mathbb{R}^m, \mathbb{R}^k)$，則
\[
||B \circ A|| \le ||B|| ||A||
\] =================
Proof: 
\[\begin{array}{l}
|B \circ A|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||B\left( {A{\bf{x}}} \right)|| \le \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||B||||A{\bf{x}}||\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = ||B|| \cdot \underbrace {\mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}||}_{ = ||A||} = ||B|| \cdot ||A||
\end{array} \ \ \ \ \square
\]


==================
FACT 4:  $L(\mathbb{R}^n, \mathbb{R}^m)$ 配備 norm $||A-B||$為 metric space。其中 $A,B \in L(\mathbb{R}^n, \mathbb{R}^m)$
 =================
Proof: omitted.


由於 FACT 4 ，我們知道 $L(\mathbb{R}^n, \mathbb{R}^m)$ 為 metric space，故 topological 架構 (e.g., open, close, compactness,...)可以再其上被討論。

======================
Theorem 2: 令 $\Omega:=L(\mathbb{R}^n)$ 為 invertible linear operators 的集合，則
(a) 若 $A \in \Omega, B \in L(\mathbb{R}^n)$ 且 $||B-A|| \cdot ||A^{-1}|| <1$ 則 $B \in \Omega$
(b) $\Omega \subset L(\mathbb{R}^n)$ 為 open 且 映射 $A \to A^{-1}$ 為 continuous on $\Omega$
======================

Proof:
要證 $B \in \Omega$，亦即 $B$ 為 invertible linear operators。 (由前述 Theorem 1 我們只需證 $B$ 為 one-to-one 即可。) 現在令 $||A^{-1}|| := 1/\alpha$ 且 $||B-A|| := \beta$ 則 由 假設可知 $||B-A|| \cdot ||A^{-1}|| <1 \Rightarrow \beta < \alpha$。

現在觀察：對任意 ${\bf x} \in \mathbb{R}^n$ 我們有
\[\alpha |{\bf{x}}| = \alpha |{A^{ - 1}}A{\bf{x}}| \le \alpha \left\| {{A^{ - 1}}} \right\||A{\bf{x}}| = |A{\bf{x}}|
\]且
\[\begin{array}{l}
|A{\bf{x}}| = |A{\bf{x}} - B{\bf{x}} + B{\bf{x}}|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le |\left( {A - B} \right){\bf{x}}| + |B{\bf{x}}|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \left\| {A - B} \right\||{\bf{x}}| + |B{\bf{x}}|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \beta |{\bf{x}}| + |B{\bf{x}}|
\end{array}\]將上述結果合併可推得
\[\begin{array}{l}
\left\{ \begin{array}{l}
\alpha |{\bf{x}}| \le |A{\bf{x}}|\\
|A{\bf{x}}| \le \beta |{\bf{x}}| + |B{\bf{x}}|
\end{array} \right.\\
 \Rightarrow \alpha |{\bf{x}}| \le \beta |{\bf{x}}| + |B{\bf{x}}|\\
 \Rightarrow \left( {\alpha  - \beta } \right)|{\bf{x}}| \le |B{\bf{x}}| \ \ \ \ \ (*)
\end{array}
\]注意到由於 $\beta < \alpha$ 故可知若 ${\bf x} \neq 0$ 則 $B{\bf{x}} \ne 0$ 故 $B$ 為 one-to-one。且因為 $\mathbb{R}^n$ 為 finite-dimensional vector space，由 前述 Theorem 可知 $B \in \Omega$

接著我們證明 $(b)$

首先證明 $\Omega$ 為 open，亦即給定 $A \in \Omega$ 存在 $\delta >0$ 使得 open ball $B_\delta(A) \subset \Omega$

觀察 open ball ${B_\delta }(A): = \left\{ {B:\left\| {A - B} \right\| < \delta } \right\}$ 故若我們選 $\delta := \alpha$ 亦即 選 $\delta := 1/\left\| {{A^{ - 1}}} \right\|$ 即可。

我們接著證明 映射 $A \to A^{-1}$ 為 continuous on $\Omega$
觀察
\[\begin{array}{l}
\left\| {{B^{ - 1}} - {A^{ - 1}}} \right\| = \left\| {{B^{ - 1}}\left( {A - B} \right){A^{ - 1}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \left\| {{B^{ - 1}}} \right\|\left\| {A - B} \right\|\left\| {{A^{ - 1}}} \right\| \le \frac{{\left\| {{B^{ - 1}}} \right\|\beta }}{\alpha }  \ \ \ \ (\star)
\end{array}\]再者我們回憶 $(*): \left( {\alpha  - \beta } \right)|{\bf{x}}| \le |B{\bf{x}}|$，現在若取 ${\bf x} := B^{-1}{\bf y}$ 可得
\[\begin{array}{l}
\left( {\alpha  - \beta } \right)|{\bf{x}}| \le |B{\bf{x}}|\\
 \Rightarrow \left( {\alpha  - \beta } \right)|{B^{ - 1}}{\bf{y}}| \le |B{B^{ - 1}}{\bf{y}}|\\
 \Rightarrow |{B^{ - 1}}{\bf{y}}| \le \frac{1}{{\alpha  - \beta }}|{\bf{y}}|\\
 \Rightarrow \left\| {{B^{ - 1}}} \right\| \le \frac{1}{{\alpha  - \beta }}
\end{array}\]故 $(\star)$ 變成
\[\begin{array}{l}
\left\| {{B^{ - 1}} - {A^{ - 1}}} \right\| \le \frac{{\left\| {{B^{ - 1}}} \right\|\beta }}{\alpha }\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \le \frac{\beta }{{\left( {\alpha  - \beta } \right)\alpha }}
\end{array}\]現在若我們讓 $||A-B|| \to 0$ 亦即  $||A - B|| \to 0 \Rightarrow \beta  \to 0$ 則
\[
||A^{-1} - B^{-1}|| \to 0
\]亦即映射 $A \to A^{-1}$ 為 continuous on $\Omega$


ref: W. Rudin, Principle of Mathematical Analysis, 3rd Edition.