[數學分析] 淺談有限維度空間的 Linear Transformation

這邊介紹 $\mathbb{R}^n$ 空間的 線性轉換 (Linear Transformation)；

但我們首先從無窮維任意向量空間開始定義：

======================
令 $X,Y$ 為任意 向量空間 (Vector Space)：
Definition: Linear Transformation
我們稱 映射 $A : X \to Y$ 為 線性轉換 (Linear Transformation) 若下列條件成立：對任意 ${\bf{x}},{\bf{y}} \in X$ 與 純量 $c \in \mathbb{R}$，
\[\begin{array}{l}
A\left( {{\bf{x}} + {\bf{y}}} \right) = A{\bf{x}} + A{\bf{y}}\\
A\left( {c{\bf{x}}} \right) = cA{\bf{x}}
\end{array}\]======================

Comment:

1. 注意到上述符號： $A ({\bf x}) $ 表示 $A$ 作用在 ${\bf x}$ 上!!  並非乘法! 一般而言，若 $A$ 為 linear ，$A({\bf x}) $ 會記為 $A \bf x$ (讀者須避免與乘法造成誤會!)

2. 考慮 Linear transformation $A: X \to Y$ ，若 $\left\{ {{{\bf{x}}_1},{{\bf{x}}_2},...,{{\bf{x}}_n}} \right\}$ 為 $X$ 空間的 基底 (basis)，則任意向量 ${\bf x} \in X$ 有唯一表示：
\[{\bf{x}} = \sum\limits_{i = 1}^n {{c_i}{{\bf{x}}_i}} \]且由 Linearity of $A$ 可知
\[A{\bf{x}} = A\left( {\sum\limits_{i = 1}^n {{c_i}{{\bf{x}}_i}} } \right) = \sum\limits_{i = 1}^n {{c_i}A{{\bf{x}}_i}} \]

======================
Definition: Linear Operator
Linear Transformation  $A : X \to X$ 稱為 線性算子 (Linear Operator) 。
======================

======================

Definition: Invertible Linear Operator
Linear Operator $A : X \to X$ 為 invertible 若下列條件成立：
1. $A$ 為 one-to-one；亦即 對任意 ${{\bf{x}}_1},{{\bf{x}}_2} \in X$, ${{\bf{x}}_1} \ne {{\bf{x}}_2} \Rightarrow A{{\bf{x}}_1} \ne A{{\bf{x}}_2}$
2. $A$ 為 onto；亦即 對任意 ${\bf y} \in X$ 存在 ${\bf x} \in X$ 使得 $A {\bf x} = {\bf x}$

若 Linear Operator $A$ 為 invertible 則其 inverse 我們記做 $A^{-1}$ on $X$ 且滿足
對任意 ${\bf x} \in X$，\[
A^{-1}A({\bf x}) = {\bf x}
\]======================

現在我們看幾個結果：
======================
Theorem 1: 考慮 Linear Operator $A: X \to X$ 且 $X$ 為 有限維度的 vector space。則 $A$ 為 one-to-one 若且為若 $A$ is onto。
======================

Proof: omitted

Comments/Notations:
1. 一般而言，我們定義 $L(X,Y)$ 為一個集合，其中的元素為所有由 $X$ 映射到 $Y$ 的 Linear transformation 所組成。

2. $L(X) := L(X,X)$

3. Addition and Scalar multiplication of Linear Operators
若 $A_1, A_2 \in L(X,Y)$ 且 $c_1, c_2 \in \mathbb{R}$，則對任意 ${\bf x} \in X$，我們可以定義
\[({c_1}{A_1} + {c_2}{A_2}){\bf{x}}: = {c_1} \cdot \underbrace {{A_1}{\bf{x}}}_{ \in L\left( {X,Y} \right)} + {c_2} \cdot \underbrace {{A_2}{\bf{x}}}_{ \in L\left( {X,Y} \right)}\]故 $({c_1}{A_1} + {c_2}{A_2}){\bf{x}} \in L\left( {X,Y} \right)$

4. Composition of Linear Operators:
若 $X,Y,Z$ 為 Vector Spaces 且若 $A \in L(X,Y)$ 與 $B \in L(Y,Z)$ 則我們可以定義 composition of $A$ and $B$ : 對任意 ${\bf x} \in X$
\[
(B \circ A){\bf x} = B(A{\bf x})
\]且 $B \circ A \in L(X,Z)$

5. Operator Norms
考慮 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$ 則我們定義 Operator norm $||A||_L$ 如下：對任意 ${\bf x} \in X$，
\[
||A||_L:=\sup_{||x|| =1} ||A {\bf x}||
\]
且上述 Operator norm 滿足 $||A {\bf x}|| \le ||A||_L ||{\bf x}||$ 對任意 ${\bf x} \in X$。(在不失一般性之下，我們通常將 operator norm $||A||_L$ 直接記做 $||A||$。)
---


現在我們看以下幾個關於 operator norm 的衍生結果：
=================
FACT 1: 若 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$ 則 $||A|| < \infty$ 且 $A$ 為 uniformly continuous mapping。
=================

Proof:
令 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$，我們首先證明  $||A|| < \infty$ ；由定義可知
\[||A|| = ||A|{|_L}: = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| \ \ \ \ (*)
\]現在令 $\left\{ {{{\bf{e}}_1},...,{{\bf{e}}_n}} \right\}$ 為 $\mathbb{R}^n$ 空間的 standard basis，則可知任意 ${\bf x}$ 可用上述的 standard basis 做唯一表示，故我們現在取 ${\bf x}$ 滿足 $||{\bf x}|| =1$ ；亦即我們可寫
\[{\bf{x}}: = \sum\limits_{i = 1}^n {{c_i}{{\bf{e}}_i}}
\]且 $|c_i| \le 1\; \forall i=1,...,n$ 故 $(*)$ 變成
\[\begin{array}{*{20}{l}}
{||A|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| = \mathop { }||A\sum\limits_{i = 1}^n {{c_i}{{\bf{e}}_i}} ||}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = ||\sum\limits_{i = 1}^n {{c_i}A{{\bf{e}}_i}} || \le \sum\limits_{i = 1}^n {\left\| {A{{\bf{e}}_i}} \right\|}  < \infty }
\end{array}\]
接著我們證明 $A$ 為 uniformly continuous，給定 $\varepsilon>0$ 我們要證明 存在 $\delta>0$ 使得 對任意 ${\bf u,v} \in \mathbb{R}^n$ ，
\[||{\bf{u}} - {\bf{v}}|| < \delta  \Rightarrow ||A{\bf{u}} - A{\bf{v}}|| < \varepsilon \]
如果我們選 $\delta < \varepsilon/||A||$ 則我們有
\[||A{\bf{u}} - A{\bf{v}}|| = ||A\left( {{\bf{u}} - {\bf{v}}} \right)|| \le \underbrace {||A||}_{ < \infty } \cdot \underbrace {||{\bf{u}} - {\bf{v}}||}_{ < \frac{\varepsilon }{{||A||}}} < \varepsilon \]若 $||{\bf{u}} - {\bf{v}}|| < \delta $ 成立。亦即 $A$ 為 uniformly continuous。$\square$



==================
FACT 2: 若 $A,B \in L(\mathbb{R}^n, \mathbb{R}^m)$ 且 $c$ 為 純量，則 operator norm 滿足
\[
||A+B|| \le ||A|| + ||B||;\;\;\; ||c A|| = |c| ||A||
\] =================
Proof:
首先證明 operator norm 滿足 三角不等式 $||A+B|| \le ||A|| + ||B||$；對任意 ${\bf x} \in \mathbb{R}^n$，觀察
\[\begin{array}{l}
||A + B|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||\left( {A + B} \right){\bf{x}}|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}} + B{\bf{x}}||\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| + \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||B{\bf{x}}||\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le ||A|| + ||B||
\end{array}\]
接著我們證明 $ ||c A|| = |c|\cdot ||A||$；對任意 ${\bf x} \in \mathbb{R}^n$，觀察
\[\left| {\left| {c \cdot A} \right|} \right| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||cA{\bf{x}}|| = \left| c \right|\mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| = \left| c \right|\left| {\left| A \right|} \right| \ \ \ \ \square
\]

==================
FACT 3: 考慮 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$ 且 $B \in L(\mathbb{R}^m, \mathbb{R}^k)$，則
\[
||B \circ A|| \le ||B|| ||A||
\] =================
Proof: 
\[\begin{array}{l}
|B \circ A|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||B\left( {A{\bf{x}}} \right)|| \le \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||B||||A{\bf{x}}||\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = ||B|| \cdot \underbrace {\mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}||}_{ = ||A||} = ||B|| \cdot ||A||
\end{array} \ \ \ \ \square
\]


==================
FACT 4:  $L(\mathbb{R}^n, \mathbb{R}^m)$ 配備 norm $||A-B||$為 metric space。其中 $A,B \in L(\mathbb{R}^n, \mathbb{R}^m)$
 =================
Proof: omitted.


由於 FACT 4 ，我們知道 $L(\mathbb{R}^n, \mathbb{R}^m)$ 為 metric space，故 topological 架構 (e.g., open, close, compactness,...)可以再其上被討論。

======================
Theorem 2: 令 $\Omega:=L(\mathbb{R}^n)$ 為 invertible linear operators 的集合，則
(a) 若 $A \in \Omega, B \in L(\mathbb{R}^n)$ 且 $||B-A|| \cdot ||A^{-1}|| <1$ 則 $B \in \Omega$
(b) $\Omega \subset L(\mathbb{R}^n)$ 為 open 且 映射 $A \to A^{-1}$ 為 continuous on $\Omega$
======================

Proof:
要證 $B \in \Omega$，亦即 $B$ 為 invertible linear operators。 (由前述 Theorem 1 我們只需證 $B$ 為 one-to-one 即可。) 現在令 $||A^{-1}|| := 1/\alpha$ 且 $||B-A|| := \beta$ 則 由 假設可知 $||B-A|| \cdot ||A^{-1}|| <1 \Rightarrow \beta < \alpha$。

現在觀察：對任意 ${\bf x} \in \mathbb{R}^n$ 我們有
\[\alpha |{\bf{x}}| = \alpha |{A^{ - 1}}A{\bf{x}}| \le \alpha \left\| {{A^{ - 1}}} \right\||A{\bf{x}}| = |A{\bf{x}}|
\]且
\[\begin{array}{l}
|A{\bf{x}}| = |A{\bf{x}} - B{\bf{x}} + B{\bf{x}}|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le |\left( {A - B} \right){\bf{x}}| + |B{\bf{x}}|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \left\| {A - B} \right\||{\bf{x}}| + |B{\bf{x}}|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \beta |{\bf{x}}| + |B{\bf{x}}|
\end{array}\]將上述結果合併可推得
\[\begin{array}{l}
\left\{ \begin{array}{l}
\alpha |{\bf{x}}| \le |A{\bf{x}}|\\
|A{\bf{x}}| \le \beta |{\bf{x}}| + |B{\bf{x}}|
\end{array} \right.\\
 \Rightarrow \alpha |{\bf{x}}| \le \beta |{\bf{x}}| + |B{\bf{x}}|\\
 \Rightarrow \left( {\alpha  - \beta } \right)|{\bf{x}}| \le |B{\bf{x}}| \ \ \ \ \ (*)
\end{array}
\]注意到由於 $\beta < \alpha$ 故可知若 ${\bf x} \neq 0$ 則 $B{\bf{x}} \ne 0$ 故 $B$ 為 one-to-one。且因為 $\mathbb{R}^n$ 為 finite-dimensional vector space，由 前述 Theorem 可知 $B \in \Omega$

接著我們證明 $(b)$

首先證明 $\Omega$ 為 open，亦即給定 $A \in \Omega$ 存在 $\delta >0$ 使得 open ball $B_\delta(A) \subset \Omega$

觀察 open ball ${B_\delta }(A): = \left\{ {B:\left\| {A - B} \right\| < \delta } \right\}$ 故若我們選 $\delta := \alpha$ 亦即 選 $\delta := 1/\left\| {{A^{ - 1}}} \right\|$ 即可。

我們接著證明 映射 $A \to A^{-1}$ 為 continuous on $\Omega$
觀察
\[\begin{array}{l}
\left\| {{B^{ - 1}} - {A^{ - 1}}} \right\| = \left\| {{B^{ - 1}}\left( {A - B} \right){A^{ - 1}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \left\| {{B^{ - 1}}} \right\|\left\| {A - B} \right\|\left\| {{A^{ - 1}}} \right\| \le \frac{{\left\| {{B^{ - 1}}} \right\|\beta }}{\alpha }  \ \ \ \ (\star)
\end{array}\]再者我們回憶 $(*): \left( {\alpha  - \beta } \right)|{\bf{x}}| \le |B{\bf{x}}|$，現在若取 ${\bf x} := B^{-1}{\bf y}$ 可得
\[\begin{array}{l}
\left( {\alpha  - \beta } \right)|{\bf{x}}| \le |B{\bf{x}}|\\
 \Rightarrow \left( {\alpha  - \beta } \right)|{B^{ - 1}}{\bf{y}}| \le |B{B^{ - 1}}{\bf{y}}|\\
 \Rightarrow |{B^{ - 1}}{\bf{y}}| \le \frac{1}{{\alpha  - \beta }}|{\bf{y}}|\\
 \Rightarrow \left\| {{B^{ - 1}}} \right\| \le \frac{1}{{\alpha  - \beta }}
\end{array}\]故 $(\star)$ 變成
\[\begin{array}{l}
\left\| {{B^{ - 1}} - {A^{ - 1}}} \right\| \le \frac{{\left\| {{B^{ - 1}}} \right\|\beta }}{\alpha }\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \le \frac{\beta }{{\left( {\alpha  - \beta } \right)\alpha }}
\end{array}\]現在若我們讓 $||A-B|| \to 0$ 亦即  $||A - B|| \to 0 \Rightarrow \beta  \to 0$ 則
\[
||A^{-1} - B^{-1}|| \to 0
\]亦即映射 $A \to A^{-1}$ 為 continuous on $\Omega$


ref: W. Rudin, Principle of Mathematical Analysis, 3rd Edition.