[數學分析] 淺談有限維度空間的 Linear Transformation

這邊介紹 $\mathbb{R}^n$ 空間的 線性轉換 (Linear Transformation)；

但我們首先從無窮維任意向量空間開始定義：

======================
令 $X,Y$ 為任意 向量空間 (Vector Space)：
Definition: Linear Transformation
我們稱 映射 $A : X \to Y$ 為 線性轉換 (Linear Transformation) 若下列條件成立：對任意 ${\bf{x}},{\bf{y}} \in X$ 與 純量 $c \in \mathbb{R}$，
$$\begin{array}{l} A\left( {{\bf{x}} + {\bf{y}}} \right) = A{\bf{x}} + A{\bf{y}}\\ A\left( {c{\bf{x}}} \right) = cA{\bf{x}} \end{array}$$ ======================

Comment:

1. 注意到上述符號： $A ({\bf x})$ 表示 $A$ 作用在 ${\bf x}$ 上!!  並非乘法! 一般而言，若 $A$ 為 linear ，$A({\bf x})$ 會記為 $A \bf x$ (讀者須避免與乘法造成誤會!)

2. 考慮 Linear transformation $A: X \to Y$ ，若 $\left\{ {{{\bf{x}}_1},{{\bf{x}}_2},...,{{\bf{x}}_n}} \right\}$ 為 $X$ 空間的 基底 (basis)，則任意向量 ${\bf x} \in X$ 有唯一表示：
$${\bf{x}} = \sum\limits_{i = 1}^n {{c_i}{{\bf{x}}_i}}$$ 且由 Linearity of $A$ 可知
$$A{\bf{x}} = A\left( {\sum\limits_{i = 1}^n {{c_i}{{\bf{x}}_i}} } \right) = \sum\limits_{i = 1}^n {{c_i}A{{\bf{x}}_i}}$$

======================
Definition: Linear Operator
Linear Transformation  $A : X \to X$ 稱為 線性算子 (Linear Operator) 。
======================

======================

Definition: Invertible Linear Operator
Linear Operator $A : X \to X$ 為 invertible 若下列條件成立：
1. $A$ 為 one-to-one；亦即 對任意 ${{\bf{x}}_1},{{\bf{x}}_2} \in X$, ${{\bf{x}}_1} \ne {{\bf{x}}_2} \Rightarrow A{{\bf{x}}_1} \ne A{{\bf{x}}_2}$
2. $A$ 為 onto；亦即 對任意 ${\bf y} \in X$ 存在 ${\bf x} \in X$ 使得 $A {\bf x} = {\bf x}$

若 Linear Operator $A$ 為 invertible 則其 inverse 我們記做 $A^{-1}$ on $X$ 且滿足
對任意 ${\bf x} \in X$， $$A^{-1}A({\bf x}) = {\bf x}$$ ======================

現在我們看幾個結果：
======================
Theorem 1: 考慮 Linear Operator $A: X \to X$ 且 $X$ 為 有限維度的 vector space。則 $A$ 為 one-to-one 若且為若 $A$ is onto。
======================

Proof: omitted

Comments/Notations:
1. 一般而言，我們定義 $L(X,Y)$ 為一個集合，其中的元素為所有由 $X$ 映射到 $Y$ 的 Linear transformation 所組成。

2. $L(X) := L(X,X)$

3. Addition and Scalar multiplication of Linear Operators
若 $A_1, A_2 \in L(X,Y)$ 且 $c_1, c_2 \in \mathbb{R}$，則對任意 ${\bf x} \in X$，我們可以定義
$$({c_1}{A_1} + {c_2}{A_2}){\bf{x}}: = {c_1} \cdot \underbrace {{A_1}{\bf{x}}}_{ \in L\left( {X,Y} \right)} + {c_2} \cdot \underbrace {{A_2}{\bf{x}}}_{ \in L\left( {X,Y} \right)}$$ 故 $({c_1}{A_1} + {c_2}{A_2}){\bf{x}} \in L\left( {X,Y} \right)$

4. Composition of Linear Operators:
若 $X,Y,Z$ 為 Vector Spaces 且若 $A \in L(X,Y)$ 與 $B \in L(Y,Z)$ 則我們可以定義 composition of $A$ and $B$ : 對任意 ${\bf x} \in X$
$$(B \circ A){\bf x} = B(A{\bf x})$$ 且 $B \circ A \in L(X,Z)$

5. Operator Norms
考慮 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$ 則我們定義 Operator norm $||A||_L$ 如下：對任意 ${\bf x} \in X$，
$$||A||_L:=\sup_{||x|| =1} ||A {\bf x}||$$
且上述 Operator norm 滿足 $||A {\bf x}|| \le ||A||_L ||{\bf x}||$ 對任意 ${\bf x} \in X$。(在不失一般性之下，我們通常將 operator norm $||A||_L$ 直接記做 $||A||$。)
---


現在我們看以下幾個關於 operator norm 的衍生結果：
=================
FACT 1: 若 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$ 則 $||A|| < \infty$ 且 $A$ 為 uniformly continuous mapping。
=================

Proof:
令 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$，我們首先證明  $||A|| < \infty$ ；由定義可知
$$||A|| = ||A|{|_L}: = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| \ \ \ \ (*)$$ 現在令 $\left\{ {{{\bf{e}}_1},...,{{\bf{e}}_n}} \right\}$ 為 $\mathbb{R}^n$ 空間的 standard basis，則可知任意 ${\bf x}$ 可用上述的 standard basis 做唯一表示，故我們現在取 ${\bf x}$ 滿足 $||{\bf x}|| =1$ ；亦即我們可寫
$${\bf{x}}: = \sum\limits_{i = 1}^n {{c_i}{{\bf{e}}_i}}$$ 且 $|c_i| \le 1\; \forall i=1,...,n$ 故 $(*)$ 變成
$$\begin{array}{*{20}{l}} {||A|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| = \mathop { }||A\sum\limits_{i = 1}^n {{c_i}{{\bf{e}}_i}} ||}\\ {\begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} = ||\sum\limits_{i = 1}^n {{c_i}A{{\bf{e}}_i}} || \le \sum\limits_{i = 1}^n {\left\| {A{{\bf{e}}_i}} \right\|}  < \infty } \end{array}$$
接著我們證明 $A$ 為 uniformly continuous，給定 $\varepsilon>0$ 我們要證明 存在 $\delta>0$ 使得 對任意 ${\bf u,v} \in \mathbb{R}^n$ ，
$$||{\bf{u}} - {\bf{v}}|| < \delta  \Rightarrow ||A{\bf{u}} - A{\bf{v}}|| < \varepsilon$$
如果我們選 $\delta < \varepsilon/||A||$ 則我們有
$$||A{\bf{u}} - A{\bf{v}}|| = ||A\left( {{\bf{u}} - {\bf{v}}} \right)|| \le \underbrace {||A||}_{ < \infty } \cdot \underbrace {||{\bf{u}} - {\bf{v}}||}_{ < \frac{\varepsilon }{{||A||}}} < \varepsilon$$ 若 $||{\bf{u}} - {\bf{v}}|| < \delta$ 成立。亦即 $A$ 為 uniformly continuous。$\square$



==================
FACT 2: 若 $A,B \in L(\mathbb{R}^n, \mathbb{R}^m)$ 且 $c$ 為 純量，則 operator norm 滿足
$$||A+B|| \le ||A|| + ||B||;\;\;\; ||c A|| = |c| ||A||$$ =================
Proof:
首先證明 operator norm 滿足 三角不等式 $||A+B|| \le ||A|| + ||B||$；對任意 ${\bf x} \in \mathbb{R}^n$，觀察
$$\begin{array}{l} ||A + B|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||\left( {A + B} \right){\bf{x}}|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}} + B{\bf{x}}||\\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} \le \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| + \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||B{\bf{x}}||\\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} \le ||A|| + ||B|| \end{array}$$
接著我們證明 $||c A|| = |c|\cdot ||A||$；對任意 ${\bf x} \in \mathbb{R}^n$，觀察
$$\left| {\left| {c \cdot A} \right|} \right| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||cA{\bf{x}}|| = \left| c \right|\mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}|| = \left| c \right|\left| {\left| A \right|} \right| \ \ \ \ \square$$

==================
FACT 3: 考慮 $A \in L(\mathbb{R}^n, \mathbb{R}^m)$ 且 $B \in L(\mathbb{R}^m, \mathbb{R}^k)$，則
$$||B \circ A|| \le ||B|| ||A||$$ =================
Proof: 
$$\begin{array}{l} |B \circ A|| = \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||B\left( {A{\bf{x}}} \right)|| \le \mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||B||||A{\bf{x}}||\\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} = ||B|| \cdot \underbrace {\mathop {\sup }\limits_{||{\bf{x}}|| = 1} ||A{\bf{x}}||}_{ = ||A||} = ||B|| \cdot ||A|| \end{array} \ \ \ \ \square$$


==================
FACT 4:  $L(\mathbb{R}^n, \mathbb{R}^m)$ 配備 norm $||A-B||$為 metric space。其中 $A,B \in L(\mathbb{R}^n, \mathbb{R}^m)$
 =================
Proof: omitted.


由於 FACT 4 ，我們知道 $L(\mathbb{R}^n, \mathbb{R}^m)$ 為 metric space，故 topological 架構 (e.g., open, close, compactness,...)可以再其上被討論。

======================
Theorem 2: 令 $\Omega:=L(\mathbb{R}^n)$ 為 invertible linear operators 的集合，則
(a) 若 $A \in \Omega, B \in L(\mathbb{R}^n)$ 且 $||B-A|| \cdot ||A^{-1}|| <1$ 則 $B \in \Omega$
(b) $\Omega \subset L(\mathbb{R}^n)$ 為 open 且 映射 $A \to A^{-1}$ 為 continuous on $\Omega$
======================

Proof:
要證 $B \in \Omega$，亦即 $B$ 為 invertible linear operators。 (由前述 Theorem 1 我們只需證 $B$ 為 one-to-one 即可。) 現在令 $||A^{-1}|| := 1/\alpha$ 且 $||B-A|| := \beta$ 則 由 假設可知 $||B-A|| \cdot ||A^{-1}|| <1 \Rightarrow \beta < \alpha$。

現在觀察：對任意 ${\bf x} \in \mathbb{R}^n$ 我們有
$$\alpha |{\bf{x}}| = \alpha |{A^{ - 1}}A{\bf{x}}| \le \alpha \left\| {{A^{ - 1}}} \right\||A{\bf{x}}| = |A{\bf{x}}|$$ 且
$$\begin{array}{l} |A{\bf{x}}| = |A{\bf{x}} - B{\bf{x}} + B{\bf{x}}|\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \le |\left( {A - B} \right){\bf{x}}| + |B{\bf{x}}|\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \le \left\| {A - B} \right\||{\bf{x}}| + |B{\bf{x}}|\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} = \beta |{\bf{x}}| + |B{\bf{x}}| \end{array}$$ 將上述結果合併可推得
$$\begin{array}{l} \left\{ \begin{array}{l} \alpha |{\bf{x}}| \le |A{\bf{x}}|\\ |A{\bf{x}}| \le \beta |{\bf{x}}| + |B{\bf{x}}| \end{array} \right.\\  \Rightarrow \alpha |{\bf{x}}| \le \beta |{\bf{x}}| + |B{\bf{x}}|\\  \Rightarrow \left( {\alpha  - \beta } \right)|{\bf{x}}| \le |B{\bf{x}}| \ \ \ \ \ (*) \end{array}$$ 注意到由於 $\beta < \alpha$ 故可知若 ${\bf x} \neq 0$ 則 $B{\bf{x}} \ne 0$ 故 $B$ 為 one-to-one。且因為 $\mathbb{R}^n$ 為 finite-dimensional vector space，由 前述 Theorem 可知 $B \in \Omega$

接著我們證明 $(b)$

首先證明 $\Omega$ 為 open，亦即給定 $A \in \Omega$ 存在 $\delta >0$ 使得 open ball $B_\delta(A) \subset \Omega$

觀察 open ball ${B_\delta }(A): = \left\{ {B:\left\| {A - B} \right\| < \delta } \right\}$ 故若我們選 $\delta := \alpha$ 亦即 選 $\delta := 1/\left\| {{A^{ - 1}}} \right\|$ 即可。

我們接著證明 映射 $A \to A^{-1}$ 為 continuous on $\Omega$
觀察
$$\begin{array}{l} \left\| {{B^{ - 1}} - {A^{ - 1}}} \right\| = \left\| {{B^{ - 1}}\left( {A - B} \right){A^{ - 1}}} \right\|\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \le \left\| {{B^{ - 1}}} \right\|\left\| {A - B} \right\|\left\| {{A^{ - 1}}} \right\| \le \frac{{\left\| {{B^{ - 1}}} \right\|\beta }}{\alpha }  \ \ \ \ (\star) \end{array}$$ 再者我們回憶 $(*): \left( {\alpha  - \beta } \right)|{\bf{x}}| \le |B{\bf{x}}|$，現在若取 ${\bf x} := B^{-1}{\bf y}$ 可得
$$\begin{array}{l} \left( {\alpha  - \beta } \right)|{\bf{x}}| \le |B{\bf{x}}|\\  \Rightarrow \left( {\alpha  - \beta } \right)|{B^{ - 1}}{\bf{y}}| \le |B{B^{ - 1}}{\bf{y}}|\\  \Rightarrow |{B^{ - 1}}{\bf{y}}| \le \frac{1}{{\alpha  - \beta }}|{\bf{y}}|\\  \Rightarrow \left\| {{B^{ - 1}}} \right\| \le \frac{1}{{\alpha  - \beta }} \end{array}$$ 故 $(\star)$ 變成
$$\begin{array}{l} \left\| {{B^{ - 1}} - {A^{ - 1}}} \right\| \le \frac{{\left\| {{B^{ - 1}}} \right\|\beta }}{\alpha }\\ \begin{array}{*{20}{c}} {}&{}&{}&{}&{}&{}&{} \end{array} \le \frac{\beta }{{\left( {\alpha  - \beta } \right)\alpha }} \end{array}$$ 現在若我們讓 $||A-B|| \to 0$ 亦即  $||A - B|| \to 0 \Rightarrow \beta  \to 0$ 則
$$||A^{-1} - B^{-1}|| \to 0$$ 亦即映射 $A \to A^{-1}$ 為 continuous on $\Omega$


ref: W. Rudin, Principle of Mathematical Analysis, 3rd Edition.