[線性代數] Ax=b 何時有解? 何時解為唯一?

令 $A \in \mathbb{R}^{m \times n}$ 為 實數矩陣 (有 $m$ rows 與 $n$ columns 故 $A$ 可不為方陣 )。我們通常有興趣求解下列形式的線性方程組
$$A {\bf x} = {\bf b}$$ 其中 ${\bf b} \in \mathbb{R}^m$ 且 ${\bf x} \in \mathbb{R}^n$ 為未知數待求。

往下閱讀之前，強烈建議讀者先回憶 以下幾個 線性代數 中的 基本名詞定義：

• 向量空間 (Vector Space)
• 子空間 (Subspace)
• 線性獨立 與 線性相關 (Linear Independence & Dependence)
• 矩陣的秩 (Rank) 
• 線性生成 (Span)
• 基底 (Basis)
• 維度 (Dimension)
• 正交空間 (Orthogonal Space)

待上述基本概念補齊之後再往下閱讀：


線性代數基本定理 (Fundamental Theorem of Linear Algebra)
對於 $A {\bf x} = {\bf b}$ 何時有解 以及 何時有唯一解 給出了完整的條件 (參閱 G. Strang, "Linear Algebra and its Applications") 。亦即 任意矩陣 $A_{m \times n}$ 且 $rank(A)=r$ ，則我們可將 $\mathbb{R}^n$ 空間 與 $\mathbb{R}^m$ 空間分解到四個基本子空間：

1. 列空間(Column space) or  (Range space ) $:= \mathcal{R}(A) \subset \mathbb{R}^m$； rank $r$
2. 零空間 (Null Space) or kernel $:=\mathcal{N}(A) \subset \mathbb{R}^n$； rank $n-r$
3. 行空間 (Row space) $:= \mathcal{R}(A') \subset \mathbb{R}^n$； rank $r$
4. 左零空間 (Left null space) $:= \mathcal{N}(A') \subset \mathbb{R}^m$； rank $m-r$

Comments:
1. 前述 線性代數基本定理 有些學者亦稱為 秩-零度定理(Rank-Nullity Theorem)
2. $\mathcal{N}(A)$ 稱為 Null Space of $A$ 定義為 $\mathcal{N}(A) := \{{\bf x} \in \mathbb{R}^n : A{\bf x} = {\bf 0} \in \mathbb{R}^m\}$
3.  $\mathcal{R}(A)$ 又稱為 Range Space of $A$ 定義為 $\mathcal{R}(A) := \{ A{\bf x} \in \mathbb{R}^m : {\bf x} \in \mathbb{R}^n\}$


FACT 1: $\mathcal{N}(A)$ 為 subspace of $\mathbb{R}^n$ 且 $\mathcal{R}(A)$ 為 subspace of $\mathbb{R}^m$


以下為重要的結果：

Theorem: 何時解存在？何時解唯一
對任意 $\bf b$， $A {\bf x} = {\bf b}$ 的 解 存在 若且唯若 $A$ 的 rows 彼此線性獨立。
$Ax = b$ 的解 為 唯一解 若且唯若 $A$ 矩陣的 columns 彼此線性獨立。
Proof: omitted.

上述有等價定理以 rank條件表示：

Theorem 2: 對任意線性系統 $A {\bf x} = {\bf b}$ ，其解 ${\bf x}$ 存在若且唯若 $$rank(A)=rank( [A|{\bf b}])$$
其解 ${\bf x}$ 為唯一若且唯若
$$rank(A) = rank([A|{\bf b}]) = dim({\bf b})$$


Exercise:
給定矩陣
$$A = \left[ {\begin{array}{*{20}{c}} 1&3&5&0&7\\ 0&0&0&1&2\\ 0&0&0&0&0 \end{array}} \right]$$
(a) 試求 $rank A$
(b) 試求 $\mathcal{N}(A)$ 及其基底 與 維度
(c) 試求 $\mathcal{R}(A)$ 及其基底 與 維度

(d) 試求 $\mathcal{R}(A')$ 及其基底 與 維度

(e) 試求 $\mathcal{N}(A')$ 及其基底 與 維度