2015年2月23日 星期一

[線性代數] Ax=b 何時有解? 何時解為唯一?

令 $A \in \mathbb{R}^{m \times n}$ 為 實數矩陣 (有 $m$ rows 與 $n$ columns 故 $A$ 可不為方陣 )。我們通常有興趣求解下列形式的線性方程組
\[
A {\bf x} = {\bf b}
\] 其中 ${\bf b} \in \mathbb{R}^m$ 且 ${\bf x} \in \mathbb{R}^n$ 為未知數待求。

往下閱讀之前,強烈建議讀者先回憶 以下幾個 線性代數 中的 基本名詞定義:
  • 向量空間 (Vector Space)
  • 子空間 (Subspace)
  • 線性獨立 與 線性相關 (Linear Independence & Dependence)
  • 矩陣的秩 (Rank) 
  • 線性生成 (Span)
  • 基底 (Basis)
  • 維度 (Dimension)
  • 正交空間 (Orthogonal Space)
待上述基本概念補齊之後再往下閱讀:


線性代數基本定理 (Fundamental Theorem of Linear Algebra)
對於 $A {\bf x} = {\bf b}$ 何時有解 以及 何時有唯一解 給出了完整的條件 (參閱 G. Strang, "Linear Algebra and its Applications") 。亦即 任意矩陣 $A_{m \times n}$ 且 $rank(A)=r$ ,則我們可將 $\mathbb{R}^n$ 空間 與 $\mathbb{R}^m$ 空間分解到四個基本子空間:
  1. 列空間(Column space) or  (Range space ) $:= \mathcal{R}(A) \subset \mathbb{R}^m$;維度為 rank $r$
  2. 零空間 (Null Space) or kernel $:=\mathcal{N}(A) \subset \mathbb{R}^n$;維度為 rank $n-r$
  3. 行空間 (Row space) $:= \mathcal{R}(A') \subset \mathbb{R}^n $;維度為 rank $r$
  4. 左零空間 (Left null space) $:= \mathcal{N}(A') \subset \mathbb{R}^m $;維度為 rank $m-r$

Comments:
1. 前述 線性代數基本定理 有些學者亦稱為 秩-零度定理(Rank-Nullity Theorem)
2. $\mathcal{N}(A)$ 稱為 Null Space of $A$ 定義為 $\mathcal{N}(A) := \{{\bf x} \in \mathbb{R}^n : A{\bf x} = {\bf 0} \in \mathbb{R}^m\}$
3.  $\mathcal{R}(A)$ 又稱為 Range Space of $A$ 定義為 $\mathcal{R}(A) := \{ A{\bf x} \in \mathbb{R}^m : {\bf x} \in \mathbb{R}^n\}$


FACT 1: $\mathcal{N}(A)$ 為 subspace of $\mathbb{R}^n$ 且 $\mathcal{R}(A)$ 為 subspace of $\mathbb{R}^m$


以下為重要的結果:

Theorem: 何時解存在?何時解唯一
對任意 $\bf b$, $A {\bf x} = {\bf b}$ 的 解 存在 若且唯若 $A$ 的 rows 彼此線性獨立。
$Ax = b$ 的解 為 唯一解 若且唯若 $A$ 矩陣的 columns 彼此線性獨立。
Proof: omitted.


Exercise:
給定矩陣
\[A = \left[ {\begin{array}{*{20}{c}}
1&3&5&0&7\\
0&0&0&1&2\\
0&0&0&0&0
\end{array}} \right]\]
(a) 試求 $rank A$
(b) 試求 $\mathcal{N}(A)$ 及其基底 與 維度
(c) 試求 $\mathcal{R}(A)$ 及其基底 與 維度
(d) 試求 $\mathcal{R}(A')$ 及其基底 與 維度
(e) 試求 $\mathcal{N}(A')$ 及其基底 與 維度