謝宗翰的隨筆

考慮以下問題 令 $A$ 為 任意 $n \times n$ 矩陣，試問下列陳述是否正確
Claim: $ A^2 = I  $則 $A = I$?

讀者可能注意到 $A^2 = AA = I$ 表示我們有
\[
A= A^{-1}
\]故上述陳述看來頗為誘人讓人想回答 True 但事實上此陳述為錯誤陳述，因為若我們考慮
\[A = \left[ {\begin{array}{*{20}{c}}
0&1\\
1&0
\end{array}} \right]\]則
\[
A^2 = I_{2 \times 2}
\]但 $A \neq I_{2 \times 2}$

令 $V$ 為有限維度向量空間配備基底 $S=\{{\bf s}_1,{\bf s}_2,...,{\bf s}_n\}$ 且 $L: V \to V$ 為線性算子，則必存在唯一 的 一個 對應於基底 $S$ 的 $n \times n$ 矩陣代表 $A$  來 表示 $L$ (我們稱此矩陣代表 $A$ 為  representation of $L$ with respect to $S$) 使得 對任意 ${\bf x} \in V$ 我們有
\[
[L({\bf x})]_S = A [{\bf x}]_S \;\;\;\;\; (\star)
\]其中 $[{\bf x}]_S$ 表示 ${\bf x}$基於 基底 $S$ 的座標向量 (coordinate vector)，亦即 若\[{[{\bf{x}}]_S} = \left[ \begin{array}{l}
{a_1}\\
{a_2}\\
 \vdots \\
{a_n}
\end{array} \right] \Leftrightarrow {\bf{x}} = {a_1}{{\bf{s}}_1} + {a_2}{{\bf{s}}_2} + ... + {a_n}{{\bf{s}}_n}\]

現在我們回憶原本 定義在 線性算子 $L$ 之上的特徵問題：亦即我們要 找出一組 特徵值 $\lambda$ 與其對應的 特徵向量 ${\bf x} \neq {\bf 0}$ 且 ${\bf x} \in V$ 滿足
\[
L({\bf x}) = \lambda {\bf x}\;\;\;\;\; (*)
\]
觀察 $(\star)$ 式，我們可得到透過 $A$ 矩陣所描述的等價特徵問題如下
\[\begin{array}{l}
{[L({\bf{x}})]_S} = A{[{\bf{x}}]_S}\;\\
 \Rightarrow {[\lambda {\bf{x}}]_S} = A{[{\bf{x}}]_S}\;\\
 \Rightarrow \lambda {[{\bf{x}}]_S} = A{[{\bf{x}}]_S}\;
\end{array}
\]則我們的目標變成要找 一組 $\lambda \in \mathbb{R}$ (or $\in \mathbb{C}$) 與 $[{\bf x}…

======================
Definition: Linear Operator
令 $V$ 為 $n$ 維 向量空間 且 $L: V \to V$ 為線性轉換 (Linear transformation)：亦即給定任意兩向量 ${\bf u,v} \in V$ 與 $c \in \mathbb{R}$ (or $c \in \mathbb{C}$)滿足
\[\begin{array}{l}
L\left( {{\bf{u}} + {\bf{v}}} \right) = L\left( {\bf{u}} \right) + L\left( {\bf{v}} \right)\\
L\left( {c{\bf{u}}} \right) = cL\left( {\bf{u}} \right)
\end{array}\]則我們稱該 $L:V \to V$ 為定義在 $V$ 上的線性算子 (Linear Operator)
======================

那麼我們現在想問一個基本問題：是否可以找到 一組非零向量 ${\bf v} \neq {\bf 0}$ 與 純量 $\lambda \in \mathbb{R}$ (or $\in \mathbb{C}$) 使得
\[
L({\bf v}) = \lambda{\bf v}
\]
此問題在工程領域有諸多應用，一般而言上述問題又稱為特徵值問題。

Comments:
1. 上述討論中所提及的 Linear Operator 僅僅表示 domain 與 codomain 都為同一個向量空間 $V$，其餘皆與線性轉換定義相同。也就是說若我們將 domain $V$ 與 codomain $W$ 設為不同的向量空間，且若 $L: V \to W$ 滿足
\[\begin{array}{l}
L\left( {{\bf{u}} + {\bf{v}}} \right) = L\left( {\bf{u}} \right) + L\left( {\bf{v}} \right)\\
L\left( {c{\bf{u}}} \right) = cL\left( {\bf{u}} \right)
\end{array}\]則我們稱 $L$ 為線性轉換 (Linear Transformation)。

2. 若 ${…

延續前篇 [線性代數] Orthonormal Basis 與 Gram-Schmidt Process (0) 的問題，以下我們正式引入 Gram-Schmidt Process


Theorem: Gram-Schmidt Process
令 $V$ 為 有限維度內積空間 且 令 $W\neq \{ {\bf 0}\}$ 為 $V$中的 $m$-維子空間。則此子空間 $W$ 存在一組正交基底 $T =\{{\bf w}_1,...{\bf w}_m\}$

Proof:
我們首先建構一組 orthogonal basis $T^* :=\{{\bf v}_1,{\bf v}_2...,{\bf v}_m\}$ for $W$。由於 $W$ 為 $V$ 的子空間，故我們可在 $W$ 其上選取一組基底，令 $S=\{{\bf u}_1,...,{\bf u}_m\} $ 接著我們選取其中任意一個向量，比如說 ${\bf u}_1 \in S$ 並稱此向量為 ${\bf v}_1$ 亦即我們重新定義
\[
{\bf v}_1 := {\bf u}_1
\]注意到此 ${\bf v}_1 \in  W_1:=span\{ v_1 \}$ 其中 $W_1$ 為 $W$ 的子空間

接著我們要尋找 ${\bf v}_2$，我們希望此向量 ${\bf v}_2$ 落在 $W$ 子空間 $W_2 = span\{ {\bf u}_1, {\bf u}_2\} $ 且 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal。但注意到我們有 ${\bf v}_1 := {\bf u}_1 $ 故 ${\bf v}_2  \in W_2 = span\{ {\bf u}_1 , {\bf u}_2\}  =  span\{ {\bf v}_1, {\bf u}_2\} $  也就是說 ${\bf v}_2$ 可透過 ${\bf v}_1$ 與 ${\bf u}_2$ 做線性組合
\[
{\bf v}_2 = a_1 {\bf v}_1 + a_2 {\bf u}_2
\]其中 $a_1, a_2$ 待定。 注意到由於我們要讓 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal 故 $\langle {\bf v}_2, {\bf v}_1 …

首先引入 一組向量彼此互為標準正交的定義

===================
Definition: Orthonormal Set
令 $V$ 為有限維度的內積空間 且 令 $S$ 為 $V$ 上的一組 集合滿足 $S =\{{\bf v}_1,..{\bf v}_n\}$ 。則我們稱 $S$ 為 orthonormal set 若
\[\left\langle {{{\bf{v}}_i},{{\bf{v}}_j}} \right\rangle  = \left\{ \begin{array}{l}
0\begin{array}{*{20}{c}}
{}&{}
\end{array}i \ne j\\
1\begin{array}{*{20}{c}}
{}&{}
\end{array}i = j
\end{array} \right.\]其中 $\left\langle {{{\bf{v}}_i},{{\bf{v}}_j}} \right\rangle $ 為 $V$ 上的內積運算。
====================

Comment:
1. 給定一個向量空間我們如果有 orthonormal basis 則其上的任意向量將可以被非常容易地表示 (why?) 比如說我們考慮 $V:= \mathbb{R}^2$ 且 具備一組標準基底 $S:=\{{\bf s}_1, {\bf s}_2\} = \{[1 \;0]^T, [0\;1]^T\}$ 則此基底為 orthonormal 。現在若給訂任意向量 ${\bf v} := [100, -99]^T\in V$ 則此向量可以非常容易透過 基底 $S$ 做線性組合來組出 ${\bf v}$亦即
\[\underbrace {\left[ \begin{array}{l}
100\\
 - 99
\end{array} \right]}_{ = {\bf{v}}} = 100\underbrace {\left[ \begin{array}{l}
1\\
0
\end{array} \right]}_{ = {{\bf{s}}_1}} + \left( { - 99} \right)\underbrace {\left[ \begin{array}{l}
0\\
1
\end{array} \…

現在我們定義廣義 Fourier Series ：

=================
Definition: (Orthogonal System of Functions)
令 $\{\phi_n\}$, $n \in \mathbb{N}$ 為在 $[a,b]$ 上 的 Complex-valued 函數 sequence 且滿足下列積分
\[
\int_a^b \phi_n(x) \phi_m^*(x) dx =0, \;\; \text{ if $n \neq m$}
\]那麼我們稱 $\{\phi_n\}$ 為在 $[a,b]$ 上 orthogonal 或稱 (orthogonal system of functions on $[a,b]$) 。除此之外，若積分
\[
\int_a^b \phi_n(x) \phi_n^*(x) dx =1
\]我們稱 $\{\phi_n\}$ 為在 $[a,b]$ 上 orthonormal 或稱 (orthonormal system of functions on $[a,b]$) 。
=====================

Comments: 
一般而言，若我們取 $\{\phi_n\}$  $n \in \mathbb{N}$ 為在 $[0, 2\pi]$ 上 的 Complex-valued 函數 sequence 且滿足 $\phi_n(x):= exp(inx)$  則讀者可自行驗證此 函數 sequence 為 orthogonal


=====================
Definition: (n-th Fourier Coefficient of $f$)
若 $\{\phi_n\}$ 為 orthonormal on $[a,b]$ 且 對任意 $n \in \mathbb{N}$，
\[
c_n:=\int_a^b f(x) \phi_n^*(x) dx
\]我們稱 $c_n$ 為 $n$-th Fourier coefficient of $f$ (relative to $\{\phi_n\}$)
===================== 上述 $^*$ 為 complex conjugate。

=====================
Definition: Generaliz…