[數學分析] 淺談各種基本範數 (Norm)

這次要介紹的是數學上一個重要的概念：

Norm：一般翻譯成範數
(在英語中 norm 有規範的意思，比如我們說normalization就是把某種東西/物品/事件 做 正規化，也就是加上規範使其正常化)，不過個人認為其實翻譯成 範數 也是看不懂的...這邊建議把 Norm 想成長度就好 (事實上norm是長度的抽象推廣)，

也許讀者會認為好端端的長度不用，為何又要發明一個 norm 來自討苦吃?? 既抽象又艱澀。

事實上想法是這樣的：
比如說現在想要比較兩個數字 $3$ , $5$ 之間的大小，則我們可以馬上知道 $3 < 5$；同樣的，如果再考慮小數與無理數如 $1.8753$ 與 $\pi$，我們仍然可以比較大小 $1.8753 < \pi = 3.1415...$ 故可以發現我們有辦法對 "純量" 做明確的比大小，WHY? 因為前述例子中 $3$, $5$, $1.8753$ or $\pi$ 其各自的大小有辦法被 "measure "!

但是如果是現在考慮的是一組數字 我們如何去measure 其大小呢?? 比如說
$$x:=[1, -2, 0.1, 0 ]^T$$ 上式的大小該是多少? 是 $1$? $-2$? $0.1$???
再者如果更過分一點，我們考慮一個矩陣
$$A = \left[ {\begin{array}{*{20}{c}} 1&2\\ 3&4 \end{array}} \right]$$ ，想要知道這個矩陣的大小又該怎麼辦?? 是 $1$ ? $2$ 還是 $4$ ?..其實現階段我們說不清楚。

也正是如此，可以發現我們確實需要新的 "長度" 的定義來幫助我們如何去 measure 矩陣/向量/甚至是函數的大小。

故此，我們首先定義甚麼是Norm，(也就是把 "長度" or "大小" 的本質抽離出來)

==================
Definition: Norm
考慮 $V$ 為一個向量空間(Vector space)，則我們說  Norm 為一個函數 $||\cdot|| : V \rightarrow \mathbb{R}$ 且滿足下列性質：

(a) $||v|| \geq 0$, $||v||=0 \Leftrightarrow v=0$

(b) 對所有的 $\alpha \in \mathbb{R}, v \in V$, $||\alpha v|| = |\alpha| \cdot ||v||$

(c) 對任意 $v_1, v_2 \in V$ ， $||v_1 + v_2 || \le ||v_1|| + ||v_2||$ (三角不等式)
==================
Comments:
1. 觀察上述定義確實可以發現norm是長度的推廣。比如說性質(a) (positivity) 要求norm非負，可以發現直觀上我們的長度亦為非負；接著性質 (b) , (c) 亦可由原本長度定義中觀察而得。

2. 注意到上述 norm是定義在 向量空間 (vector space)，這是一個相當抽象的概念，一般視為是具有加法與乘法 ( $+, \cdot$) 的無窮維空間。簡單說可以把它想成是 $\mathbb{R}^n$的推廣，下面我們介紹的norm所定義的空間都為一個Vector space ( $\mathbb{R}^n$ space, $L^p$ space, 或者所有連續函數所形成的空間...)；如果對空間概念不熟的讀者可以暫時先略過此comment

==================
再來我們要考慮三大類常見的 norm  (也就是可以測量其大小但又滿足norm的3個基本性質)：
一類是有限維度 $\mathbb{R}^n$ 空間中的向量怎麼定義norm，
一類是如果拓展到無窮維度該怎麼定義norm?
最後則是如果考慮的是函數空間(function space) 該怎麼定義norm


首先是 $\mathbb{R}^n$ 空間 (有限維度空間) 的norm

考慮一個向量 $v \in \mathbb{R}^n$，亦即
$$v = \left[ {\begin{array}{*{20}{c}} {{v_1}}\\ {{v_2}}\\  \vdots \\ {{v_n}} \end{array}} \right]$$ 則我們可以定義下列各種不同的norm
$$\begin{array}{l} {\left\| v \right\|_1}: = \sum\limits_{i = 1}^n {\left| {{v_i}} \right|}, \ \ \text{1-norm}\\ {\left\| v \right\|_2}: = \sqrt {\sum\limits_{i = 1}^n {{{\left| {{v_i}} \right|}^2}} }  = \sqrt {{v^T}v}, \ \ \text{2-norm}\\ {\left\| v \right\|_p}: = {\left( {\sum\limits_{i = 1}^n {{{\left| {{v_i}} \right|}^p}} } \right)^{\frac{1}{p}}}, \ \ \text{p-norm}\\ {\left\| v \right\|_\infty }: = \mathop {\max }\limits_i \left| {{v_i}} \right| = \max \{ |v_1|, |v_2|, ..., |v_n| \}, \ \ \text{Infinity norm} \end{array}$$

Comments:
1. 在 $\mathbb{R}^n$ 空間中，任意兩個norm的定義等價 (in convergence sense)。此稱作Two-norm theorem：我們將其紀錄如下： (注意如果已經離開有限維度空間，Two norm Theorem失效!!!)

Theorem: (Two-norm Theorem)
若 $||\cdot||_a$ 與 $||\cdot||_b$ 為 $\mathbb{R}^n$ 空間中的norm，則存在一個常數 $C < \infty$使得 對任意 $x \in \mathbb{R}^n$
$$||x||_a \leq C ||x||_b$$
Proof: omitted.

==================

上述在有限維度空間的norm定義在一般情況仍然不足，因為如果我們考慮的是 一個sequence $\{x_k\}_{k=0}^{\infty}$，由於 sequence 有無窮多項 比如說 $\{x_k\}_{k=0}^{\infty}= 1/k$，此時上述的有限維度空間的norm定義無法使用。故我們進入了無窮維度的世界，此時無窮維度空間 的norm 可以仿照有限維度空間的定義如下
$$\begin{array}{*{20}{l}} {{{\left\| x \right\|}_{{\ell _1}}}: = \sum\limits_{i = 1}^\infty  {\left| {{x_i}} \right|} }\\ {{{\left\| x \right\|}_{{\ell _2}}}: = \sqrt {\sum\limits_{i = 1}^\infty  {{{\left| {{x_i}} \right|}^2}} }  = \sqrt {{x^T}x} }\\ {{{\left\| x \right\|}_{{\ell _p}}}: = {{\left( {\sum\limits_{i = 1}^\infty  {{{\left| {{x_i}} \right|}^p}} } \right)}^{\frac{1}{p}}}}\\ {{{\left\| x \right\|}_{{\ell _\infty }}}: = \mathop {\sup }\limits_{i \ge 1} \left| {{x_i}} \right|} \end{array}$$
Comment
注意到關於maximum norm這邊我們用 $\sup$ 取代 有限維度空間所採用的 $\max$，一般表示我們並不確定最大元素是否存在，故此時採用 $\sup$。

=======
現在如果我們考慮的是更複雜的情況，比如說我們考慮的是函數，則該怎麼對函數定義norm呢? (此時norm定義在函數空間 $L^p$-space)。考慮函數 $f : [a,b] \rightarrow \mathbb{R}$則我們有如下的norm
$$\begin{array}{l} {\left\| {f\left( t \right)} \right\|_{{L_1}}}: = \int_a^b {\left| {f\left( t \right)} \right|dt} \\ {\left\| {f\left( t \right)} \right\|_{{L_2}}}: = {\left( {\int_a^b {{{\left| {f\left( t \right)} \right|}^2}dt} } \right)^{\frac{1}{2}}}\\ {\left\| {f\left( t \right)} \right\|_{{L_p}}}: = {\left( {\int_a^b {{{\left| {f\left( t \right)} \right|}^p}dt} } \right)^{\frac{1}{p}}}\\ {\left\| {f\left( t \right)} \right\|_{{L_\infty }}}: = \mathop {\sup }\limits_{t \in \left[ {a,b} \right]} \left| {f\left( t \right)} \right| \end{array}$$

Comment:
1. 上述三大類的norm皆滿足 norm本身的定義 (4個性質皆滿足，這需要證明但我們這邊不贅述)。
2. 對於連續函數 $f \in \mathcal{C} [[a,b], \mathbb{R}]$而言，其norm都選maximum norm：亦即 $||f|| := \max_{t \in [a,b]} |f(t)|$
3. 讀者也許會想問 $L_p$ 這個 $L$ 的意義為何，一般而言我們指 $f \in L_p$ 表示此函數 $f$ 為 Lebesgue integrable 且滿足上述 norm的條件。當然，如果有需要我們可以限制 $f \in R_p$ 其中 $R$ 表示的是函數 $f$ 為 Riemann integrable。在此不再贅述。


另外如果考慮的是矩陣的norm該怎麼定義??
因為我們手上只有對向量 與 對函數的norm，故方法就是先把矩陣變成向量，再算他的norm。我們稱此種算法得到的norm為 induced matrix norm。就是用一組向量把矩陣的norm 引(induce)出來：

Example:
考慮
$$\left[ {\begin{array}{*{20}{c}} 1&2\\ 3&4 \end{array}} \right]$$ 那麼此矩陣的 norm 該怎麼計算?
我們可透過取向量 $[1 \; 0]^T$ 當作輸入，則
$$\left[ {\begin{array}{*{20}{c}} 1&2\\ 3&4 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} 1\\ 0 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} 1\\ 3 \end{array}} \right]$$ 接著我們便可用 $\mathbb{R}^n$ 空間定義的向量來定義其 norm。


以下為正式的矩陣norm的定義

Definition: Induced matrix p-norm
令 $A = [a_{ij}] \in \mathbb{R}^{m \times n}$則此矩陣由 向量 $x$ 引出的 induced p-norm
$$||A||_p := \sup_{x \neq 0}\frac{||Ax||_p}{||x||_p}$$

注意到如果 $p=2$，則 induced matrix 2-nrom ，則我們有 $||A||_2$ 可由其最大的eigenvalue求得：
$$||A||_2 := \sqrt{\lambda_{max} (A^T A)}$$

Norm idea in System Theory (The Energy idea)
在系統理論中，我們另外亦常用 能量(Energy) 與 功率(power)來表示我們關心的物理量的大小：
考慮 $x(t)$ 為一維連續時間"訊號"，則定義在 $t\in [t_1,t_2]$ 之間 的 total energy E為
$$E:=\int_{t_1}^{t_2} |x(t)|^2 dt$$ 同樣，我們亦可擴展訊號的 total energy 到時間為無窮大 $t \in (-\infty, \infty)$，此定義為上式的極限，記做 $E_{\infty}$：
$$E_{\infty} := \lim_{T \rightarrow \infty}\int_{-T}^{T} |x(t)|^2dt = \int_{-\infty}^{\infty}|x(t)|^2dt$$ 若上式積分存在。