跳到主要內容

發表文章

目前顯示的是 十一月, 2015的文章

[線性代數] Orthonormal Basis 與 Gram-Schmidt Process (1)

延續前篇 [線性代數] Orthonormal Basis 與 Gram-Schmidt Process (0) 的問題,以下我們正式引入 Gram-Schmidt Process


Theorem: Gram-Schmidt Process
令 $V$ 為 有限維度內積空間 且 令 $W\neq \{ {\bf 0}\}$ 為 $V$中的 $m$-維子空間。則此子空間 $W$ 存在一組正交基底 $T =\{{\bf w}_1,...{\bf w}_m\}$

Proof:
我們首先建構一組 orthogonal basis $T^* :=\{{\bf v}_1,{\bf v}_2...,{\bf v}_m\}$ for $W$。由於 $W$ 為 $V$ 的子空間,故我們可在 $W$ 其上選取一組基底,令 $S=\{{\bf u}_1,...,{\bf u}_m\} $ 接著我們選取其中任意一個向量,比如說 ${\bf u}_1 \in S$ 並稱此向量為 ${\bf v}_1$ 亦即我們重新定義
\[
{\bf v}_1 := {\bf u}_1
\]注意到此 ${\bf v}_1 \in  W_1:=span\{ v_1 \}$ 其中 $W_1$ 為 $W$ 的子空間

接著我們要尋找 ${\bf v}_2$,我們希望此向量 ${\bf v}_2$ 落在 $W$ 子空間 $W_2 = span\{ {\bf u}_1, {\bf u}_2\} $ 且 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal。但注意到我們有 ${\bf v}_1 := {\bf u}_1 $ 故 ${\bf v}_2  \in W_2 = span\{ {\bf u}_1 , {\bf u}_2\}  =  span\{ {\bf v}_1, {\bf u}_2\} $  也就是說 ${\bf v}_2$ 可透過 ${\bf v}_1$ 與 ${\bf u}_2$ 做線性組合
\[
{\bf v}_2 = a_1 {\bf v}_1 + a_2 {\bf u}_2
\]其中 $a_1, a_2$ 待定。 注意到由於我們要讓 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal 故 $\langle {\bf v}_2, {\bf v}_1 …

[線性代數] Orthonormal Basis 與 Gram-Schmidt Process (0)

首先引入 一組向量彼此互為標準正交的定義

===================
Definition: Orthonormal Set
令 $V$ 為有限維度的內積空間 且 令 $S$ 為 $V$ 上的一組 集合滿足 $S =\{{\bf v}_1,..{\bf v}_n\}$ 。則我們稱 $S$ 為 orthonormal set 若
\[\left\langle {{{\bf{v}}_i},{{\bf{v}}_j}} \right\rangle  = \left\{ \begin{array}{l}
0\begin{array}{*{20}{c}}
{}&{}
\end{array}i \ne j\\
1\begin{array}{*{20}{c}}
{}&{}
\end{array}i = j
\end{array} \right.\]其中 $\left\langle {{{\bf{v}}_i},{{\bf{v}}_j}} \right\rangle $ 為 $V$ 上的內積運算。
====================

Comment:
1. 給定一個向量空間我們如果有 orthonormal basis 則其上的任意向量將可以被非常容易地表示 (why?) 比如說我們考慮 $V:= \mathbb{R}^2$ 且 具備一組標準基底 $S:=\{{\bf s}_1, {\bf s}_2\} = \{[1 \;0]^T, [0\;1]^T\}$ 則此基底為 orthonormal 。現在若給訂任意向量 ${\bf v} := [100, -99]^T\in V$ 則此向量可以非常容易透過 基底 $S$ 做線性組合來組出 ${\bf v}$亦即
\[\underbrace {\left[ \begin{array}{l}
100\\
 - 99
\end{array} \right]}_{ = {\bf{v}}} = 100\underbrace {\left[ \begin{array}{l}
1\\
0
\end{array} \right]}_{ = {{\bf{s}}_1}} + \left( { - 99} \right)\underbrace {\left[ \begin{array}{l}
0\\
1
\end{array} \…

[數學分析] 三角多項式 與 三角級數 (2)- Generalized Fourier Series

現在我們定義廣義 Fourier Series :

=================
Definition: (Orthogonal System of Functions)
令 $\{\phi_n\}$, $n \in \mathbb{N}$ 為在 $[a,b]$ 上 的 Complex-valued 函數 sequence 且滿足下列積分
\[
\int_a^b \phi_n(x) \phi_m^*(x) dx =0, \;\; \text{ if $n \neq m$}
\]那麼我們稱 $\{\phi_n\}$ 為在 $[a,b]$ 上 orthogonal 或稱 (orthogonal system of functions on $[a,b]$) 。除此之外,若積分
\[
\int_a^b \phi_n(x) \phi_n^*(x) dx =1
\]我們稱 $\{\phi_n\}$ 為在 $[a,b]$ 上 orthonormal 或稱 (orthonormal system of functions on $[a,b]$) 。
=====================

Comments: 
一般而言,若我們取 $\{\phi_n\}$  $n \in \mathbb{N}$ 為在 $[0, 2\pi]$ 上 的 Complex-valued 函數 sequence 且滿足 $\phi_n(x):= exp(inx)$  則讀者可自行驗證此 函數 sequence 為 orthogonal


=====================
Definition: (n-th Fourier Coefficient of $f$)
若 $\{\phi_n\}$ 為 orthonormal on $[a,b]$ 且 對任意 $n \in \mathbb{N}$,
\[
c_n:=\int_a^b f(x) \phi_n^*(x) dx
\]我們稱 $c_n$ 為 $n$-th Fourier coefficient of $f$ (relative to $\{\phi_n\}$)
===================== 上述 $^*$ 為 complex conjugate。

=====================
Definition: Generaliz…

[數學分析] 三角多項式 與 三角級數 (1)

三角多項式表示一個函數可以透過 多個三角函數 方式表示,具體定義如下。

============================
Definition: Trigonometric polynomial
我們說 $f(x)$ 為一個 三角多項式( trigonometric polynomial) 若 $f$ 具有下列形式:
\[
f(x) := \sum_{n=0}^N a_n \cos(nx) + b_n \sin (nx) \ \ \ \ \ (*)
\]其中 $a_n, b_n \in \mathbb{C}$ 且 $x \in \mathbb{R}$。;或者上式可等價寫為 複數形式
\[
f(x) := \sum_{n=-N}^N c_n e^{i n x}
\]對任意 $c_n \in \mathbb{C}$ 與 $x \in \mathbb{R}$
============================

Comment: 注意到對於 式子 $(*)$ 可改寫為 \[f(x) = \sum\limits_{n = 0}^N {{a_n}} \cos (nx) + {b_n}\sin (nx) = {a_0} + \sum\limits_{n = 1}^N {{a_n}} \cos (nx) + {b_n}\sin (nx)\]
========================== FACT 1: Trigonometric polynomial $f$ 為週期函數且週期為 $2 \pi$。
==========================
Proof: 亦即我們要證明 $f(x+2 \pi) = f(x)$,故
\[\begin{array}{l}
f(x + 2\pi ): = \sum\limits_{n =  - N}^N {{c_n}} {e^{in\left( {x + 2\pi } \right)}} = \sum\limits_{n =  - N}^N {{c_n}} {e^{in\left( x \right)}}{e^{in\left( {2\pi } \right)}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \sum\l…

[數學分析] 內積空間的不等式 Cauchy-Schwarz Inequality 與 Triangular Inequality

==============================
Theorem: (Cauchy-Schwarz Inequality) 
令 $V$ 為實數內積空間,且  ${\bf u}, {\bf v} \in V$ 則\[
|({\bf u}, {\bf v})| \le ||{\bf u}|| \; ||{\bf v}||
\]==============================


先看幾個例子
Example 1: 歐幾里德平面空間對應的 柯西不等式 
$V:=\mathbb{R}^2$ 且配備標準內積 $({\bf u}, {\bf v}) := {\bf u}^T {\bf v}$,現令 ${\bf u}:=[u_1\;\;u_2]^T; \; {\bf v}:=[v_1\;\;v_2]^T$ 則上述的 Cauchy-Schwarz Inequality 可表為
\[\begin{array}{l}
\left| {\left( {{\bf{u}},{\bf{v}}} \right)} \right| \le \left\| {\bf{u}} \right\|\left\| {\bf{v}} \right\|\\
 \Rightarrow {\left| {{{\bf{u}}^T}{\bf{v}}} \right|^2} \le \left( {{{\bf{u}}^T}{\bf{u}}} \right)\left( {{{\bf{v}}^T}{\bf{v}}} \right)\\
 \Rightarrow {\left| {{u_1}{v_1} + {u_2}{v_2}} \right|^2} \le \left( {u_1^2 + u_2^2} \right)\left( {v_1^2 + v_2^2} \right)
\end{array}\]

Example 2: 有限維歐幾里德空間對應的 柯西不等式
$V:=\mathbb{R}^n$ 且配備標準內積 $({\bf u}, {\bf v}) := {\bf u}^T {\bf v}$,現令 ${\bf u}:=[u_1,...,\;\;u_n]^T; \; {\bf v}:=[v_1,...,\;\;v_n]^T$ 則上述的 Cauchy-Schwarz Inequality 可表為
\[\b…

[機率論] 非負連續隨機變數 的期望值

令 $Y $ 為 任意非負 連續隨機變數 配備機率密度 $f_Y$,則我們有以下非常簡潔的結果來描述 $Y$ 的期望值 $E[Y]$。

============
Lemma:
\[
E[Y] = \int_0^\infty P(Y>y) dy
\]============
Proof:
首先觀察等式右方,由於 $P\left( {Y > y} \right) = \int_y^\infty  {{f_Y}\left( x \right)dx} $ 故
\[\begin{array}{l}
\int_0^\infty  {P\left( {Y > y} \right)dy}  = \int_0^\infty  {\left( {\int_y^\infty  {{f_Y}\left( x \right)dx} } \right)dy} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \int_0^\infty  {\left( {\int_0^\infty  {{f_Y}\left( x \right){1_{\left\{ {x \ge y} \right\}}}\left( x \right)dx} } \right)dy} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \int_0^\infty  {\left( {\int_0^\infty  {{f_Y}\left( x \right){1_{\left\{ {y \le x} \right\}}}\left( y \right)dx} } \right)dy}
\end{array}\]由於 integrand 非負,由 Fubini Theorem 我們可互換積分順序並得到如下結果
\[\begin{array}{l}
\int_0^\infty  {P\left( {Y > y} \right)dy}  = \int_0^\infty  {\int_0^\infty  {{f_Y}\left( x \right){1_{\left\{ {y \le x} \righ…

[線性代數] 淺論有限維 實數內積空間 (0)

這次要介紹 有限維度的內積空間 (Inner Product Space),簡而言之就是有限維度向量空間 $(V, \oplus, \odot)$ 上額外定義內積運算,則我們稱此類空間為 內積空間。

Comments: 
1. 有限維度內積空間稱為 歐式空間 (Euclidean Space)
2. 若為無窮維度的內積空間我們稱為 Pre-Hilbert Space,若此無窮維度內積空間為完備空間,則稱之為 Hilbert Space
3. 為何好好的向量空間不用還要多此一舉另外又定一個 內積空間?主因是向量空間本身只定義了加法 與純量乘法的運算,如果我們想討論在向量空間中某元素的大小 或者 某兩元素之間的關係則無從得知。但是如果我們引入 內積運算 到向量空間中,則可以在原本的向量空間上將 代數 與 幾何 的概念做直接的連結,也就是我們可以透過內積引入 其上的兩元素是否 垂直 (正交) 的概念,亦可針對某元素來探討其 長度與大小 概念 。
4. 讀者可回憶 高中所學習過的 點積 (dot product),此文所探討的內積 即為 點積 的推廣。



首先定義內積

==================
Definition: Inner Product on Vector Space
令 $V$ 為實數向量空間,則 Inner Product on $V$ 為函數 $(\cdot, \cdot): V\times V \to \mathbb{R}$ 滿足下列條件
(a) $({\bf u}, {\bf u}) \ge 0$:且 $({\bf u}, {\bf u}) = 0$ 若且唯若 ${\bf u} = {\bf 0}_V$
(b) $({\bf u}, {\bf v}) = ({\bf v}, {\bf u}), \; \forall {\bf u,v} \in V$
(c) $({\bf u} + {\bf v}, {\bf w}) = ({\bf u}, {\bf w}) + ({\bf u}, {\bf v}), \; \forall {\bf u,v,w} \in V$
(d) $(c {\bf u}, {\bf v}) = c({\bf u}, {\bf v}),\; \forall {\bf u,v} \in V, c \in \mathbb{R}$
==…

[MATLAB] 將 symbolic expression 轉成 latex 程式碼

一般而言在 MATLAB 使用中不免會碰到使用 symbolic toolbox 情況,但有時表示式非常繁雜,如果又想要把該表示方程式轉寫成 latex 貼到論文中該怎麼辦?

MATLAB 提供一個非常方便的功能

latex(.)

可以幫助我們直接轉換 MATLAB symbolic expression 成為 LATEX code