跳到主要內容

發表文章

目前顯示的是 11月, 2015的文章

[線性代數] Orthonormal Basis 與 Gram-Schmidt Process (1)

延續前篇 [線性代數] Orthonormal Basis 與 Gram-Schmidt Process (0) 的問題,以下我們正式引入 Gram-Schmidt Process Theorem: Gram-Schmidt Process 令 $V$ 為 有限維度內積空間 且 令 $W\neq \{ {\bf 0}\}$ 為 $V$中的 $m$-維子空間。則此子空間 $W$ 存在一組正交基底 $T =\{{\bf w}_1,...{\bf w}_m\}$ Proof: 我們首先建構一組 orthogonal basis $T^* :=\{{\bf v}_1,{\bf v}_2...,{\bf v}_m\}$ for $W$。由於 $W$ 為 $V$ 的子空間,故我們可在 $W$ 其上選取一組基底,令 $S=\{{\bf u}_1,...,{\bf u}_m\} $ 接著我們選取其中任意一個向量,比如說 ${\bf u}_1 \in S$ 並稱此向量為 ${\bf v}_1$ 亦即我們重新定義 \[ {\bf v}_1 := {\bf u}_1 \]注意到此 ${\bf v}_1 \in  W_1:=span\{ v_1 \}$ 其中 $W_1$ 為 $W$ 的子空間 接著我們要尋找 ${\bf v}_2$,我們希望此向量 ${\bf v}_2$ 落在 $W$ 子空間 $W_2 = span\{ {\bf u}_1, {\bf u}_2\} $ 且 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal。但注意到我們有 ${\bf v}_1 := {\bf u}_1 $ 故 ${\bf v}_2  \in W_2 = span\{ {\bf u}_1 , {\bf u}_2\}  =  span\{ {\bf v}_1, {\bf u}_2\} $  也就是說 ${\bf v}_2$ 可透過 ${\bf v}_1$ 與 ${\bf u}_2$ 做線性組合 \[ {\bf v}_2 = a_1 {\bf v}_1 + a_2 {\bf u}_2 \]其中 $a_1, a_2$ 待定。 注意到由於我們要讓 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal 故 $\langle {\bf

[線性代數] Orthonormal Basis 與 Gram-Schmidt Process (0)

首先引入 一組向量彼此互為標準正交的定義 =================== Definition: Orthonormal Set 令 $V$ 為有限維度的內積空間 且 令 $S$ 為 $V$ 上的一組 集合滿足 $S =\{{\bf v}_1,..{\bf v}_n\}$ 。則我們稱 $S$ 為 orthonormal set 若 \[\left\langle {{{\bf{v}}_i},{{\bf{v}}_j}} \right\rangle  = \left\{ \begin{array}{l} 0\begin{array}{*{20}{c}} {}&{} \end{array}i \ne j\\ 1\begin{array}{*{20}{c}} {}&{} \end{array}i = j \end{array} \right.\]其中 $\left\langle {{{\bf{v}}_i},{{\bf{v}}_j}} \right\rangle $ 為 $V$ 上的內積運算。 ==================== Comment: 1. 給定一個向量空間我們如果有 orthonormal basis 則其上的任意向量將可以被非常容易地表示 (why?) 比如說我們考慮 $V:= \mathbb{R}^2$ 且 具備一組標準基底 $S:=\{{\bf s}_1, {\bf s}_2\} = \{[1 \;0]^T, [0\;1]^T\}$ 則此基底為 orthonormal 。現在若給訂任意向量 ${\bf v} := [100, -99]^T\in V$ 則此向量可以非常容易透過 基底 $S$ 做線性組合來組出 ${\bf v}$亦即 \[\underbrace {\left[ \begin{array}{l} 100\\  - 99 \end{array} \right]}_{ = {\bf{v}}} = 100\underbrace {\left[ \begin{array}{l} 1\\ 0 \end{array} \right]}_{ = {{\bf{s}}_1}} + \left( { - 99} \right)\underbrace {\left[ \begin{array}

[數學分析] 三角多項式 與 三角級數 (2)- Generalized Fourier Series

現在我們定義廣義 Fourier Series : ================= Definition: (Orthogonal System of Functions) 令 $\{\phi_n\}$, $n \in \mathbb{N}$ 為在 $[a,b]$ 上 的 Complex-valued 函數 sequence 且滿足下列積分 \[ \int_a^b \phi_n(x) \phi_m^*(x) dx =0, \;\; \text{ if $n \neq m$} \]那麼我們稱 $\{\phi_n\}$ 為在 $[a,b]$ 上 orthogonal 或稱 (orthogonal system of functions on $[a,b]$) 。除此之外,若積分 \[ \int_a^b \phi_n(x) \phi_n^*(x) dx =1 \]我們稱 $\{\phi_n\}$ 為在 $[a,b]$ 上 orthonormal 或稱 (orthonormal system of functions on $[a,b]$) 。 ===================== Comments:  一般而言,若我們取 $\{\phi_n\}$  $n \in \mathbb{N}$ 為在 $[0, 2\pi]$ 上 的 Complex-valued 函數 sequence 且滿足 $\phi_n(x):= exp(inx)$  則讀者可自行驗證此 函數 sequence 為 orthogonal ===================== Definition: (n-th Fourier Coefficient of $f$ ) 若 $\{\phi_n\}$ 為 orthonormal on $[a,b]$ 且 對任意 $n \in \mathbb{N}$, \[ c_n:=\int_a^b f(x) \phi_n^*(x) dx \]我們稱 $c_n$ 為 $n$-th Fourier coefficient of $f$ (relative to $\{\phi_n\}$) ===================== 上述 $^*$ 為 complex conjugate。 ========

[數學分析] 三角多項式 與 三角級數 (1)

三角多項式表示一個函數可以透過 多個三角函數 方式表示,具體定義如下。 ============================ Definition: Trigonometric polynomial 我們說 $f(x)$ 為一個 三角多項式( trigonometric polynomial) 若 $f$ 具有下列形式: \[ f(x) := \sum_{n=0}^N a_n \cos(nx) + b_n \sin (nx) \ \ \ \ \ (*) \]其中 $a_n, b_n \in \mathbb{C}$ 且 $x \in \mathbb{R}$。;或者上式可等價寫為 複數形式 \[ f(x) := \sum_{n=-N}^N c_n e^{i n x} \]對任意 $c_n \in \mathbb{C}$ 與 $x \in \mathbb{R}$ ============================ Comment: 注意到對於 式子 $(*)$ 可改寫為 \[f(x) = \sum\limits_{n = 0}^N {{a_n}} \cos (nx) + {b_n}\sin (nx) = {a_0} + \sum\limits_{n = 1}^N {{a_n}} \cos (nx) + {b_n}\sin (nx)\] ========================== FACT 1: Trigonometric polynomial $f$ 為週期函數且週期為 $2 \pi$。 ========================== Proof: 亦即我們要證明 $f(x+2 \pi) = f(x)$,故 \[\begin{array}{l} f(x + 2\pi ): = \sum\limits_{n =  - N}^N {{c_n}} {e^{in\left( {x + 2\pi } \right)}} = \sum\limits_{n =  - N}^N {{c_n}} {e^{in\left( x \right)}}{e^{in\left( {2\pi } \right)}}\\ \begin{array}{*{20}{c}} {}&{}&{}&{

[數學分析] 內積空間的不等式 Cauchy-Schwarz Inequality 與 Triangular Inequality

============================== Theorem: (Cauchy-Schwarz Inequality)  令 $V$ 為實數內積空間,且  ${\bf u}, {\bf v} \in V$ 則\[ |({\bf u}, {\bf v})| \le ||{\bf u}|| \; ||{\bf v}|| \]============================== 先看幾個例子 Example 1:  歐幾里德平面空間對應的 柯西不等式  $V:=\mathbb{R}^2$ 且配備標準內積 $({\bf u}, {\bf v}) := {\bf u}^T {\bf v}$,現令 ${\bf u}:=[u_1\;\;u_2]^T; \; {\bf v}:=[v_1\;\;v_2]^T$ 則上述的 Cauchy-Schwarz Inequality 可表為 \[\begin{array}{l} \left| {\left( {{\bf{u}},{\bf{v}}} \right)} \right| \le \left\| {\bf{u}} \right\|\left\| {\bf{v}} \right\|\\  \Rightarrow {\left| {{{\bf{u}}^T}{\bf{v}}} \right|^2} \le \left( {{{\bf{u}}^T}{\bf{u}}} \right)\left( {{{\bf{v}}^T}{\bf{v}}} \right)\\  \Rightarrow {\left| {{u_1}{v_1} + {u_2}{v_2}} \right|^2} \le \left( {u_1^2 + u_2^2} \right)\left( {v_1^2 + v_2^2} \right) \end{array}\] Example 2:  有限維歐幾里德空間對應的 柯西不等式 $V:=\mathbb{R}^n$ 且配備標準內積 $({\bf u}, {\bf v}) := {\bf u}^T {\bf v}$,現令 ${\bf u}:=[u_1,...,\;\;u_n]^T; \; {\bf v}:=[v_1,...,\;\;v_n]^T$ 則上述的 Cauchy-Schwa

[機率論] 非負連續隨機變數 的期望值

令 $Y $ 為 任意非負 連續隨機變數 配備機率密度 $f_Y$,則我們有以下非常簡潔的結果來描述 $Y$ 的期望值 $E[Y]$。 ============ Lemma: \[ E[Y] = \int_0^\infty P(Y>y) dy \]============ Proof: 首先觀察等式右方,由於 $P\left( {Y > y} \right) = \int_y^\infty  {{f_Y}\left( x \right)dx} $ 故 \[\begin{array}{l} \int_0^\infty  {P\left( {Y > y} \right)dy}  = \int_0^\infty  {\left( {\int_y^\infty  {{f_Y}\left( x \right)dx} } \right)dy} \\ \begin{array}{*{20}{c}} {}&{}&{}&{}&{}&{} \end{array} = \int_0^\infty  {\left( {\int_0^\infty  {{f_Y}\left( x \right){1_{\left\{ {x \ge y} \right\}}}\left( x \right)dx} } \right)dy} \\ \begin{array}{*{20}{c}} {}&{}&{}&{}&{}&{} \end{array} = \int_0^\infty  {\left( {\int_0^\infty  {{f_Y}\left( x \right){1_{\left\{ {y \le x} \right\}}}\left( y \right)dx} } \right)dy} \end{array}\]由於 integrand 非負,由 Fubini Theorem 我們可互換積分順序並得到如下結果 \[\begin{array}{l} \int_0^\infty  {P\left( {Y > y} \right)dy}  = \int_0^\infty  {\int_0^\infty  {{f_Y}\left( x \right){1_{\le

[線性代數] 淺論有限維 實數內積空間 (0)

這次要介紹 有限維度的內積空間 (Inner Product Space),簡而言之就是有限維度向量空間 $(V, \oplus, \odot)$ 上額外定義內積運算,則我們稱此類空間為 內積空間。 Comments:  1. 有限維度內積空間稱為 歐式空間 (Euclidean Space) 2. 若為無窮維度的內積空間我們稱為 Pre-Hilbert Space ,若此無窮維度內積空間為完備空間,則稱之為 Hilbert Space 3. 為何好好的向量空間不用還要多此一舉另外又定一個 內積空間?主因是向量空間本身只定義了加法 與純量乘法的運算,如果我們想討論在向量空間中某元素的大小 或者 某兩元素之間的關係則無從得知。但是如果我們引入 內積運算 到向量空間中,則可以在原本的向量空間上將 代數 與 幾何 的概念做直接的連結,也就是我們可以透過內積引入 其上的兩元素是否 垂直 (正交) 的概念,亦可針對某元素來探討其 長度與大小 概念 。 4. 讀者可回憶 高中所學習過的 點積 (dot product),此文所探討的內積 即為 點積 的推廣。 首先定義內積 ================== Definition: Inner Product on Vector Space 令 $V$ 為實數向量空間,則 Inner Product on $V$ 為函數 $(\cdot, \cdot): V\times V \to \mathbb{R}$ 滿足下列條件 (a) $({\bf u}, {\bf u}) \ge 0$:且 $({\bf u}, {\bf u}) = 0$ 若且唯若 ${\bf u} = {\bf 0}_V$ (b) $({\bf u}, {\bf v}) = ({\bf v}, {\bf u}), \; \forall {\bf u,v} \in V$ (c) $({\bf u} + {\bf v}, {\bf w}) = ({\bf u}, {\bf w}) + ({\bf u}, {\bf v}), \; \forall {\bf u,v,w} \in V$ (d) $(c {\bf u}, {\bf v}) = c({\bf u}, {\bf v}),\; \forall {\bf u,v} \in V,

[MATLAB] 將 symbolic expression 轉成 latex 程式碼

一般而言在 MATLAB 使用中不免會碰到使用 symbolic toolbox 情況,但有時表示式非常繁雜,如果又想要把該表示方程式轉寫成 latex 貼到論文中該怎麼辦? MATLAB 提供一個非常方便的功能 latex(.) 可以幫助我們直接轉換 MATLAB symbolic expression 成為 LATEX code