跳到主要內容

發表文章

目前顯示的是 2010的文章

[數學分析] 多變數函數的偏導數

令 $E\subset \mathbb{R}^n$ 為 open set。
考慮函數 ${\bf f}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ 。令 $\{{\bf e}_1,...,{\bf e}_n\}$ 與 $\{{\bf u}_1,...,{\bf u}_m\}$ 各為 $\mathbb{R}^n$ 與 $\mathbb{R}^m$ 的 standard bases。則我們可以將 $\bf f$ 以分量(components)形式 $f_i$ 表示:對任意 ${\bf x} \in E$,
\[
{\bf f}({\bf x}) := \sum_{i=1}^m f_i ({\bf x}){\bf u}_i =f_1 {\bf u}_1 + ... + f_m {\bf u}_m
\]或者${f_i}\left( {\bf{x}} \right) = {\bf{f}}\left( {\bf{x}} \right) \cdot {{\bf{u}}_i},i = 1,...,m$

對任意 ${\bf x} \in E $,$1 \le i \le m$ 且 $1 \le j \le n$ 我們可以定義 偏導數 (Partial Derivative)
\[\left( {{D_j}{f_i}} \right)\left( {\bf{x}} \right): = \mathop {\lim }\limits_{t \to 0} \frac{{{f_i}\left( {{\bf{x}} + t{{\bf{e}}_j}} \right) - {f_i}\left( {\bf{x}} \right)}}{t}\]若上述極限存在。

Comments:
1. 注意到 $f_i({\bf x}) = f_i(x_1,...,x_n)$ 故 $D_j f_i$ 表示了固定其餘變數,僅對 $f_i$ 中的 $x_j$ 求導:故我們記做
\[
D_jf_i ({\bf x}) := \frac{\partial f_i}{\partial x_j}
\]並且稱 $D_jf_i$ 為偏導數 (Partial Derivative)

2. 對任意多變數連續函數而言,儘管偏導數存在並不保證全導數存在:但反之則成立:亦即若 $\bf f$ 在點 $…

[數學分析] 淺論 Arzela-Ascoli Theorem

這次要介紹一個好用的定理:稱作 Arzela-Ascoli Theorem ,此定理提供了何時可以說某 函數所構成的集合 為 totally bounded 的 充分必要條件

========================
Theorem: Arzela-Ascoli Theorem
令 $K$ 為 compact ,考慮 collection of functions $\mathcal{F} \subset C(K)$ 為 totally bounded 若且唯若
    1. $\mathcal{F}$ 為 point-wise bounded
        ( $ \forall x$,$\exists M(x)$ 使得對任意 $f(x) \in \mathcal{F}$, $|f(x)| \le M(x)$)
    2.  $\mathcal{F}$ 為 equicontinuous。
         $(\; \forall \varepsilon>0$,$\exists \delta>0$ 使得對任意 $x,z \in K$,
$$|x-z| < \delta \Rightarrow |f(x) - f(z)| < \varepsilon, \;\;\;\;\; \forall f \in \mathcal{F}\;)$$

========================

Comment: 
判斷 Equicontinuouity 的方法除了前述定義法之外,還可用 uniform convergence sequence 定義;亦即 有兩種 判斷 Equicontinuouity 的方法:
1. 由定義
2. 若 $K$ 為 compact metric space 且對任意 $n \in \mathbb{N}$,$f_n \in C(K)$ 且 $\{f_n\}$ converges uniformly on $K$ 則 $\{f_n\}$ 為 equicontinuous on $K$。

=============
Corollary: 一個 closed $\mathcal{F} \subset C(K)$ 為 compact 若且為若 $\mathcal{F}$ 為 pointwise-bounded 與 equic…

[數學分析] 淺論收縮寫像定理-Contraction Principle

這次要介紹 收縮寫像定理 (Contraction Principle) 此為分析學中非常強大的工具。最大的應用是用來證明 微分方程 ODE 的解存在性與唯一性。我們在此將簡介此定理,介紹之前我們先介紹甚麼叫做 contraction ?


=============================
Definition: Contraction
令 $(X,d)$ 為 metric space。
我們說一個函數 $\Phi: X \to X$ 為 contraction 若下列條件成立:
存在常數 $c$ 滿足 $0 \le c <1$ 且 $$d(\Phi(x), \Phi(y)) \le c \cdot d(x,y)
$$
=============================

Comments: 
1. 注意到我們要求常數 $c <1$ !! (不可等於 $1$)
2. 上述定義中的 $d(\cdot, \cdot)$ 為 $X$ 上 metric 。


現在我們看一些例子讓我們熟悉上述的定義

Example 1: 考慮 $\mathbb{R}$ 且裝備標準 metric 作為 metric space。試判斷 $f: \mathbb{R} \to \mathbb{R}$ 且
\[
f(x) := x+1
\]是否為 contraction?

Proof:
為了要判斷 $f$ 是否為 contraction,我們直接檢驗其 metric:
\[\begin{array}{l}
d\left( {f\left( x \right),f\left( y \right)} \right): = \left| {f\left( x \right) - f\left( y \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \left| {x + 1 - \left( {y + 1} \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = 1 \cdot \left| …

[機率論] 特性函數(1) - Properties

給定隨機變數 $X$,我們可以定義其對應的特性函數 (characteristic function) 如下: \[
\phi_X(t):= E [e^{itX}]
\]
Comment: 
1. 特性函數可視為 Fourier Transform。
2. 特性函數只與 $X$ 的 distribution 有關。
3. 特性函數滿足下列關係:$\phi(0)=1 $ 且
\[\left| {{\phi _X}(t)} \right| = \left| {E[{e^{itX}}]} \right| \le E\left[ {\left| {{e^{itX}}} \right|} \right] \le 1\]
4. 特性函數為 uniformly continuous on $\mathbb{R}$。亦即
對任意  $t \in \mathbb{R}$,我們有
\[\begin{array}{l}
\left| {\phi \left( {t + h} \right) - \phi \left( t \right)} \right| = \left| {E{e^{i\left( {t + h} \right)X}} - E{e^{i\left( t \right)X}}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {E\left[ {{e^{i\left( t \right)X}}\left( {{e^{i\left( h \right)X}} - 1} \right)} \right]} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le E\left[ {\left| {{e^{i\left( t \right)X}}\left( {{e^{i\left( h \right)X}} - 1} \right)} \right|} \right] \to 0 \;\;  \text{as  $\; h \downarrow 0$}
\end{array}\]上述極限成立因為 Dominated Conv…

[數學分析] 函數的 不連續性

令函數 $f: X \to Y$ 且 $x \in X$ 為其 domain 中一點 使得 $f$ 在該點不連續。則我們稱 函數$f$ 在此點 $x$ 不連續 ($f$ is discontinuous at $x$)。 比如說,我們看下圖,可發現該函數在 $x_0$ 處不連續 (函數圖形在 $x_0$點發生不連續, but 左右極限相等)

https://zh.wikipedia.org/wiki/%E4%B8%8D%E8%BF%9E%E7%BB%AD%E7%82%B9#mediaviewer/File:Discontinuity_removable.eps.png


一般而言如果 $f$ 是透過 "分段"定義,都會有不連續問題存在。不過在此之前我們需要一些先導觀念幫助我們:亦即所謂的 左極限 (left-limits of $f$ at $x$, $f(x-)$) 與 右極限 (right-limits of $f$ at $x$, $f(x+)$)

===================
Definition: Right-Limit 
令 $f$ 定義在 $(a,b)$ 上 ,考慮任意點 $x$ 使得 $a \le x < b$,我們說 $f$在 $x$ 點處 右極限存在 (記做$f(x+) = q$ ) 若下列條件成立:
對任意 sequence $\{t_n\} \subset (x,b)$ 使得 $t_n \to x$ ,$f(t_n) \to q$ 當 $n \to \infty$

Definition: Left-Limit
令 $f$ 定義在 $(a,b)$ 上,考慮任意點 $x$ 使得 $a < x \le b$,我們可寫  $f$在 $x$點左極限 存在 (記做$f(x-) = q$ ) 若下列條件成立:
對任意 sequence $\{t_n\} \subset (a,x)$ 使得 $t_n \to x$ ,$f(t_n) \to q$ 當 $n \to \infty$
===================

Comments:
一般而言,常見的寫法還有
\[\left\{ \begin{array}{l}
f(x + ) = \mathop {\lim }\limits_{t \searrow x} f\left…

[數學分析] 淺論多變數函數的全導數

首先回憶 單變數 函數的導數定義

若 $f : (a,b) \subset \mathbb{R} \to \mathbb{R}$ 為 實數函數 若 $x \in (a,b)$ 則其 導數
\[
f'(x) := \lim_{h \to 0}\frac{f(x+h) - f(x)}{h}
\]

上述的單變數函數導數雖然直覺,但是若我們想要拓展到多變數情況的時候便會面臨一些問題,比如說上述導數定義需要除以 $h $ 但如果我們現在考慮 多變數 的時候此時分母 $h$ 會變成向量 $\bf h$ 此時我們該怎麼處理 "除以一個向量" 這類的問題。

想法如下:取 norm $||\cdot||$ 將向量變回單變數。

==================
Definition: Differentiable at point ${\bf x}$
我們稱函數 ${\bf{f}}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ ($E$ 為 open) 為在 ${\bf x} \in \mathbb{R}^n$ 可微,若下列條件成立:
存在 Linear Transformation $L \in \mathcal{L}(\mathbb{R}^n, \mathbb{R}^m)$ 使得
\[\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - L \cdot {\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0
\]且我們稱 ${\bf f}$ 為在  ${\bf x} \in \mathbb{R}^n$ 可微且記做 ${\bf{f}}'\left( {\bf{x}} \right) = L$
==================

==================
Definition: Differentiable on an open set $E$
若 ${\bf{f}}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ 且 $E$ open,則我們說 $…

[微積分] 隱函數

現在考慮 單變數函數 $f(x)$,則我們可以將函數可以寫成如下形式:
$$y = f(x)
$$比如說 $y = \sqrt{x^2+1}$ 或者 $y=x \sin (x)$

但有時我們也會遇到一些函數比如說
\[
x^2 + y^2 = 25\;\; \text{ or }\;\; x^3+ y^3 = 6xy
\] 觀察上述兩個例子,讀者可發現函數的關係被隱藏在上述等式之中,或者說上述等式利用 變數 "$x,y$ 之間關係 來定義,我們將此類函數稱作 隱函數implicit function ),一般記做 $F(x,y) = 0$ (此時 $y$ 被隱藏在一個 $F(x,y)$之中)
\[\left\{ \begin{array}{l}
{x^2} + {y^2} = 25 \Rightarrow \underbrace {{x^2} + {y^2} - 25}_{: = F\left( {x,y} \right)} = 0\\
{x^3} + {y^3} = 6xy \Rightarrow \underbrace {{x^3} + {y^3} - 6xy}_{: = G\left( {x,y} \right)} = 0
\end{array} \right.
\]那麼我們的問題很顯然的是,是否可以把上述 隱函數 $F(x,y)=0$ 轉換回原本的 $y = f(x)$?

答案是:只有在一些特定情況才可以求解隱函數 並透過將 $y$ 表示成 $x$ ,那麼這些所謂的特定情況是什麼? 這個問題將留待 之後我們介紹 隱含數定理的時候才會介紹。這邊只是先給出一些較為直覺的想法:

以下我們看個例子:

Example
考慮隱含數 $F(x,y) = x^2 + y^2 = 25$,試將其改寫回 $y=f(x)$ 的形式。

Solution
\[\begin{array}{l}
F\left( {x,y} \right) = 0\\
 \Rightarrow {x^2} + {y^2} - 25 = 0\\
 \Rightarrow y =  \pm \sqrt {25 - {x^2}}
\end{array}\]且此時 $y := f(x)$ 且我們可繪製如下圖


Exercise
試仿照前例,考慮隱含數 $x^3+ y^3 = 6xy$ 試將其改寫回 $y…

[微積分] 雙變數函數的極限

以下討論均考慮 雙變數情況
============
Definition: Limit of function with two variables
令 $f :D \subset  \mathbb{R}^2 \to \mathbb{R}$ 且 點 $(a,b) \in D$,則我們說 $f(x,y)$ 在點 $ (a,b)$ 的 Limit  $L$ 記做 $f(x,y) \to L$ as $(x,y) \to (a,b)$ 或者
\[
\lim_{(x,y) \to (a,b)}f(x,y) =L
\]若下列條件成立:
對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對任意 $(x,y) \in D$,
\[
\sqrt{(x-a)^2+(y-b)^2} < \delta \Rightarrow |f(x,y) - L| < \varepsilon
\]============

Comments:
事實上上述定義可直接推廣到 $n$ 變數的情況,但為免以下分析過於複雜我們在此僅討論雙變數的情況。以下我們看個例子。


Example
試證 $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2}$ 存在 且 其極限值為 $0$。

Proof:
要證明   $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2}$ 存在,由定義出發:給定  $\varepsilon >0$,要證明 存在 $\delta >0$ 使得 對任意 $(x,y) \in \mathbb{R}^2$,
\[
\sqrt{(x-0)^2+(y-0)^2} < \delta \Rightarrow |f(x,y) - 0| < \varepsilon
\]
首先觀察
\[|f(x,y) - 0| = |\frac{{3{x^2}y}}{{{x^2} + {y^2}}}| = \frac{{3{x^2}\left| y \right|}}{{{x^2} + {y^2}}} \le 3\left| y \right| = 3\sqrt {{y^2}}  \le 3\sqrt {{y^2} …

[分享] 控制理論領域的主要會議與期刊

控制理論的三大會議:

IEEE Conference on Decision and Control, CDC每年的12月舉辦,截稿日多在當年三月底IEEE American Control Conference, ACC每年的五月中下旬舉辦,截稿日多在前一年七月IFAC World Congress, IFAC WC由國際自動控制聯盟 (IFAC) 舉辦的大會,每三年召開一次,一般在10月底截稿,隔年七月舉辦

上述 IEEE CDC 與 IEEE ACC 會議由 IEEE Control Systems Society 的投稿內容可以在擴增修訂後續投其母期刊 IEEE Transactions on Automatic Control。另外 IFAC WC 會議的投稿內容可以在擴增修訂後續內容後投稿到 Automatica


另外還有幾個也非常不錯的控制理論相關的會議

European Control Conference, ECC 由 European Control Association (EUCA) 主辦,每兩年一次。Annual Allerton Conference on Communication, Control, and Computing每年七月截稿,當年度九月舉辦。

機器人相關領域的主要會議,由 IEEE Robotics and Automation Society 主辦

IEEE International Conference on Robotics and Automation, ICRAIEEE International Conference on Automation Science and Engineering, CASEIEEE/RSJ International Conference on Intelligent Robots and Systems, IROS



[微積分] Little-oh 的性質 與 其對應的 函數可導定義

======================
Definition: $f$ is Little-Oh of $x$
我們說 當 $x \to 0$ 時, $f(x) = o (x)$ 若下列條件成立:
對任意 $\varepsilon>0$ 存在 $\delta > 0$ 使得
\[ |x - 0| < \delta \Rightarrow \frac{f(x)}{|x|} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x} \frac{f(x)}{|x|} = 0$
======================

上述定義可進一步推廣如下:

======================
Definition: $f$ is Little-Oh of $g$
我們說 當 $x \to x_0$ 時, $f(x) = o (g(x))$ 若下列條件成立:
對任意 $\varepsilon>0$ 存在 $\delta > 0$ 與 正數 $c>0$ 使得
\[ |x - x_0| < \delta \Rightarrow \frac{f(x)}{g(x)} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x_0} \frac{f(x)}{g(x)} = 0$
======================

以下我們先看個定理,此定理描述了 $o(x)$ 的一些常用性質:

======================
Theorem:
令 $f, g : I \to \mathbb{R}$ 為兩函數 且 $0 \in I$。若 $f(x) = o(x)$ 且 $g(x) =o(x)$ 則下列三個性質成立
\[\begin{array}{l}
1. \; f\left( x \right) + g\left( x \right) = o\left( x \right)\\
2. \; \alpha f\left( x \right) = o\left( x \right),\begin{array}{*{20}{c}}
{}&{}
\end{array}\forall \alpha  \in \mathbb{R…

[數學分析] Fourier Series 的 L^2 收斂 與 Parseval's Theorem

首先回憶一些 Fourier Series 重要的結果

FACT: 任意週期為 $2 \pi$ 之連續函數 $f$ 必存在一組 trigonometric polynomial $P:=\sum\limits_{ - N}^N {{c_n}{e^{inx}}} $ 使得 對任意 $x \in \mathbb{R}$ 而言,
\[
|P(x) - f(x)| < \varepsilon
\]

但是上述定理無法告訴我們何時週期函數可以被表示成 Fourier Series,故下面的定理尤為重要,通常用此定理判斷某週期函數是否可以表示成 Fourier Series (Pointwise sense)。

================
Theorem 0: Pointwise Convergence of Fourier Series
若 對某些 $x \in [-\pi, \pi]$ 而言, 存在 $\delta >0$ 與 $M>0$ 使得 對任意 $t \in (-\delta, \delta)$
\[
|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|
\]則 $ \displaystyle \lim_{N \rightarrow \infty}S_N(f;x) = f(x)$
===============

接著我們介紹另一個相對於 逐點收斂的重要的結果,稱作 L^2 收斂,亦即 Fourier Series 在 convergence in L^2。

================
Theorem 1: Fourier Series Converges in L^2
假設 $f, g$ 為 週期 $2 \pi$ 之 週期連續函數,且
\[
f(x) \sim \sum_{-\infty}^\infty c_n e^{inx}; \;\; g(x) \sim \sum_{-\infty}^\infty \gamma_n e^{inx}
\] 則
\[\mathop {\lim }\limits_{N \to \infty } \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{{\left| {f\left( x \right) - {S_N}\left( {…

[微積分] Little-oh 與 Big-oh 符號

======================
Definition: $f$ is Big-Oh of $g$
令 $f, g$ 為任意函數在 $x = x_0$ 附近可定義。我們說 當 $x \to x_0$ 時, $f(x) = O(g(x))$) 若下列條件成立:
存在 $\delta >0$ 與 正數 $c>0$ 使得\[
|x - x_0| < \delta  \Rightarrow |f(x)| \le c |g(x)|
\]======================

======================
Definition: $f$ is Little-Oh of $g$
我們說 當 $x \to x_0$ 時, $f(x) = o (g(x))$ 若下列條件成立:
對任意 $\varepsilon>0$ 存在 $\delta > 0$  使得
\[ |x - x_0| < \delta \Rightarrow \frac{f(x)}{g(x)} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x_0} \frac{f(x)}{g(x)} = 0$
======================


Comments:
1. $o(g(x))$ (要求收斂) 條件比 $O(g(x))$ (僅要求有界) 條件強烈。

2. 我們說某函數 $f$ 在 $x_0$ 處連續亦可以用此 little-oh 符號表達:
\[
f(x) - f(x_0) = o(1) \text{ as $ x \to x_0$}
\]
3. 一般而言,上述定義中的 函數 $g(x)$ 多半考慮為較 $f(x)$ 簡單的函數以用作比較函數 decay or growth rate ;以下我們看幾個例子

Example 1: 選 $g :=1$ 且考慮當 $x \to x_0$ 時,
(a) $f(x) = O(g(x) )= O(1)$ 試解釋其意義:
(b) $f(x) = o(g(x)) = o(1)$ 試解釋其意義:

Solution:
(a) 當 $x \to x_0$ 時,$f(x) = O(g(x) = O(1)$ 由定義可知:存在 $\delta >0$ 與 正數 $c&…

[回憶] 那段在板橋教會開心的日子

最近,我偶爾回憶以前過往的時光,特別是在國小的時候,那段在教會開心的日子



板橋基督長老教會一景
那個時候,每周六差不多下午一點左右,剛吃飽飯就會歡天喜地衝去教會,等著四點的(啟龍哥)的直笛課,在上課之前的這段時間,我總跟三五死黨(義人、達人、俊智、偉文) 玩在一起

那時,我們這群小蘿蔔頭可以玩的東西可多了。光一顆躲避球就玩得昏天暗地,一下子是 報數球,一下子是 正規躲避球 雖然每次玩躲避球就會砸到(壞!?)停在路邊的車子,如果沒帶球也澆不熄這群小鬼頭們的熱情,我們就玩捉迷藏、四處探險、紅綠燈鬼抓人、賽跑、等等。那時教會對面有棟大樓,小時候看總是覺得髒髒的,老以為是間鬼屋,有一次終於鼓起勇氣,我們一群人闖了進去。想看看爬到頂樓會出現甚麼鬼怪,結果電梯門一開,迎接我們的是一堆盆栽,最後呢,當然是被裡面的小姐請了出來,後來長大才知道那棟大樓是政府機構。如果碰到雨天,沒辦法在戶外活動的時候,我們也會自製些"紙上遊戲 (現在稱桌遊)"來給大家玩,甚至一時興起還自己畫一些漫畫與大家分享;比如說小時候我們非常著迷洛克人這玩意(如下圖),還自己山寨了一個"戰鬥人漫畫"跟大家分享..大家也都很捧場,佳評如潮玩得不亦樂乎。


至於週日的正常主日學聚會,更是我們這群蘿蔔頭呼風喚雨的時光,那時候一下課,就會有錄影帶卡通撥放,但我們總是拿著教會裡面那些軟積木充當棒球棍,揉著報紙當球在那打起迷你室內棒球,老是在爭論 我投的是好球還是壞球,或者你打的是全壘打還是安打...又或者把積木排成一關又一關的關卡,自以為是超人般的闖著那小小的積木關卡我們老是玩到了樓下聚會結束,才依依不捨離開,

那段日子,我度過了非常非常開心的主日學六年...

但不知怎麼地,隨著時光的飛逝,我們這群當年永遠的死黨卻一個一個先後離開,先是俊智回南部,偉文、達人也因為一些原因不再來教會, 最後接著是我因為念書的原因離開了台北,一走就是六年,直到2009年末才回到台北,再回來教會時,頓時頗有遊子歸鄉,近鄉情怯之感。當然,那段美麗的時光 與我們燦爛的笑容當然就沒有在繼續譜寫下去。不過 正因為如此,這些故事也才會一直縈繞在我心頭.

我記得 某天刮颱風 我們大喊著 這是"暴風雪人的關卡"
我記得 我們老指著對面大樓養的黑白狗叫做乳牛.
我記得 我們上直笛課 老唱到一首小草(若…

[機率論] 淺論獨立性質 與 Dynkin's pi-lambda 定理

直觀上,說事件獨立表示事件過去發生的歷史不會影響未來的結果。比如說我們考慮某隨機試驗為 投擲公平銅板三次,其結果 出現正面或者反面 不影響 下一次試驗出現正面或者反面的機率。則我們可將此投擲銅板的隨機試驗視為獨立事件。


以下我們給出各種獨立性的定義:

給定機率空間 $(\Omega, \mathcal{F}, P)$。
Definition: Independence of Two Events
我們說兩事件 $A,B \in \mathcal{F}$ 彼此獨立 (A independent of B) 若下列條件成立
\[
P(A \cap B) = P(A)P(B)
\]

Definition: Independence of Two Random Variables
我們說 兩隨機變數 $X, Y$ 從 $(\Omega, \mathcal{F})$ 映射到 $(\mathbb{R},\mathcal{B}_{\mathbb{R}})$彼此獨立,若下列條件成立
對任意 $C, D \in \mathcal{B}_{\mathbb{R}}$
\[
P(X \in C, Y \in D) = P(X \in C, Y \in D)
\]其中 $\mathcal{B}_{\mathbb{R}}$ 為 Borel sigma-algebra。

Definition: Independence of Two Sigma-Algebras
我們說 兩 sigma-algebra $\mathcal{F}, \mathcal{G}$ 彼此獨立,若下列條件成立
對任意 $A \in \mathcal{F}$ 與 $B \in \mathcal{G}$ 我們有
\[
P(A \cap B) = P(A)P(B)
\]

現在我們看個事件獨立的結果:

=========================
FACT: 若事件 $A$, $B$ 為獨立,則 $A$ 與 $B^c$, $A^c$, 以及 $B$ 與 $B^c$, $A^c$ 均為獨立。
=========================
Proof:
在此只證 $A$ 與 $B^c$ 獨立。其餘證法皆雷同不贅述。由於要證  $A$ 與 $B^c$ 獨立,由定義可知我們必須要證明
\[
P(A \cap B^c) = P(A) P(…

[數學分析] Fourier Series 逐點收斂性質 的充分條件

閱讀本文之前,建議讀者先行閱讀 [數學分析] 三角多項式 與 三角級數 (1) 來熟悉符號與定義。

現在考慮週期連續函數 $f$,並取 $c_n$ 為 $f$ 的 Fourier Series Coefficient,則我們可以定義 $N$ 項 Partial sum $S_N(f;x)$ 如下:
\[
S_N(f;x) :=\sum_{n=-N}^N c_n e^{inx}
\]其中 $c_n = \frac{1}{2 \pi}\int_{-\pi}^\pi f(x) e^{-inx}dx$

為了簡化符號,我們現在定義 Dirichlet kernel $D_N(t) $  如下
\[
D_N(t) := \sum_{n =-N}^N e^{int}
\]讀者可自行驗證上述 Dirichlet kernel 滿足
\[{D_N}(t): = \sum\limits_{n =  - N }^N  {{e^{int}}}  = \frac{{\sin \left( {\left( {N + 1/2} \right)t} \right)}}{{\sin \left( {t/2} \right)}}\]且 $\int_{ - \pi }^\pi  {{D_N}(t)dt = 2\pi } $

現在讓 $n \to \infty$,我們想問何時 上述的 Partial sum 是否收斂到原函數? ;i.e., $$f(x) =?= \sum_n c_n e^{inx} $$ 答案是當 $f$ 為連續函數 或者滿足某程度的連續條件;則 我們前述定義的 Partial sum $S_N(f;x)$ 可以 "逐點收斂" 到原函數 $f$。我們將此重要的結果記錄成以下定理:
================
Theorem 1: Sufficient Condition For Pointwise Convergence of Fourier Series
若 對某些 $x \in [-\pi, \pi]$ 而言, 存在 $\delta >0$ 與 $M>0$ 使得 對任意 $t \in (-\delta, \delta)$
\[
|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|
\]則 …

[線性系統] 對角化 與 Eigenvalues and Eigenvectors

首先我們給出相關定義

============================
Definition (Eigenvalue and Eigenvector)
設 $A$ 為 $n \times n$ 方陣,若存在一非零向量 $x \in \mathbb{R}^n$ (or $\in \mathbb{C}^n$) 與 純量 $\lambda \in \mathbb{R}^1$ (or $\in \mathbb{C}^1$)滿足
\[
Ax = \lambda x
\]則我們稱 $\lambda$ 為 $A$ 的 特徵值 (eigenvalue) 且 $x$ 為 $A$對應於 $\lambda $ 的特徵向量(eigenvector)。
============================
Comments: 1. 上述定義中 $Ax = \lambda x$ 又稱 eigenvalue-eigenvector 關係: $( \lambda I - A)x =0$,注意! $0$ 為 零向量!!。
2. 若 $A$ 為 $n \times n$ 方陣,則我們稱下式 \[\det (\lambda I - A)\]為 $A$ 矩陣的 特徵多項式(characteristic polynomial) 且 $\det(\lambda I -A)=0$ 為特徵方程(characteristic equation)。
現在考慮 LTI 系統 (但無考慮外力 $u=0$) 以狀態空間表示
\[
\dot {x} = Ax,
\]其中 $x$ 為 $n \times 1$ 狀態向量,$A$ 為 $n \times n$ 常數矩陣。現在對上式取拉式轉換 且令初值為零,
\[sX\left( s \right) = AX\left( s \right) \Rightarrow \left( {sI - A} \right)X\left( s \right) = 0
\] 亦即對上述系統而言,其解特徵方程 (characteristic polynomial) 可寫為
\[
\det( s I - A) =0
\]且 特徵方程式的根 即為 eigenvalue。


對角化 (Diagonalization)

考慮  $A$ 為 $n$ 階方陣 ,且 $A$ 與 一個 對角矩陣(diagon…