[機率論] 淺論獨立性質 與 Dynkin's pi-lambda 定理

直觀上，說事件獨立表示事件過去發生的歷史不會影響未來的結果。比如說我們考慮某隨機試驗為 投擲公平銅板三次，其結果 出現正面或者反面 不影響 下一次試驗出現正面或者反面的機率。則我們可將此投擲銅板的隨機試驗視為獨立事件。


以下我們給出各種獨立性的定義：

給定機率空間 $(\Omega, \mathcal{F}, P)$。
Definition: Independence of Two Events
我們說兩事件 $A,B \in \mathcal{F}$ 彼此獨立 (A independent of B) 若下列條件成立
\[
P(A \cap B) = P(A)P(B)
\]

Definition: Independence of Two Random Variables
我們說 兩隨機變數 $X, Y$ 從 $(\Omega, \mathcal{F})$ 映射到 $(\mathbb{R},\mathcal{B}_{\mathbb{R}})$彼此獨立，若下列條件成立
對任意 $C, D \in \mathcal{B}_{\mathbb{R}}$
\[
P(X \in C, Y \in D) = P(X \in C, Y \in D)
\]其中 $\mathcal{B}_{\mathbb{R}}$ 為 Borel sigma-algebra。

Definition: Independence of Two Sigma-Algebras
我們說 兩 sigma-algebra $\mathcal{F}, \mathcal{G}$ 彼此獨立，若下列條件成立
對任意 $A \in \mathcal{F}$ 與 $B \in \mathcal{G}$ 我們有
\[
P(A \cap B) = P(A)P(B)
\]

現在我們看個事件獨立的結果：

=========================
FACT: 若事件 $A$, $B$ 為獨立，則 $A$ 與 $B^c$, $A^c$, 以及 $B$ 與 $B^c$, $A^c$ 均為獨立。
=========================
Proof:
在此只證 $A$ 與 $B^c$ 獨立。其餘證法皆雷同不贅述。由於要證  $A$ 與 $B^c$ 獨立，由定義可知我們必須要證明
\[
P(A \cap B^c) = P(A) P(B^c)
\]現在觀察下列事件等價
\[\left\{ {A \cap {B^c}} \right\} = \left\{ {A\backslash \left( {A \cap B} \right)} \right\}
\]且注意到 $A$ 與 $A \cap B$ 彼此 disjointed，故若我們計算其機率可得
\[P(A \cap {B^c}) = P(A\backslash \left( {A \cap B} \right)) = P(A) - P\left( {A \cap B} \right)
\]由於 $A$ 與 $B$ 獨立故 $P(A \cap B) = P(A) P(B)$，將此代入上式可得
\[\begin{array}{l}
 \Rightarrow P(A \cap {B^c}) = P(A) - P\left( {A \cap B} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A) - P\left( A \right)P\left( B \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A)\left[ {1 - P\left( B \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A)P\left( {{B^c}} \right) \ \ \ \ \square
\end{array}\]



那麼現在如果超過兩個以上的 事件, 隨機變數 or sigma-algebra, 的話怎麼辦呢?

Definition: Independence of Several Events
我們說事件 $A_1,A_2,...,A_n \in \mathcal{F}$ 彼此獨立 若下列條件成立：
$I \subset\{1,2,...,n\}$
\[P\left( {\bigcap\limits_{i \in I}^n {{A_i}} } \right) = \prod\limits_{i \in I}^n {P({A_i})} \]

Definition: Independence of Several Random Variables
我們說 隨機變數 $X_1,X_2,... X_n $ 從 $(\Omega, \mathcal{F})$ 映射到 $(\mathbb{R},\mathcal{B}_{\mathbb{R}})$彼此獨立，若下列條件成立：
對任意 $i=1,2,...,n$, $B_i \in \mathcal{B}_{\mathbb{R}}$
\[P\left( {\bigcap\limits_{i =1}^n {\left\{ {X \in {B_i}} \right\}} } \right) = \prod\limits_{i =1}^n {P\left( {X \in {B_i}} \right)} \]其中 $\mathcal{B}_{\mathbb{R}}$ 為 Borel sigma-algebra。

Definition: Independence of Several Sigma-Algebras
我們說  sigma-algebra $\mathcal{F_1},\mathcal{F_2},...,\mathcal{F_n}$ 彼此獨立，若下列條件成立：
對任意 $i =1,2,...,n$,  $A_i \in \mathcal{F_i}$ 我們有
\[P\left( {\bigcap\limits_{i =1}^n {{A_i}} } \right) = \prod\limits_{i=1}^n {P({A_i})}
\]

為了找出要 獨立性的充分條件，我們先介紹下面一些術語

===============================
Definition: $\pi$-system $\lambda$-system
我們說 $\mathcal{P}$ 為 $\pi$-system 若下列條件成立
1. $\mathcal{P} \neq \emptyset$
2. 若 $A,B \in \mathcal{P}$ 則 $A \cap B \in \mathcal{P}$

我們說 $\mathcal{L}$ 為 $\lambda$-system 若下列條件成立
1. $\mathcal{L} \neq \emptyset$, $\Omega \in \mathcal{L}$
2. 若 $A \in \mathcal{L}$ 則 $A^c \in  \mathcal{L}$
3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint， 則 $\bigcup_i A_i  \in \mathcal{L}$
===============================

Comment: Sigma-algebra 本身即為 $\lambda$-system。讀者可自行確認 Sigma-algebra 定義確實符合  $\lambda$-system。

===============================
Theorem: Dynkin's Pi-Lambda Theorem
若 $\mathcal{P}$ 為 $\pi$-system 且 $\mathcal{L}$ 為 $\lambda$-system 使得 $\mathcal{P} \subset \mathcal{L}$，則 $\sigma(\mathcal{P}) \subset \mathcal{L}$
===============================
Proof: omitted.


我們用下面的幾個 proposition 來驗證如何使用 $\pi-\lambda$ Theorem。首先看看如何檢驗一個集合確實為  $\lambda$-system。

===============================
Proposition: 令 $P_1, P_2$ 為兩個在 $(\Omega, \mathcal{B})$ 上的機率測度。則下列集合
\[
\mathcal{L}:=\{A \in \mathcal{B}: P_1(A) = P_2(A)\}
\]為 $\lambda$-system。
===============================

Proof:
要證明 $\mathcal{L}$ 為$\lambda$-system，由定義可知我們需檢驗下列三項性質都被滿足
1. $\mathcal{L} \neq \emptyset$, $\Omega \in \mathcal{L}$
2. 若 $A \in \mathcal{L}$ 則 $A^c \in  \mathcal{L}$
3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint， 則 $\bigcup_i A_i  \in \mathcal{L}$

故我們逐項檢驗如下：
1. 由於 $\Omega \in \mathcal{B}$，且 $P_1(\Omega) = P_2(\Omega)$ 故可知 $\Omega \in \mathcal{L}$ 且 $\mathcal{L} \neq \emptyset$。

2. 若 $A \in \mathcal{L}$，則 $A \in \mathcal{B}$ 且 $P_1(A) = P_2(A)$ 故我們觀察
\[\begin{array}{l}
{P_1}(A) = {P_2}(A) \Rightarrow 1 - {P_1}({A^c}) = 1 - {P_2}({A^c})\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \Rightarrow {P_1}({A^c}) = {P_2}({A^c})
\end{array}\]亦即 $A^c \in \mathcal{L}$。

3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint，則我們有 $P_1(A_i) = P_2(A_i), \;\; \forall i$ 且由於  $A_i$ disjoint ，我們觀察下式
\[{P_1}(\bigcup\limits_i^{} {{A_i}} ) = \sum\limits_i^{} {{P_1}({A_i})}  = \sum\limits_i^{} {{P_2}({A_i})}  = {P_2}(\bigcup\limits_i^{} {{A_i}} )\]亦即  $\bigcup_i A_i  \in \mathcal{L}$。

故綜合以上我們可知 $\mathcal{L}$ 三項條件都滿足，故 $\mathcal{L}$確實為 $\lambda$-system。$\square$


接著我們看看如何使用 Dynkin's pi-lambda theorem。

=================
Corollary
若 $P_1, P_2$ 個別為在 $(\Omega, \mathcal{B})$ 上 的機率測度 且 $\mathcal{P}$ 為 $\pi$-system 使得 對任意 $A \in \mathcal{P}$，$P_1(A) = P_2(A)$，則 對任意 $B \in \sigma(\mathcal{P})$，我們有 $P_1(B) = P_2(B)$。其中 $\sigma(\mathcal{P})$ 表示由 $\mathcal{P}$所產生的最小的 sigma-algebra 。
=================

Proof:
由 先前的 Proposition 可知 $\mathcal{L}:=\{A \in \mathcal{B}: P_1(A) = P_2(A)\} $ 為 $\lambda$-system，且注意到我們假設  $\mathcal{P}$ 為 $\pi$-system 使得 對任意 $A \in \mathcal{P}$，$P_1(A) = P_2(A)$，故 $\mathcal{P} \subset \mathcal{L}$，故利用 Dynkin's $\pi-\lambda$ Theorem：
---

若 $\mathcal{P}$ 為 $\pi$-system 且 $\mathcal{L}$ 為 $\lambda$-system 使得 $\mathcal{P} \subset \mathcal{L}$，則 $\sigma(\mathcal{P}) \subset \mathcal{L}$

---
可知  $\sigma(\mathcal{P}) \subset \mathcal{L}$，亦即對任意 $B \in \sigma(\mathcal{P})$，我們有 $P_1(B) = P_2(B)$。$\square$



============
Theorem: Independence class of sets implies independence of generated sigma-algebra
固定機率空間 $(\Omega, \mathcal{F}, P)$， 設  $\mathcal{A}_1,\mathcal{A}_2,...,\mathcal{A}_n$ 彼此獨立，且 $\mathcal{A}_i$ 為 $\pi$-system，則
\[\sigma(\mathcal{A}_1), \sigma(\mathcal{A}_2), ..., \sigma(\mathcal{A}_n)
\] 亦為彼此獨立。
============

Proof: 我們這邊證明上述結果在 $n=2$ 時候成立。首先固定 $A_2 \in \mathcal{A}_2$，我們建構一集合如下
\[
\mathcal{L}:=\{A\in \mathcal{F}: P(A \cap A_2) = P(A) P(A_2) \}
\]我們現在證明 $\mathcal{L}$ 為一個 $\lambda$-system。故首先檢驗 $\Omega $ 是否落在 $\mathcal{L}$之中。觀察 $\Omega \in \mathcal{F}$ 且 $P(\Omega \cap A_2) = P(A_2) = P(A_2) P(\Omega)$ 故 $\Omega \in \mathcal{L}$

接著我們檢驗 若 $A \in \mathcal{L}$ 中 則 $A^c $ 亦必須落在 $\mathcal{L}$之中。故 $A \in  \mathcal{L}$ 表示 $A \in \mathcal{F}$ 且 \[\begin{array}{l}
P(A \cap {A_2}) = P\left( A \right)P\left( {{A_2}} \right)\\
 \Rightarrow P(\left( {\Omega \backslash {A^c}} \right) \cap {A_2}) = \left[ {1 - P\left( {{A^c}} \right)} \right]P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {\left( {\Omega  \cap {A_2}} \right)\backslash \left( {{A^c} \cap {A_2}} \right)} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A_2}\backslash \left( {{A^c} \cap {A_2}} \right)} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A_2}} \right) - P\left( {{A^c} \cap {A_2}} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A^c} \cap {A_2}} \right) = P\left( {{A^c}} \right)P\left( {{A_2}} \right)
\end{array}\]故可得 $A^c \in \mathcal{L}$。

最後我們檢驗若 $B_1, B_2, ...  \in \mathcal{L}$ 且互為 disjoint，我們要檢驗是否  $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{L}$

故令 $B_1, B_2, ...  \in \mathcal{L}$且互為 disjoint，則我們有 $B_1, B_2, ... \in \mathcal{F}$ 且 $P(B_i \cap A_2) = P(B_i) P(A_2), \;\; \forall i \in \mathbb{N}$ 現在觀察  $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{F}$ 且
\[\begin{array}{l}
P\left( {\left( {\bigcup\limits_{i = 1}^\infty  {{B_i}} } \right) \cap {A_2}} \right) = P\left( {\bigcup\limits_{i = 1}^\infty  {\left( {{B_i} \cap {A_2}} \right)} } \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \sum\limits_{i = 1}^\infty  {P\left( {{B_i} \cap {A_2}} \right)}  = P({A_2})\sum\limits_{i = 1}^\infty  {P({B_i})} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = P\left( {\bigcup\limits_{i = 1}^\infty  {{B_i}} } \right)P({A_2})
\end{array}\]亦即 $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{L}$ 。

綜合上述三點我們可以推得 $\mathcal{L}$ 為 $\pi$-system，且由假設可知 $\mathcal{A}_1, \mathcal{A}_2$ 皆為 $\pi$-system 且 $\mathcal{A}_1 \subset \mathcal{L}$ 因為 取任意集合 $A_1 \in \mathcal{A}_1$ 則 由假設$\mathcal{A}_1, \mathcal{A}_2$ 彼此獨立，故 $P(A_1 \cap A_2) = P(A_1) P(A_2)$ 此結果確實滿足 $\mathcal{L}$之要求，故  $\mathcal{A}_1 \subset \mathcal{L}$ 。

現在我們利用 Dynkin's pi-lambda theorem 可知道 $\sigma(\mathcal{A}_1) \subset \mathcal{L}$ 故可推論 $\sigma(\mathcal{A}_1)$ 與 $\mathcal{A}_2$ 互為獨立。

現在推廣上述結果可證得 $\sigma(\mathcal{A}_1)$ 與 $\sigma (\mathcal{A}_2)$ 互為獨立。




============
Theorem: 
設 $\mathcal{F}_{i,j}$, $1 \le i \le n$ 且 $1 \le j \le m(i)$ 互為獨立的 sigma-algebras，且令
\[
\mathcal{G}_i := \sigma(\bigcup_j F_{i,j})
\]則 $\mathcal{G}_1,...,\mathcal{G}_2$ 亦互為獨立。
============
Proof:
我們要證明 sigma-algebras  $\mathcal{G}_1,...,\mathcal{G}_2$ 亦互為獨立。

首先定義集合
\[
\mathcal{A}_i := \{ A_{i,j} \in \mathcal{F}_{i.j} : \bigcap_j A_{i,j} \}
\] 注意到 由於 $\mathcal{F}_{i,j}$ 為 sigma-algebra，可知  $\Omega \in \mathcal{F}_{i,j},\;\; \forall i,j $ ；故若我們取 $A_{i,j} := \Omega$，則 $ \bigcap_j A_{i,j} = \Omega$ 亦即 $\Omega \in \mathcal{A}_i$；且 $\mathcal{A}_i \neq \emptyset$。  $\ \ \ \ (*)$

接著我們檢驗 $\mathcal{A}_i$ 是否為 $\pi$-system： 若  $A_{i,j}, B_{i,j} \in \mathcal{A}_{i,j}$ 則 $A_{i,j} \cap B_{i,j} \in \mathcal{A}_i$ $\ \ \ \ (**)$。故由 $(*)$ 與 $(**)$ 可知 $\mathcal{A}_i$ 為 $\pi$-system。

接著我們試圖要把 $\mathcal{A}_i$ 與我們要證明的 $\mathcal{G}_i$ 關係連結起來，故我們檢驗 $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$：
令 $A_{i,j} \in \mathcal{F}_{i,j}$ 我們要證明  $A_{i,j} \in  \mathcal{A}_i$，現在觀察 $\bigcap_j A_{i,j} = A_{i,j} \cap \Omega \cap \Omega \cap ...$ 故可推得 $A_{i,j} \in \mathcal{A}_i$。亦即 $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$。

再者，若 $A_{i,j} \in \mathcal{A}_i$ 則 $A_{ij} \in \mathcal{F}_{i,j}$ ，由定義可知 $\mathcal{F}_{i,j}$ 互為獨立，故 $\mathcal{A}_i$ 互為獨立。

現在總結手上有的對於 $\mathcal{A}_i$ 結果如下：
1.  $\mathcal{A}_i$ 為 $\pi$-system
2.  $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$
3.  $\mathcal{A}_i$ 互為獨立。

現在由 Theorem: Independence class of sets implies independence of generated sigma-algebra 可知：若 $\mathcal{A}_1,\mathcal{A}_2,...,\mathcal{A}_n$ 彼此獨立，且 $\mathcal{A}_i$ 為 $\pi$-system，則
\[\sigma(\mathcal{A}_1), \sigma(\mathcal{A}_2), ..., \sigma(\mathcal{A}_n)
\] 亦為彼此獨立。

亦即我們得到 $\sigma(\mathcal{A}_i)$ 亦互為獨立。且 $\sigma(\mathcal{A}_i) \supset \mathcal{A}_i \supset \bigcup_j \mathcal{F}_{i,j}$ 故可推知 (由 $ \sigma(\cup_j \mathcal{F}_{i,j})$ 為最小的 sigma-algebra 包含 $\mathcal{F}_{i,j}$)
\[
\sigma(\mathcal{A}_i) \supset \mathcal{G}_i := \sigma(\cup_j \mathcal{F}_{i,j})
\]且由於 $\sigma(\mathcal{A}_i)$ 亦互為獨立，故 $\mathcal{G}_i $ 互為獨立。 $\square$

[數學分析] Fourier Series 逐點收斂性質 的充分條件

閱讀本文之前，建議讀者先行閱讀 [數學分析] 三角多項式 與 三角級數 (1) 來熟悉符號與定義。

現在考慮週期連續函數 $f$，並取 $c_n$ 為 $f$ 的 Fourier Series Coefficient，則我們可以定義 $N$ 項 Partial sum $S_N(f;x)$ 如下：
\[
S_N(f;x) :=\sum_{n=-N}^N c_n e^{inx}
\]其中 $c_n = \frac{1}{2 \pi}\int_{-\pi}^\pi f(x) e^{-inx}dx$

為了簡化符號，我們現在定義 Dirichlet kernel $D_N(t) $  如下
\[
D_N(t) := \sum_{n =-N}^N e^{int}
\]讀者可自行驗證上述 Dirichlet kernel 滿足
\[{D_N}(t): = \sum\limits_{n =  - N }^N  {{e^{int}}}  = \frac{{\sin \left( {\left( {N + 1/2} \right)t} \right)}}{{\sin \left( {t/2} \right)}}\]且 $\int_{ - \pi }^\pi  {{D_N}(t)dt = 2\pi } $

現在讓 $n \to \infty$，我們想問何時 上述的 Partial sum 是否收斂到原函數? ;i.e., $$f(x) =?= \sum_n c_n e^{inx} $$ 答案是當 $f$ 為連續函數 或者滿足某程度的連續條件；則 我們前述定義的 Partial sum $S_N(f;x)$ 可以 "逐點收斂" 到原函數 $f$。我們將此重要的結果記錄成以下定理：
================
Theorem 1: Sufficient Condition For Pointwise Convergence of Fourier Series
若 對某些 $x \in [-\pi, \pi]$ 而言， 存在 $\delta >0$ 與 $M>0$ 使得 對任意 $t \in (-\delta, \delta)$
\[
|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|
\]則 $ \displaystyle \lim_{N \rightarrow \infty}S_N(f;x) = f(x)$
===============

Comments: 
1. 上述定理中的條件：存在 $\delta >0$ 與 $M>0$ 使得 $|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|$ 一般稱為 Lipschitz Condition。
2. 上述定理並 不 保證 均勻收斂!!!

Proof (Theorem 1) : 我們要證 $S_N(f;x) \to f(x)$ 逐點收斂；亦即 $\lim_{N \rightarrow \infty}S_N(f;x) = f(x)$ ；故取 $x$ 滿足假設條件，且給定 $\varepsilon>0$ 我們要證 存在 $N>0$ 使得 $n \ge N \Rightarrow |S_N(f;x) - f(x)| <\varepsilon$ 。現在觀察
\[\begin{array}{*{20}{l}}
{|{S_N}(f;x) - f(x)| = |\sum\limits_{n =  - N}^N {{c_n}{e^{inx}}}  - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\sum\limits_{n =  - N}^N {\left( {\int_{ - \pi }^\pi  {f\left( t \right)} {e^{ - int}}dt} \right)} {e^{inx}} - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( t \right)} \sum\limits_{n =  - N}^N {{e^{in\left( {x - t} \right)}}dt}  - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( t \right)} {D_N}\left( {x - t} \right)dt - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( t \right)} {D_N}\left( {x - t} \right)dt - \underbrace {\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt}_{ = f\left( x \right)}|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}|\int_{x - \pi }^{x + \pi } {f\left( {x - s} \right)} {D_N}\left( s \right)ds - \int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt|}
\end{array}\]注意到由於 $D_N$ 與 $f$ 為 週期 $2 \pi$函數，故其 $D_N f$ 亦為週期 $2 \pi$函數，故若我們對其積分 其積分範圍可以是 滿足總長為 $2 \pi$ 任意範圍  即可。亦即我們可繼續改寫前式如下：
\[\small \begin{array}{*{20}{l}}
{|{S_N}(f;x) - f(x)| = \frac{1}{{2\pi }}|\int_{x - \pi }^{x + \pi } {f\left( {x - s} \right)} {D_N}\left( s \right)ds - \int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}|\int_{ - \pi }^\pi  {f\left( {x - s} \right)} {D_N}\left( s \right)ds - \int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}|\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} {D_N}\left( t \right)dt|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left| {\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\sin \left( {\left( {N + 1/2} \right)t} \right)}}{{\sin \left( {t/2} \right)}}dt} \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left| {\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\sin \left( {Nt} \right)\cos \left( {t/2} \right) + \cos \left( {Nt} \right)\sin \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}dt} \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left| \begin{array}{l}
\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\sin \left( {Nt} \right)\cos \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + \int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\cos \left( {Nt} \right)\sin \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}dt
\end{array} \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \le \frac{1}{{2\pi }}\left[ \begin{array}{l}
\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\cos \left( {t/2} \right)} \right]} \sin \left( {Nt} \right)dt} \right|\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\sin \left( {t/2} \right)} \right]} \cos \left( {Nt} \right)dt} \right|
\end{array} \right]}
\end{array}
\]注意到若 $|t| \le \delta$ 則下列兩式
\[\left\{ \begin{array}{l}
\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}} \right]\cos \left( {t/2} \right)\\
\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}} \right]\sin \left( {t/2} \right)
\end{array} \right.
\]兩者皆為有界 $(|f(x+t) - f(x)| \le M |t| < M \delta)$。故
\[\small \begin{array}{*{20}{l}}
{|{S_N}(f;x) - f(x)| \le \frac{1}{{2\pi }}\left[ \begin{array}{l}
\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\cos \left( {t/2} \right)} \right]} \sin \left( {Nt} \right)dt} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\sin \left( {t/2} \right)} \right]} \cos \left( {Nt} \right)dt} \right|
\end{array} \right]}\\
{\begin{array}{*{20}{l}}
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \frac{M}{{2\pi }}\left[ {\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|\cos \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}} \right]} \sin \left( {Nt} \right)dt} \right| + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|\sin \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}} \right]} \cos \left( {Nt} \right)dt} \right|} \right]}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \underbrace {\frac{M}{{2\pi }}\left[ {\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|}}{{\sin \left( {t/2} \right)}}} \right]} \sin \left( {Nt} \right)dt} \right| + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|}}{{\sin \left( {t/2} \right)}}} \right]} \cos \left( {Nt} \right)dt} \right|} \right] \to 0}_{\left( {by\begin{array}{*{20}{c}}
{}
\end{array}\mathop {\lim }\limits_{n \to \infty } {c_n} = 0} \right)}}
\end{array}}
\end{array}\]

以下我們看個例子:

Example：
假設 $0 < \delta < \pi$，
\[f\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left| x \right| < \delta \\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\delta  < \left| x \right| \le \pi
\end{array} \right.\]且對任意 $x \in \mathbb{R}$， $f(x+2 \pi) = f(x)$
(a) 試求 Fourier Series Coefficient
(b) 試證 $\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}}  = \frac{{\pi  - \delta }}{2} $

Solution
在求解之前我們先確認 $f(x)$ 具有 Fourier Series，首先注意到 $f$ 為週期函數 (週期為 $2 \pi$) 接著我們檢驗其是否滿足我們的 point-wise convergence (Theorem 1) 條件：
給定 $x =0$ ，我們取題目中給定的 $\delta >0$ 檢驗對任意 $t \in (-\delta, \delta)$ ，觀察
\[\begin{array}{l}
\left| {f\left( {x + t} \right) - f\left( x \right)} \right| = \left| {f\left( t \right) - f\left( 0 \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {1 - 1} \right| = 0 \le M\left| t \right|
\end{array}\]故我們知道其滿足 Theorem 1，亦即 $f$ 有 Fourier Series 且 $f(x) = \sum_{-\infty}^\infty c_n e^{inx}$ 現在我們可以開始解題：
(a) 首先針對 $c_0$ 可知
\[{c_0}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right)dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1dx}  = \frac{\delta }{\pi }\]
另外對 $n \neq 0$
\[\begin{array}{l}
{c_n}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){e^{inx}}dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1{e^{inx}}dx} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{n\pi }}\frac{{{e^{in\delta }} - {e^{ - in\delta }}}}{{2i}} = \frac{1}{{n\pi }}\sin \left( {n\delta } \right)
\end{array}\]注意到上述結果暗示了
\[f\left( x \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}{e^{inx}}} \]
(b) 我們要證明  $\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}}  = \frac{{\pi  - \delta }}{2} $ 故由 part (a) 可知
\[\begin{array}{l}
f\left( x \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}{e^{inx}}} \\
 \Rightarrow f\left( 0 \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \\
 \Rightarrow 1 = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \\
 \Rightarrow \frac{{\pi  - \delta }}{{2\pi }} = \sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \ \ \ \ \ \square
\end{array}
\]

前述 Theorem  只有說明 Fourier Series 何時會 逐點收斂，那麼我們想問甚麼時候可以有均勻收斂呢? 要討論 均勻收斂 對於 Fourier Series 其實故事相當冗長，不過所幸我們可以加入額外假設馬上獲得我們想要的 均勻收斂性質，亦即 額外加入 函數除了週期連續之外，還需要可導在該區間內可導，則均勻連續性可以被保證。

==========
Theorem:
令 $f \in C^1([-\pi,\pi])$ 且 periodic ，則 $S_N(f) \to f$ uniformly。
==========
Proof:
要證明 $S_N(f) \to f$ uniformly；首先注意到 $f \in C^1([-\pi,\pi])$ 故自動滿足 Lipschitz condition；由 Theorem 1 亦即我們有 對任意 $x$，$S_N(f;x) \to f(x)$ pointwise。

故我們只需證明 $S_N(f)$ 均勻收斂 無須證明他收斂到 $f$ (why? 因為 limit 的唯一性質保證如果已經有 $S_N(f)$ 逐點收斂到某函數 $f$ 且又知道 $S_N(f)$ 均勻收斂 則 $S_N(f)$ 必定要均勻收斂到 $f$)。

那麼現在問題變成如何證明  $S_N(f)$ 均勻收斂 ? 回憶 $S_N(f)$ 定義：
\[{S_N}\left( {f;x} \right): = \sum\limits_{n =  - N}^N {{c_n}{e^{inx}}} \]我們需要額外的工具 幫助我們證明上述 summation 收斂。回憶：( Weierstrass M-test ：若 函數數列 $g_n(x)$ 為連續 且 $|g_n(x)| \le M_n$ 且 $\sum_n M_n < \infty$，則 $\sum_n |g_n(x)|$ 均勻收斂。)

現在觀察 $\left| {{c_n}{e^{inx}}} \right| \le \left| {{c_n}} \right| $；另外由於 $f \in C^1$ 我們可定義 $c_n'$ 為 $f'$ 的 Fourier Series Coefficient，則
\[{c_n}' = in\left( {{c_n}} \right)
\]故由前述結果可推知
\[\left| {{c_n}{e^{inx}}} \right| \le \left| {{c_n}} \right| = \left| {\frac{{{c_n}'}}{{in}}} \right| = \left| {\frac{{{c_n}'}}{n}} \right|  \ \ \ \ (**)
\]現在利用 一個不等式工具： 對任意 $a,b \ge 0$，$a \cdot b \le \frac{1}{2} |a^2 + b^2|$；現在選 $a:=c_n'$ 與 $b:=1/n$ 則利用上述不等式可推得
\[\begin{array}{l}
\left| {{c_n}{e^{inx}}} \right| \le \left| {{c_n}} \right| = \left| {\frac{{{c_n}'}}{n}} \right| \le \frac{1}{2}|{\left( {{c_n}'} \right)^2} + {\left( {\frac{1}{n}} \right)^2}|\\
 \Rightarrow \left| {{c_n}{e^{inx}}} \right| \le \underbrace {\frac{1}{2}{{\left( {{c_n}'} \right)}^2} + \frac{1}{2}\frac{1}{{{n^2}}}}_{: = {M_n}}
\end{array}\]現在對 $M_n$ 取 summation 可得
\[\begin{array}{l}
\sum\limits_{n =  - \infty }^\infty  {{M_n}}  = \sum\limits_{n =  - \infty }^\infty  {\left[ {\frac{1}{2}{{\left( {{c_n}'} \right)}^2} + \frac{1}{2}\frac{1}{{{n^2}}}} \right]} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left| {{c_0}} \right| + \sum\limits_{n =  - \infty ;n \ne 0}^\infty  {\left[ {\frac{1}{2}{{\left( {{c_n}'} \right)}^2} + \frac{1}{2}\frac{1}{{{n^2}}}} \right]} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left| {{c_0}} \right| + \frac{1}{2}\underbrace {\sum\limits_{n =  - \infty ;n \ne 0}^\infty  {{{\left( {{c_n}'} \right)}^2}} }_{Term1} + \frac{1}{2}\underbrace {\sum\limits_{n =  - \infty ;n \ne 0}^\infty  {\left[ {\frac{1}{{{n^2}}}} \right]} }_{ < \infty }
\end{array}\]上式中的 Term 1 可利用 Parseval's Theorem ：($\sum\limits_n | {c_n}{|^2} = \underbrace {\int_{ - \pi }^\pi  | f(x){|^2}dx}_{: = \left\| f \right\|_{{L^2}}^2}$)，由於 $f \in C^1([-\pi,\pi])$ 故 \[\sum\limits_n | {c_n}{|^2} = \underbrace {\int_{ - \pi }^\pi  | f(x){|^2}dx}_{: = \left\| f \right\|_{{L^2}}^2} < \sup {\left| f \right|^2}2\pi  < \infty \]故 Term 1 亦為有界。至此我們證明了
\[
\sum_n M_n <\infty
\]由 Weierstrass M-test 可知 $\sum_n c_n e^{inx}$ 均勻收斂 亦即 $S_N(f)$ 均勻收斂，又由於 $S_N(f) \to f$ 逐點收斂，故  $S_N(f) \to f$ 均勻收斂 $\square$

以下我們看個例子：

Example
令 $f : [-\pi, \pi] \to \mathbb{C}$ 無窮可微 的解析函數 且滿足 $f^{(k)}(-\pi) = f^{(k)}(\pi)$ 對任意 $k \in \mathbb{Z}^+ \cup \{0\}$
(a) 若 $c_n$ 為 $f(x)$ 的 Fourier Series coefficient。試求 $f'(x)$ 的 Fourier Series Coefficient $c_n'$
(b) 試證 $n c_n \to 0$

Proof:
(a) 首先注意到 $f$ 為 解析函數，且  $f^{(k)}(-\pi) = f^{(k)}(\pi)$ 對任意 $k \in \mathbb{Z}^+ \cup \{0\}$ 故此函數滿足 Theorem 1 我們可說 $f$ 具有 Fourier Series 如下
\[f\left( x \right) = \sum\limits_{n =  - \infty }^\infty  {{c_n}{e^{inx}}} \]故
\[f'\left( x \right) = \sum\limits_{n =  - \infty }^\infty  {{c_n}in{e^{inx}}} : = \sum\limits_{n =  - \infty }^\infty  {{c_n}'{e^{inx}}}  \Rightarrow {c_n}' = {c_n}in\]

(b) 由於我們知道 $c_n ' = in c_n$ 故
\[\begin{array}{l}
{c_n}' = in{c_n} \Rightarrow \frac{{{c_n}'}}{i} = n{c_n}\\
 \Rightarrow \left| {n{c_n} - 0} \right| = \left| {\frac{{{c_n}'}}{i}} \right| \to 0
\end{array}\](利用 Bessel's inequality: $\lim_{n} c_n' \to 0$)

另外若 $f$ 為週期連續函數，則我們可以透過三角多項式逼近，此結果紀錄如下
==========
FACT: 若 $f$ 為 週期 $2 \pi$ 的連續函數 且 若 $\varepsilon >0$ ，則 存在 trigonometric polynomial $P$ 使得 對任意 $x \in \mathbb{R}$
\[
|P(x) - f(x)| < \varepsilon
\]==========
Proof: omitted. (via Weierstrass Approximation Theorem)