[泛函分析] Bessel's Inequality

下列 Bessel's inequality 在 泛函分析 與 Fourier 分析中扮演重要角色，此不等式表示給定任意在 Hilbert Space 中的點 $x$ (e.g., $L^2$ 空間上 封閉子集的函數)， 且給定一組 Hilbert Space 上的正交基底函數 (e.g., complex exponential function, $\{e_i\}$) 則 任意點 $x$ 透過 $\{e_i\}$ 作為基底展開的係數平方和 有上界 且此上界剛好為 $||x||^2$。此不等式的證明要求對內積的性質有進一步掌握，個人認為是很好的練習。

======================
Theorem: Bessel's Inequality
令 $H$ 為 Hilbert Space 且 $x \in H$。若 $\{e_i\} \subset H $ 為一組 orthonormal sequence 則
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2 \leq ||x||^2
\]其中 $\langle \cdot, \cdot \rangle$ 為 $H$ 上的內積運算。
======================

Proof:
令 $\{e_i\} \subset H $ 為一組 orthonormal sequence 且 $x \in H$，現在觀察 $x$ 與 部分和$\sum_{i=1}^n \langle x, e_i \rangle$ 的差異 (透過內積)：
\begin{align*}
  0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} &= \left\langle {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \hfill \\
   &= \left\langle {x,x} \right\rangle  - \left\langle {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x} \right\rangle  - \left\langle {x,\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \\
& \hspace{15mm}+ \left\langle {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},\sum\limits_{j = 1}^n {\langle x,{e_j}\rangle {e_j}} } \right\rangle  \hfill \\
  & = {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \left\langle {{e_i},x} \right\rangle  - \sum\limits_{i = 1}^n {\overline {\langle x,{e_i}\rangle } } \left\langle {x,{e_i}} \right\rangle  \\
& \hspace{15mm}+ \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \sum\limits_{j = 1}^n {\overline {\langle x,{e_j}\rangle } } \left\langle {{e_i},{e_j}} \right\rangle  \hfill \\
   &= {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  + \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \hfill \\
\end{align*}  上述第三條等式成立是因為應用了 一些內積的 FACT (請參閱下文)，另外最後一條等式成立是因為應用了 $\{e_i\}$ 為 orthonormal 的性質 (亦即 $(e_i,e_j) = 1$ 當 $i=j$，且當 $i \neq j$時，$(e_i,e_j)=0$) 故上式最後一項滿足
\[\left( {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \sum\limits_{j = 1}^n {\overline {\langle x,{e_j}\rangle } } } \right)\left\langle {{e_i},{e_j}} \right\rangle  = \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}} \]至此，我們得到
\[0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} = {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}} \]亦即
\[\sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \leqslant {\left\| x \right\|^2}\]注意到此式對任意 $n \in \mathbb{N}$ 皆成立，故取極限亦成立，
\[\sum\limits_{i = 1}^\infty  {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \leqslant {\left\| x \right\|^2}\]至此得證。$\square$



Comments:
上述結果保證
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2  <\infty
\]



=======================
FACT: 內積運算的一些常用性質
令 $H$ 為 Hilbert Space，取 $(e_1,e_2,...,e_n)$ 為一組向量 滿足 $e_i \in H$ 且 $x \in H$， $a_i,b_i \in \mathbb{C}$ 則我們有以下一些內積性質：
\[\left\{ \begin{gathered}
  \left\langle {\sum\limits_{i = 1}^n {{b_i}} {e_i},x} \right\rangle  = \sum\limits_{i = 1}^n {{b_i}} \left\langle {x,{e_i}} \right\rangle  \hfill \\
  \left\langle {x,\sum\limits_{i = 1}^n {{b_i}} {e_i}} \right\rangle  = \sum\limits_{i = 1}^n {\overline {{b_i}} } \left\langle {x,{e_i}} \right\rangle  \hfill \\
  \left\langle {\sum\limits_{i = 1}^n {{a_i}} {e_i},\sum\limits_{j = 1}^n {{b_j}} {e_j}} \right\rangle  = \sum\limits_{i = 1}^n {{a_i}} \sum\limits_{j = 1}^n {\overline {{b_j}} } \left\langle {{e_i},{e_j}} \right\rangle  \hfill \\
\end{gathered}  \right.\]其中 $ {\bar a}$ 表示 對 $a$ 取 complex conjugate。
========================

[系統理論] 關於 Fourier Series 係數 之積分範圍的討論

首先回憶給定平滑有界之 週期訊號 $x(t)$ 且假設此訊號具有基本頻率 $f_0$ (亦即此訊號具有基本週期 $T_0 :=1/f_0$ )，那麼在 Fourier analysis 中我們說此訊號可以表示為
\[
x(t) = \sum_{k = -\infty}^\infty a_k e^{j 2 \pi f_0 k t }
\]且其對應的 Fourier Series 可由下列積分求得
\[
a_k := \frac{1}{T_0} \int_0^{T_0} x(t) e^{-j 2 \pi f_0 k t} dt \;\;\;\;\; (*)
\]

但事實上由於 $x(t)$ 為週期訊號，上述積分範圍可以為 任意單位週期長度 而不需拘泥於 $[0,T_0]$，一般而言，最常見到的另一種 Fourier Series coefficient 形式為 ： \[{a_k} = \frac{1}{{{T_0}}}\int_{ - {T_0}/2}^{{T_0}/2} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt} \]事實上此式子與 $(*)$ 等價。 我們將此寫作以下 FACT:

===================
FACT:
給定平滑有界 週期訊號 $x(t)$ 表示為
\[
x(t) = \sum_{k = -\infty}^\infty a_k e^{j 2 \pi f_0 k t }
\]則其 Fourier Series 係數亦可表為
\[{a_k} = \frac{1}{{{T_0}}}\int_{ - {T_0}/2}^{{T_0}/2} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt} \]===================

Proof:
我們僅需證明
\[ \frac{1}{{{T_0}}}\int_{ - {T_0}/2}^{{T_0}/2} {x\left( t \right){e^{ - j2\pi {f_0}kt}}dt}  = \frac{1}{{{T_0}}}\int_0^{{T_0}} {x\left( t \right){e^{ - j2\pi {f_0}kt}}dt} \]故現在觀察左式，利用積分的線性性質：
\begin{align*}
  {a_k} &:= \frac{1}{{{T_0}}}\int_{ - {T_0}/2}^{{T_0}/2} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt}\\
&  = \frac{1}{{{T_0}}}\left( {\int_{ - {T_0}/2}^0 {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt}  + \int_0^{{T_0}/2} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt} } \right) \;\;\;\; (\star)
\end{align*}現在對第一項積分做變數變換，令 $u : = t + {T_0}$ 其中 $T_0:=1/f_0$ 則前述 $(\star)$ 中的第一項積分可改寫為
\begin{align*}
  {a_k} &= \frac{1}{{{T_0}}}\left( {\int_{ - {T_0}/2}^0 {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt}  + \int_0^{{T_0}/2} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt} } \right) \hfill \\
   &= \frac{1}{{{T_0}}}\left( {\int_{{T_0}/2}^{{T_0}} {x\left( {u - {T_0}} \right){e^{ - j{2 \pi  f_0}k\left( {u - {T_0}} \right)}}du}  + \int_0^{{T_0}/2} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt} } \right) \hfill \\
   &= \frac{1}{{{T_0}}}\left( {\int_{{T_0}/2}^{{T_0}} {x\left( u \right){e^{ - j{2 \pi  f_0}k\left( u \right)}}\underbrace {{e^{j{2 \pi  f_0}k\left( {{T_0}} \right)}}}_{ = 1}du}  + \int_0^{{T_0}/2} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt} } \right) \hfill \\
   &= \frac{1}{{{T_0}}}\left( {\int_{{T_0}/2}^{{T_0}} {x\left( u \right){e^{ - j{2 \pi  f_0}k\left( u \right)}}du}  + \int_0^{{T_0}/2} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt} } \right) \hfill \\
   &= \frac{1}{{{T_0}}}\left( {\int_{{T_0}/2}^{{T_0}} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt}  + \int_0^{{T_0}/2} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt} } \right) \hfill \\
   &= \frac{1}{{{T_0}}}\int_0^{{T_0}} {x\left( t \right){e^{ - j{2 \pi  f_0}kt}}dt} .
\end{align*}
讀者可注意到上述第三條等式成立之原因為 $x(t)$ 為週期訊號故 $x(t -T_0) = x(t)$$\square$

[數學分析] 三角多項式 與 三角級數 (1)

三角多項式表示一個函數可以透過 多個三角函數 方式表示，具體定義如下。

============================
Definition: Trigonometric polynomial
我們說 $f(x)$ 為一個 三角多項式( trigonometric polynomial) 若 $f$ 具有下列形式：
\[
f(x) := \sum_{n=0}^N a_n \cos(nx) + b_n \sin (nx) \ \ \ \ \ (*)
\]其中 $a_n, b_n \in \mathbb{C}$ 且 $x \in \mathbb{R}$。；或者上式可等價寫為 複數形式
\[
f(x) := \sum_{n=-N}^N c_n e^{i n x}
\]對任意 $c_n \in \mathbb{C}$ 與 $x \in \mathbb{R}$
============================

Comment:

注意到對於 式子 $(*)$ 可改寫為

\[f(x) = \sum\limits_{n = 0}^N {{a_n}} \cos (nx) + {b_n}\sin (nx) = {a_0} + \sum\limits_{n = 1}^N {{a_n}} \cos (nx) + {b_n}\sin (nx)\]

==========================

FACT 1: Trigonometric polynomial $f$ 為週期函數且週期為 $2 \pi$。

==========================

Proof: 亦即我們要證明 $f(x+2 \pi) = f(x)$，故
\[\begin{array}{l}
f(x + 2\pi ): = \sum\limits_{n =  - N}^N {{c_n}} {e^{in\left( {x + 2\pi } \right)}} = \sum\limits_{n =  - N}^N {{c_n}} {e^{in\left( x \right)}}{e^{in\left( {2\pi } \right)}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \sum\limits_{n =  - N}^N {{c_n}} {e^{in\left( x \right)}}\underbrace {\left[ {\cos n2\pi  + i\sin n2\pi } \right]}_{ = 1} = \sum\limits_{n =  - N}^N {{c_n}} {e^{in\left( x \right)}} = f\left( x \right) \ \ \ \ \square
\end{array}\]

==========================

FACT 2: 下列等式成立：
\[\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{e^{imx}}} {e^{ - inx}}dx = \left\{ \begin{array}{l}
0,\begin{array}{*{20}{c}}
{}
\end{array}n \ne m\\
1,\begin{array}{*{20}{c}}
{}
\end{array}n = m
\end{array} \right.\]==========================

Proof: omitted.

==========================

FACT 3: Trigonometric polynomial $f$ 的係數 $c_n$ 可由下列積分決定：
\[
c_n = \frac{1}{2 \pi}\int_{-\pi}^\pi f(x) e^{-inx}dx
\]==========================
Proof:
\[\begin{array}{*{20}{l}}
{\frac{1}{{2\pi }}\int_{ - \pi }^\pi  f (x){e^{ - inx}}dx = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {\sum\limits_{m =  - N}^N {{c_m}} {e^{imx}}} {e^{ - inx}}dx}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\sum\limits_{m =  - N}^N {{c_m}} \int_{ - \pi }^\pi  {{e^{imx}}} {e^{ - inx}}dx}
\end{array}\]利用 FACT 2 可得
\[\frac{1}{{2\pi }}\int_{ - \pi }^\pi  f (x){e^{ - inx}}dx = \frac{1}{{2\pi }}\sum\limits_{m =  - N}^N {{c_m}} \underbrace {\int_{ - \pi }^\pi  {{e^{imx}}} {e^{ - inx}}dx}_{ = 1\begin{array}{*{20}{c}}
{}
\end{array}if\begin{array}{*{20}{c}}
{}
\end{array}n = m} = {c_n} \ \ \ \ \square\]

===================
FACT 4: Trigonometric polynomial $f$ 為 實數函數 若且唯若 $c_n^* = c_{-n}$ ( 其中$( \cdot )^*$) 表示 complex conjugate。
===================

Proof:
$(\Rightarrow)$ 假設 Trigonometric polynomial $f$ 為 Real-valued 函數，我們要證明 $c_n^* = c_{-n}$ 。故由於 $f$ 為 Real-valued 函數，我們有 $f^* = f$；亦即
\[\begin{array}{l}
c_n^* = {\left( {\frac{1}{{2\pi }}\int_{ - \pi }^\pi  f (x){e^{ - inx}}dx} \right)^*} = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{f^*}} (x){e^{inx}}dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  f (x){e^{inx}}dx = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {\sum\limits_{m =  - N}^N {{c_m}} {e^{imx}}} {e^{inx}}dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\sum\limits_{m =  - N}^N {{c_m}} \int_{ - \pi }^\pi  {{e^{imx}}} {e^{inx}}dx = {c_{ - n}}.
\end{array}\]

$(\Leftarrow)$ 假設  $c_n^* = c_{-n}$ ，我們要證 Trigonometric polynomial $f$ 為 Real-valued 函數。亦即要證明 $f^* = f$。現在觀察
\[{f^*}(x) = {\left( {\sum\limits_{n =  - N}^N {{c_n}} {e^{inx}}} \right)^*} = \sum\limits_{n =  - N}^N {c_n^*} {e^{ - inx}} = \sum\limits_{n =  - N}^N {c_{ - n}^{}} {e^{ - inx}}\]令 $m:=-n$ 可得
\[{f^*}(x) = \sum\limits_{n =  - N}^N {c_n^*} {e^{ - inx}} = \sum\limits_{m =  - N}^N {c_m^{}} {e^{imx}} = f\left( x \right) .\ \ \ \ \square
\]

接著我們可以定義 Trigonometric Series 如下：

========================
Definition: Trigonometric Series 
我們說 Trigonometric Series 為具有下列形式的無窮級數
\[
\sum_{n=-\infty}^\infty c_n e^{-inx}
\]且由先前 Trigonometric polynomial 的係數定法，我們可以一樣定義對一個週期函數 $f$ 的 $m$-th Fourier Coefficient ：
\[
c_m := \frac{1}{2 \pi} \int_{-\pi}^\pi f(x) e^{-imx}dx
\]========================

========================
Definition: Fourier Series 
Fourier Series 為一個 Trigonometric Series 且其係數為 Fourier coefficient of $f$，我們將 Fourier Series 記做
\[
f \sim \sum_{n = -\infty}^\infty c_n e^{inx}
\]========================
注意：上述並非等號；單純表示 $c_n$ 是來自 $f$ 的 Fourier Series coefficient。

故我們想問 "何時可以讓 $f$ 與 Fourier Series 等號成立? " 或者說 基於怎樣的測量基準之下，此兩者可以被適當的逼近?

我們將回答此問題於更廣義的 Fourier Series 之上，在後面的文章會在做介紹。

[數學分析] 三角多項式 與 三角級數 (2)- Generalized Fourier Series

現在我們定義廣義 Fourier Series ：

=================
Definition: (Orthogonal System of Functions)
令 $\{\phi_n\}$, $n \in \mathbb{N}$ 為在 $[a,b]$ 上 的 Complex-valued 函數 sequence 且滿足下列積分
\[
\int_a^b \phi_n(x) \phi_m^*(x) dx =0, \;\; \text{ if $n \neq m$}
\]那麼我們稱 $\{\phi_n\}$ 為在 $[a,b]$ 上 orthogonal 或稱 (orthogonal system of functions on $[a,b]$) 。除此之外，若積分
\[
\int_a^b \phi_n(x) \phi_n^*(x) dx =1
\]我們稱 $\{\phi_n\}$ 為在 $[a,b]$ 上 orthonormal 或稱 (orthonormal system of functions on $[a,b]$) 。
=====================

Comments: 
一般而言，若我們取 $\{\phi_n\}$  $n \in \mathbb{N}$ 為在 $[0, 2\pi]$ 上 的 Complex-valued 函數 sequence 且滿足 $\phi_n(x):= exp(inx)$  則讀者可自行驗證此 函數 sequence 為 orthogonal


=====================
Definition: (n-th Fourier Coefficient of $f$)
若 $\{\phi_n\}$ 為 orthonormal on $[a,b]$ 且 對任意 $n \in \mathbb{N}$，
\[
c_n:=\int_a^b f(x) \phi_n^*(x) dx
\]我們稱 $c_n$ 為 $n$-th Fourier coefficient of $f$ (relative to $\{\phi_n\}$)

=====================

上述 $^*$ 為 complex conjugate。

=====================
Definition: Generalized Fourier Series
Generalized Fourier Series of $f$ (relative to $\{\phi_n\}$) 定義為
\[
f(x) \sim \sum_{n=1}^\infty c_n \phi_n(x)
\]其中 $c_n=\int_a^b f(x) \phi_n^*(x) dx $。
====================

Theorem: Bessel's inequality
若 $\{\phi_n\}$ 為 orthnormal on $[a,b]$ 且若 $f(x) \sim \sum_{n=1}^\infty c_n \phi_n(x)$ 則 \[
\sum_{n=1}^\infty |c_n|^2 \le \int_a^b |f(x)|^2 dx
\]


====================
Theorem: Best Approximation of Fourier Series 
令 $\{\phi_n\}$ 為在 $[a,b]$ 上 的 Complex-valued 函數 sequence ，且 $\phi_n$ 為 orthogonal。現在定義 $n$-th partial sum of Fourier Series of $f$ 如下
\[
s_n (x):= \sum_{m=1}^n c_m \phi_m(x)
\]且令 $t_n$ 為任意 series 如下
\[
t_n(x) := \sum_{m=1}^n \gamma_m \phi_m(x)
\]其中 $\gamma_n \in \mathbb{C}$ 則
\[
\int_a^b |f (x)- s_n(x)|^2 dx \le \int_a^b |f(x) - t_n(x)|^2 dx
\] 且 上式等式成立 若且為若 $\gamma_n = c_n$ 對任意 $n$。
==================

Proof:
令
\[
s_n (x):= \sum_{m=1}^n c_m \phi_m(x);\;\;\; t_n(x) := \sum_{m=1}^n \gamma_m \phi_m(x)
\]
我們首先證明下列不等式成立
\[
\int_a^b |f (x)- s_n(x)|^2 dx \le \int_a^b |f(x) - t_n(x)|^2 dx
\] 首先觀察
\[\begin{array}{l}
\int_a^b | f(x) - {t_n}(x){|^2}dx = \int_a^b {\left( {f(x) - {t_n}(x)} \right){{\left( {f(x) - {t_n}(x)} \right)}^*}} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {\left( {f(x){f^*}(x) - f(x){t_n}^*(x) - {t_n}(x){f^*}(x) + {t_n}(x){t_n}^*(x)} \right)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \underbrace {\int_a^b {{{\left| {f(x)} \right|}^2}} dx}_{term1} - \underbrace {\int_a^b {f(x){t_n}^*(x)} dx}_{term2} - \underbrace {\int_a^b {{t_n}(x){f^*}(x)} dx}_{term3} + \underbrace {\int_a^b {{{\left| {{t_n}(x)} \right|}^2}} dx}_{term4} \ \ \ \ \ \ (*)
\end{array}\]接著對上式逐項觀察，首先檢驗 term 2：
\[\begin{array}{l}
\int_a^b {f(x){t_n}^*(x)} dx = {\int_a^b {f(x)\left[ {\sum\limits_{m = 1}^n {{\gamma _m}} {\phi _m}(x)} \right]} ^*}dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {f(x)\sum\limits_{m = 1}^n {{\gamma _m}^*} {\phi _m}^*(x)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{m = 1}^n {{\gamma _m}^*} \underbrace {\int_a^b {f(x){\phi _m}^*(x)} dx}_{ = {c_m}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{m = 1}^n {{\gamma _m}^*} {c_m}
\end{array}\]
接著我們檢驗 term 3:
\[\begin{array}{l}
\int_a^b {{t_n}(x){f^*}(x)} dx = \int_a^b {\sum\limits_{m = 1}^n {{\gamma _m}} {\phi _m}(x){f^*}(x)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{m = 1}^n {{\gamma _m}} \underbrace {\int_a^b {{f^*}(x){\phi _m}(x)} dx}_{ = c_m^*}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{m = 1}^n {{\gamma _m}} c_m^*
\end{array}\]
最後檢驗 term 4：
\[\begin{array}{l}
\int_a^b {{{\left| {{t_n}(x)} \right|}^2}} dx = \int_a^b {{t_n}(x)t_n^*(x)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {\int_a^b {\sum\limits_{m = 1}^n {{\gamma _m}} {\phi _m}(x)\left[ {\sum\limits_{k = 1}^n {{\gamma _k}} {\phi _k}(x)} \right]} ^*}dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {\sum\limits_{m = 1}^n {{\gamma _m}} {\phi _m}(x)\sum\limits_{k = 1}^n {{\gamma _k}^*} {\phi _k}^*(x)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{m = 1}^n {{\gamma _m}} \sum\limits_{k = 1}^n {{\gamma _k}^*} \underbrace {\int_a^b {{\phi _m}(x){\phi _k}^*(x)} dx}_{ = 1\begin{array}{*{20}{c}}
{}
\end{array}if\begin{array}{*{20}{c}}
{}
\end{array}m = k}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{m= 1}^n {{\gamma _m}{\gamma _m}^*}  = \sum\limits_{m = 1}^n {{{\left| {{\gamma _m}} \right|}^2}}
\end{array}\]
故現在將上述結果 帶回 $(*)$ 可得
\[\begin{array}{l}
\int_a^b | f(x) - {t_n}(x){|^2}dx = \underbrace {\int_a^b {{{\left| {f(x)} \right|}^2}} dx}_{term1} - \underbrace {\int_a^b {f(x){t_n}^*(x)} dx}_{term2} - \underbrace {\int_a^b {{t_n}(x){f^*}(x)} dx}_{term3} + \underbrace {\int_a^b {{{\left| {{t_n}(x)} \right|}^2}} dx}_{term4}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {{{\left| {f(x)} \right|}^2}} dx - \sum\limits_{m = 1}^n {\gamma _m^*c_m^{}}  - \sum\limits_{m = 1}^n {{\gamma _m}c_m^*}  + \sum\limits_{m = 1}^n {{{\left| {{\gamma _m}} \right|}^2}}  \ \ \ \ (\star)
\end{array}\]
注意到下列 FACT：
\[\begin{array}{l}
\sum\limits_{m = 1}^n {{{\left| {{c_n} - {\gamma _m}} \right|}^2}}  = \sum\limits_{m = 1}^n {\left( {{c_n} - {\gamma _m}} \right){{\left( {{c_n} - {\gamma _m}} \right)}^*}}  = \sum\limits_{m = 1}^n {\left( {{c_n}{c_n}^* - {c_n}{\gamma _m}^* - {\gamma _m}{c_n}^* + {\gamma _m}{\gamma _m}^*} \right)} \\
 \Rightarrow \sum\limits_{m = 1}^n {{{\left| {{c_n} - {\gamma _m}} \right|}^2}}  = \sum\limits_{m = 1}^n {{c_n}{c_n}^*}  - \sum\limits_{m = 1}^n {{c_n}{\gamma _m}^*}  - \sum\limits_{m = 1}^n {{\gamma _m}{c_n}^*}  + \sum\limits_{m = 1}^n {{\gamma _m}{\gamma _m}^*} \\
 \Rightarrow \sum\limits_{m = 1}^n {{{\left| {{c_n} - {\gamma _m}} \right|}^2}}  - \sum\limits_{m = 1}^n {{{\left| {{c_n}} \right|}^2}}  =  - \sum\limits_{m = 1}^n {{c_n}{\gamma _m}^*}  - \sum\limits_{m = 1}^n {{\gamma _m}{c_n}^*}  + \sum\limits_{m = 1}^n {{{\left| {{\gamma _m}} \right|}^2}}
\end{array}\]與
\[\begin{array}{l}
\int_a^b | f(x) - {s_n}(x){|^2}dx = \int_a^b {\left( {f(x) - {s_n}(x)} \right){{\left( {f(x) - {s_n}(x)} \right)}^*}} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {\left( {f(x){f^*}(x) - f(x){s_n}^*(x) - {s_n}(x){f^*}(x) + {s_n}(x){s_n}^*(x)} \right)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {f(x){f^*}(x)} dx - \int_a^b {f(x){s_n}^*(x)} dx - \int_a^b {{s_n}(x){f^*}(x)} dx + \int_a^b {{s_n}(x){s_n}^*(x)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {{{\left| {f(x)} \right|}^2}} dx - \int_a^b {\left( {f(x)\sum\limits_{m = 1}^n {{c_m}^*{\phi _m}^*\left( x \right)} } \right)} dx - \int_a^b {\left( {\sum\limits_{m = 1}^n {{c_m}{\phi _m}\left( x \right)} {f^*}(x)} \right)} dx + \int_a^b {\left( {\sum\limits_{m = 1}^n {{c_m}{\phi _m}\left( x \right)} \sum\limits_{k = 1}^n {{c_k}^*{\phi _k}^*\left( x \right)} } \right)} dx\\
{\rm{since}}\begin{array}{*{20}{c}}
{}
\end{array}{s_n}(x): = \sum\limits_{m = 1}^n {{c_m}{\phi _m}\left( x \right)}  \Rightarrow s_n^*(x): = {\left[ {\sum\limits_{m = 1}^n {{c_m}{\phi _m}\left( x \right)} } \right]^*} = \sum\limits_{m = 1}^n {{c_m}^*{\phi _m}^*\left( x \right)} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {{{\left| {f(x)} \right|}^2}} dx - \sum\limits_{m = 1}^n {{c_m}^*} \int_a^b {\left( {f(x){\phi _m}^*\left( x \right)} \right)} dx - \sum\limits_{m = 1}^n {{c_m}} \int_a^b {{f^*}(x){\phi _m}\left( x \right)} dx + \sum\limits_{m = 1}^n {{c_m}} \sum\limits_{k = 1}^n {{c_k}^*} \int_a^b {{\phi _m}\left( x \right){\phi _k}^*\left( x \right)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {{{\left| {f(x)} \right|}^2}} dx - \sum\limits_{m = 1}^n {{c_m}^*} {c_m} - \sum\limits_{m = 1}^n {{c_m}} c_m^* + \sum\limits_{m = 1}^n {{c_m}{c_m}^*} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {{{\left| {f(x)} \right|}^2}} dx - \sum\limits_{m = 1}^n {{c_m}^*} {c_m}\\
 \Rightarrow \int_a^b | f(x) - {s_n}(x){|^2}dx = \int_a^b {{{\left| {f(x)} \right|}^2}} dx - \sum\limits_{m = 1}^n {{{\left| {{c_m}} \right|}^2}}
\end{array}\]

故 $\star$ 可進一步改寫
\[\begin{array}{l}
\int_a^b | f(x) - {t_n}(x){|^2}dx = \int_a^b {{{\left| {f(x)} \right|}^2}} dx - \sum\limits_{m = 1}^n {\gamma _m^*c_m^{}}  - \sum\limits_{m = 1}^n {{\gamma _m}c_m^*}  + \sum\limits_{m = 1}^n {{{\left| {{\gamma _m}} \right|}^2}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b {{{\left| {f(x)} \right|}^2}} dx + \sum\limits_{m = 1}^n {{{\left| {{c_n} - {\gamma _m}} \right|}^2}}  - \sum\limits_{m = 1}^n {{{\left| {{c_n}} \right|}^2}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \underbrace {\int_a^b {{{\left| {f(x)} \right|}^2}} dx - \sum\limits_{m = 1}^n {{{\left| {{c_n}} \right|}^2}} }_{ = \int_a^b | f(x) - {s_n}(x){|^2}dx} + \sum\limits_{m = 1}^n {{{\left| {{c_n} - {\gamma _m}} \right|}^2}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_a^b | f(x) - {s_n}(x){|^2}dx + \underbrace {\sum\limits_{m = 1}^n {{{\left| {{c_n} - {\gamma _m}} \right|}^2}} }_{ \ge 0}\\
 \Rightarrow \int_a^b | f(x) - {t_n}(x){|^2}dx \ge \int_a^b | f(x) - {s_n}(x){|^2}dx\\

\end{array}\]
且若 $c_m = \gamma_m$ 則等式成立。 $\square$

[系統理論] 連續時間 週期訊號的 Fourier Transform Representation

延續前篇
[系統理論] 連續時間 非週期訊號的 Fourier Transform Representation，我們知道 非週期訊號$x(t)$ 若滿足 Dirchlet conditions 則 Fourier Transform 存在，且我們可寫成
\[\left\{ \begin{array}{l}
X\left( {j\omega } \right) = \int_{ - \infty }^\infty  {x\left( t \right){e^{ - j\omega t}}dt} \ \ \ \  (1) \\
x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega} \ \ \ \ (2)
\end{array} \right.\]上式中 $(1)$ 稱為 $x(t)$ 的 Fourier Transform，$(2)$ 稱為 Inverse Fourier Transform。

事實上，對於週期訊號而言，除了 Fourier Series 之外， 我們亦可對 週期訊號 求解 Fourier Transform 。 那麼該怎麼做呢?

想法: 透過 Impulse function 幫助我們對 Fourier Transform 進行"取樣"

首先我們先做個觀察如下：
考慮一個訊號 $x(t)$ 其 Fourier Transform $X(j \omega)$ 為落在 $\omega = \omega_0$ 且面積為 $2 \pi$ 的單位脈衝函數如下
\[
X(j \omega) = 2 \pi \delta(\omega - \omega_0)
\]現在利用 Inverse Fourier Transform 我們可得回 $x(t)$
\[\begin{array}{l}
x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {2\pi \delta (\omega  - {\omega _0}){e^{j\omega t}}d\omega}  = {e^{j{\omega _0}t}}
\end{array}
\]上述的結果暗示了我們可以得到 $x(t) = e^{j k \omega_0t}$，此 complex exponential 訊號確實為週期訊號。 現在我們回憶 Fourier Series  Representation，週期訊號 $x(t)$ 可以透過 complex exponential 做線性組合。故我們試圖拓展上述想法，目標是如果可以找出一個 Fourier Transform $X(j \omega)$ 使得 $x(t)$ 具有 Complex exponential 做線性組合的形式 (亦即具有 Fourier Series 的形式)，我們便大功告成

現在我們拓展上述想法，由於前述 我們利用脈衝函數當作 Fourier Transform 確實可以得回 complex exponential 訊號，故我們繼續沿用此脈衝函數，且更進一步拓展為一組脈衝函數的線性組合看看會有甚麼發現。

故考慮 $x(t)$ 的 Fourier Transform, $X(j \omega)$ 為 一組脈衝函數的線性組合
\[X\left( {j\omega } \right) = \sum\limits_{k =  - \infty }^\infty  {2\pi {a_k}\delta \left( {\omega  - k{\omega _0}} \right)} \]則透過 Inverse Fourier Transform 我們可得
\[\begin{array}{l}
x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {\sum\limits_{k =  - \infty }^\infty  {2\pi {a_k}\delta \left( {\omega  - k{\omega _0}} \right)} {e^{j\omega t}}d\omega} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {{a_k}} \int_{ - \infty }^\infty  {\delta \left( {\omega  - k{\omega _0}} \right){e^{j\omega t}}d\omega} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}}
\end{array}\]上式即為 Fourier Series。

小結：
若 週期函數 $x(t)$ 存在 Fourier Series
\[
x(t) = \sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}}
\] 則其對應的 Fourier Transform: $X(j \omega)$ 為 一組脈衝函數的線性組合
\[X\left( {j\omega } \right) = \sum\limits_{k =  - \infty }^\infty  {2\pi {a_k}\delta \left( {\omega  - k{\omega _0}} \right)} \]
一般而言，對於週期函數我們可預先求解 Fourier coefficient, $a_k$ ，若需要計算其對應的 Fourier Transform，則直接使用上式


我們現在看一些例子：
Example 1
考慮週期方波訊號如下圖

試求其Fourier Transform $X(j \omega)$。
Solution
首先注意到此方波訊號為週期方波，且滿足 Dirchlet conditions，故存在 Fourier Series。因此我們先求解 Fourier Series Coefficient：
\[\begin{array}{l}
{a_k} = \frac{1}{T}\int_T^{} {x\left( t \right){e^{ - jk{\omega _0}t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{T}\int_{ - T/2}^{T/2} {x\left( t \right){e^{ - jk{\omega _0}t}}dt}  = \frac{1}{T}\int_{ - {T_1}}^{{T_1}} {{e^{ - jk{\omega _0}t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{2}{{k{\omega _0}T}}\frac{{{e^{jk{\omega _0}{T_1}}} - {e^{ - jk{\omega _0}{T_1}}}}}{{2j}} = \frac{2}{{k{\omega _0}T}}\sin k{\omega _0}{T_1}
\end{array}\]且 由 $T = 2 \pi/ \omega_0$ 帶入上式，
\[{a_k} = \frac{1}{{k\pi }}\sin \left( {k{\omega _0}{T_1}} \right), \; k \neq 0 \ \ \ \ (*)
\]且若 $k=0$，可計算得到 $a_0$
\[{a_0} = \frac{1}{T}\int_T^{} {x\left( t \right)dt}  = \frac{1}{T}\int_{ - {T_1}}^{{T_1}} {1dt}  = \frac{{2{T_1}}}{T} \ \ \ \ (**)
\]有了Fourier Series Coefficients 之後，我們便可計算其對應的 Fourier Transform。現在回憶對於週期訊號的 Fourier Transform 為 面積為 $2 \pi$ 且頻率等分的脈衝函數的線性組合，亦即
\[
X(j \omega) = 2 \pi \sum_{k = - \infty}^{\infty}a_k \delta( \omega - k \omega_0)
\]現在代入我們剛剛算出的 Fourier Series Coefficient，我們可得
\[\begin{array}{l}
X(j\omega ) = 2\pi \sum\limits_{k =  - \infty }^\infty  {{a_k}} \delta (\omega  - k{\omega _0})\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = 2\pi \sum\limits_{k =  - \infty }^\infty  {\frac{1}{{k\pi }}\sin \left( {k{\omega _0}{T_1}} \right)} \delta (\omega  - k{\omega _0})\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = 2\sum\limits_{k =  - \infty }^\infty  {\frac{1}{k}\sin \left( {k{\omega _0}{T_1}} \right)} \delta (\omega  - k{\omega _0}) \ \ \ \ (\star)
\end{array}\]上式即為 週期方波的 Fourier Transform。 $\square$

Comments
延續上例，現在我們來看看 Fourier Transform 與 Fourier Series 的差別，令 $T = 4 T_1$，我們用  $(\star)$ 繪製 Fourier Transform 的圖形

圖1. Fourier transform plot for periodic square wave

接著透過 $(*)$ 與 $(**)$ 我們可繪製 Fourier Series Coefficients 的圖形

圖2. Fourier series plot for periodic square wave

其中Fourier Series Coefficient 可由我們先前推出的式子計算而得：
 $a_0 = 1/2,$ $a_1 = a_{-1}=1/\pi$, $a_3 = a_{-3}=-1/3\pi$, $a_5 = a_{-5} = 1/5\pi$
注意到 圖2 的橫坐標 $k$ 表示 第  $k$ 個 fundamental frequency, $k \omega_0$。

現在比較兩圖，兩圖可發現 Fourier Transform 對週期方波 不過是透過 脈衝函數 對原本的 "sinc 包烙線" 做取樣 (sampling) 的動作。

圖1 與 圖2 之間差別只有下面兩點：

1. Fourier transform 圖形採用脈衝函數 (impulse function, $\delta(\cdot)$) 而 Fourier Series 採用條狀圖 (bar graph)。
2. Fourier transform 為 Fourier Series 放大 $2\pi$ 倍

Example 2 (Impulse Train)
考慮下列 脈衝週期訊號
\[x\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {\delta \left( {t - kT} \right)} \]試求 Fourier Series coefficients 與 Fourier transform。
Solution
由於 脈衝週期訊號 $x(t)$ 週期為 $T$，且滿足 Dirchlet condtions，故我們有 Fourier series coefficient:
\[\begin{array}{l}
{a_k} = \frac{1}{T}\int_T^{} {x\left( t \right){e^{ - jk{\omega _0}t}}dt}  = \frac{1}{T}\int_{ - T/2}^{T/2} {\delta \left( t \right){e^{ - jk{\omega _0}t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{T}\int_{ - T/2}^{T/2} {\delta \left( t \right){e^{ - jk{\omega _0}t}}dt}  = \frac{1}{T}\underbrace {\int_{ - \infty }^\infty  {\delta \left( t \right){e^{ - jk{\omega _0}t}}dt} }_{ = {e^{ - jk{\omega _0}0}} = 1} = \frac{1}{T}
\end{array}\]接著計算此週期脈衝訊號的 Fourier transform，由前面討論可知週期訊號 $x(t)$ 的 Fourier transform 為
\[X(j\omega ) = \sum\limits_{k =  - \infty }^\infty  2 \pi {a_k}\delta (\omega  - k{\omega _0}) = \frac{{2\pi }}{T}\sum\limits_{k =  - \infty }^\infty  {\delta (\omega  - k\frac{{2\pi }}{T})} \]

Example 3 (Cosine Function)
考慮 $x(t) := \cos(\omega_0 t)$，試求 Fourier transform。

Solution
由於 $x(t)$ 為週期訊號，我們可知其 Fourier transform 可表為 脈衝函數的線性組合
\[
X(j \omega) = 2 \pi \sum_{k = -\infty}^{\infty} a_k \delta(\omega - k \omega_0) \ \ \ \ (*)
\] 其中 $a_k$ 為 Fourier series coefficient，由於 $\cos(\omega_0 t)$ 可寫為 complex exponential 如下
\[\cos \left( {{\omega _0}t} \right) = \frac{{{e^{j{\omega _0}t}} + {e^{ - j{\omega _0}t}}}}{2}\] (亦即只有 $k = \pm 1$ 的 Fourier coefficient) 故可知 $a_1 = a_{-1} =  1/2$。現在將此結果帶回 $(*)$ 我們得到
\[\begin{array}{l}
X(j\omega ) = 2\pi \frac{1}{2}\delta (\omega  - {\omega _0}) + 2\pi \frac{1}{2}\delta (\omega  ++ {\omega _0})\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \pi \delta (\omega  - {\omega _0}) + \pi \delta (\omega   +{\omega _0}) \ \ \ \ \square
\end{array}\]

Example 4 (Scaled Cosine Function)
現在考慮 $x(t) := \cos(\omega_0 t) /a, \; a>0$ 試求其對應的 Fourier transform。

Solution
由 Example 3，我們已知 $\cos(\omega_0 t)$ 的 Fourier transform 為
\[
\pi \delta (\omega  - {\omega _0}) + \pi \delta (\omega  - {\omega _0})
\] 故 $x(t) = \cos(\omega_0 t) /a $ 的 Fourier transform 由 linearity 可知
\[
X(j \omega) = \frac{1}{a} \left [\pi \delta (\omega  - {\omega _0}) + \pi \delta (\omega  - {\omega _0})\right] \ \ \ \ \square
\]
Comments:
若我們要求以頻率 $f$ 表示 $(\omega = 2 \pi f)$，則 Example 4 中的結果 變為
\[\begin{array}{l}
X(f) = \frac{1}{a}\left[ {\pi \delta (2\pi f - 2\pi {f_0}) + \pi \delta (2\pi f - 2\pi {f_0})} \right]\;\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{a}\left[ {\pi \delta (2\pi \left( {f - {f_0}} \right)) + \pi \delta (2\pi \left( {f - {f_0}} \right))} \right]\;
\end{array}\]利用脈衝函數的 scaling 性質 ：
\[
\delta(a t) = \frac{1}{|a|} \delta(t)
\]改寫前式
\[\begin{array}{l}
X(f) = \frac{1}{a}\left[ {\pi \delta (2\pi \left( {f - {f_0}} \right)) + \pi \delta (2\pi \left( {f - {f_0}} \right))} \right]\;\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{a}\left[ {\pi \frac{1}{{2\pi }}\delta \left( {f - {f_0}} \right) + \pi \frac{1}{{2\pi }}\delta \left( {f - {f_0}} \right)} \right]\;\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{{2a}}\left[ {\delta \left( {f - {f_0}} \right) + \delta \left( {f - {f_0}} \right)} \right]\;
\end{array}\]

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[系統理論] 連續時間 非週期訊號的 Fourier Transform Representation

先前我們提及 對於 週期訊號 可以透過 Fourier Series Represenation，但如果要處理的對象是 非週期訊號 (aperiodic) 該怎麼辦呢?
------------------
基本想法：
設法讓 非週期訊號 用 週期訊號表示，則原本對 週期訊號的 Fourier Series 展開的方法仍然適用。那麼要如何才能辦到? 我們讓非週期訊號以週期 $T \rightarrow \infty$ 的方式重現 週期訊號。
-------------------
下面我們更具體一點的來看看如何實現上述的基本想法，現在考慮 $x(t)$ 為 (有限範圍) 的 連續 非週期訊號如下圖

亦即存在實數 $T_1$ 使得非週期訊號 $x(t) := 0$ 若 $|t| > T_1$。

現在我們複製上面的 有限範圍 ($-T_1 < t < T_1 $) 非週期訊號 $x(t)$，並藉此建構一週期為 $T$ 的 週期訊號 $\tilde{ x}(t)$ 如下：

注意到上圖我們所建構的週期訊號，對 $|t| < T/2 $， $\tilde{x}(t) \equiv x(t)$。且對於上述週期訊號 $\tilde {x} (t)$，我們有 Fourier Series Pair 如下
\[\left\{ \begin{array}{l}
\tilde x\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} \\
{a_k} = \frac{1}{T}\int_{ - T/2}^{T/2} {\tilde x\left( t \right)} {e^{ - jk{\omega _0}t}}dt
\end{array} \right.\] 其中 $\omega_0 = 2\pi/T$。

現在注意到因為  $\tilde{x}(t) \equiv x(t)$ 只有在 $|t| < T/2$ 成立，且對於 $|t| \ge T/2$ 而言， $x(t) =0$，也就是說
\[\tilde x\left( t \right) = \left\{ \begin{array}{l}
x\left( t \right),\begin{array}{*{20}{c}}
{}
\end{array}\left| t \right| < T/2\\
0,\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}\begin{array}{*{20}{c}}
{}
\end{array}otherwise
\end{array} \right.\]故我們可以改寫 Fourier Series coefficient $a_k$ 用 $x(t)$ 表示：
\[\begin{array}{l}
{a_k} = \frac{1}{T}\int_{ - T/2}^{T/2} {\tilde x\left( t \right)} {e^{ - jk{\omega _0}t}}dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \frac{1}{T}\int_{ - T/2}^{T/2} {x\left( t \right)} {e^{ - jk{\omega _0}t}}dt = \frac{1}{T}\int_{ - \infty }^\infty  {x\left( t \right)} {e^{ - jk{\omega _0}t}}dt
\end{array}\]現在定義
\[X\left( {j\omega } \right): = \int_{ - \infty }^\infty  {x\left( t \right)} {e^{ - j\omega t}}dt
\]則 Fourier Series Coefficient $a_k$ 可改寫為
\[
a_k = \frac{1}{T}X(j k \omega_0)
\]且我們所建構的 週期訊號 $\tilde{x}(t)$ 亦可寫為
\[\tilde x\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}}  = \sum\limits_{k =  - \infty }^\infty  {\frac{1}{T}X\left( {jk{\omega _0}} \right){e^{jk{\omega _0}t}}}
\]或者，由 $T = \frac{2 \pi}{ \omega_0}$，我們有
\[\tilde x\left( t \right) = \frac{{{\omega _0}}}{{2\pi }}\sum\limits_{k =  - \infty }^\infty  {X\left( {jk{\omega _0}} \right){e^{jk{\omega _0}t}}} \]下圖可以說明上式，若讓 $\omega_0 \rightarrow 0$ 則 下圖的面積區域會逼近 其 外緣 $x(t)$。

故現在讓 $T \rightarrow \infty$ 則因為 $T = 2 \pi/ \omega_0$，故我們有 $\omega_0 \rightarrow 0$，且 $\tilde{x}(t) \rightarrow x(t)$ 且上式的 summation 過渡成積分：
\[\tilde x\left( t \right) = \frac{{{\omega _0}}}{{2\pi }}\sum\limits_{k =  - \infty }^\infty  {X\left( {jk{\omega _0}} \right){e^{jk{\omega _0}t}}}  \to x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega }
 \] 或者我們可寫
\[\mathop {\lim }\limits_{{\omega _0} \to 0} \frac{1}{{2\pi }}\sum\limits_{k =  - \infty }^\infty  {X\left( {jk{\omega _0}} \right){e^{jk{\omega _0}t}}} {\omega _0} = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega } \]現在我們總結如下：
非週期函數的可以視為 週期函數 Fourier Series 的極限 ($T \rightarrow \infty$)，如下：
\[\left\{ \begin{array}{l}
x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega } \\
X\left( {j\omega } \right){\rm{ = }}\int_{ - \infty }^\infty  {x\left( t \right)} {e^{ - j\omega t}}dt
\end{array} \right.\]上式稱為 Fourier Transform Pair 。

Comments:
1. $x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega }$ 稱為 Inverse Fourier Transform； $X(j \omega)$ 稱為 $x(t)$ 的 Fourier Transform 或者稱 Fourier integral。

2. $x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega }$ 仍具備 Fourier Series 的本質：將非週期訊號用 complex exponential 做線性組合。

3. 對比於 Fourier Series，非週期訊號的 Fourier Transform, $X(j\omega)$ 又稱為 $x(t)$的 頻譜 (spectrum)，因為其提供了對於不同頻率上，將 $x(t)$ 用 complex expoential 做線性組合 所需要的資訊。

4. 儘管 Fourier transform 獲得巨大的成功，但其 積分收斂性問題仍揮之不去，在控制理論中，Fourier transform 只能分析穩定系統，對於不穩定系統並不存在 Fourier transform，所幸此問題可透過 單邊型拉氏轉換(Unilateral Laplace Transform) 進一步拓展 Fourier transform 使其亦可分析不穩定系統，亦即
\[
X(s) := \cal{L}[x(t)]= \int_{0^-}^\infty x(t) e^{-st} dt
\]其中 $s = \sigma + j \omega$，$X(s)$ 稱為 s-domain function。
 Laplace Transform 可視為 Fourier Transform 的進一步推廣。而如果我們讓 $\sigma =0$，亦即 $s= j \omega$，可得到 Fourier Transform (在系統理論中 $s = j \omega$又稱 頻率響應)。

5.  若下面三個 Dirchlet conditions 滿足，則非週期訊號保證 Fourier Transform 存在：

• $x(t)$ 必須絕對值可積分，亦即 $\int_{-\infty}^\infty |x(t)|dt < \infty$
• $x(t)$ 在任意有限區間內必須有 bounded variation，亦即 在任意區間內，只有有限最大值或最小值。
• $x(t)$ 在任意有限區間內，只有有限個不連續點。

6. Fourier Transform 亦可適用於 週期訊號。此部分我們之後的文章會在做介紹。

現在我們看下面一些例子：
Example 1
考慮下列訊號
\[
x(t) = e^{-a |t|}, \;\; a>0
\]試求其對應的 Fourier Transform $X(j \omega)$。
Solution:
注意到 $x(t) = e^{-a |t|}$ 為非週期訊號(但滿足 Dirchlet conditions)，故我們可求 Fourier Transform，利用 Fourier Transform formula
\[
X(j \omega) = \int_{-\infty}^\infty e^{-a |t|}e^{-j \omega t} dt \ \ \ \ (*)
\]注意到
\[{e^{ - a\left| t \right|}} = \left\{ \begin{array}{l}
{e^{ - at}},\begin{array}{*{20}{c}}
{}
\end{array}t \ge 0\\
{e^{at}},\begin{array}{*{20}{c}}
{}
\end{array}t < 0
\end{array} \right.
\]故上式 $(*)$ 可改寫為
\[\begin{array}{l}
X(j\omega ) = \int_{ - \infty }^\infty  {{e^{ - a|t|}}} {e^{ - j\omega t}}dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_0^\infty  {{e^{ - at}}} {e^{ - j\omega t}}dt + \int_{ - \infty }^0 {{e^{at}}} {e^{ - j\omega t}}dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{{a + j\omega }} + \frac{1}{{a - j\omega }}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{{2a}}{{{a^2} + {\omega ^2}}}. \ \ \ \ \  \ \ \ \square
\end{array}\]
Example 2
考慮下列訊號
\[
x(t) = \delta (t)
\]其中 $\delta(t)$ 為單位脈衝函數 (Unit Impulse Function) ，試求其對應的 Fourier Transform $X(j \omega)$。
Solution
單位脈衝函數為非週期函數(但滿足 Dirchlet conditions)，故我們計算其Fourier Transform：
\[\begin{array}{l}
X\left( {j\omega } \right) = \int_{ - \infty }^\infty  {\delta \left( t \right)} {e^{ - j\omega t}}dt = \int_{ - \infty }^\infty  {\delta \left( {t - 0} \right)} {e^{ - j\omega t}}dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {e^{ - j\omega 0}} = 1. \ \ \ \ \ \ \ \square
\end{array}\]
Example 3
考慮下列方波訊號
\[x\left( t \right) = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}\left| t \right| < {T_1}\\
0,\begin{array}{*{20}{c}}
{}
\end{array}\left| t \right| > {T_1}
\end{array} \right.\]試求其對應的 Fourier Transform $X(j \omega)$。
Solution
注意到上式方波為非週期訊號(但滿足 Dirchlet conditions)，我們計算 其 Fourier Transform
\[\begin{array}{l}
X\left( {j\omega } \right) = \int_{ - \infty }^\infty  {x\left( t \right){e^{ - j\omega t}}dt}  = \int_{ - {T_1}}^{{T_1}} {{e^{ - j\omega t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{{j\omega }}\left( {{e^{j\omega {T_1}}} - {e^{ - j\omega {T_1}}}} \right) = \frac{2}{\omega }\frac{{{e^{j\omega {T_1}}} - {e^{ - j\omega {T_1}}}}}{{2j}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{2}{\omega }\sin \left( {\omega {T_1}} \right) \ \ \ \square
\end{array}\]
Example 4
考慮訊號 $x(t)$ 其 Fourier Transform 為
\[X\left( {j\omega } \right) = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}\left| t \right| < W\\
0,\begin{array}{*{20}{c}}
{}
\end{array}\left| t \right| > W
\end{array} \right.\]試求其原本訊號 $x(t) =?$
Solution
利用 Inverse Fourier Transform：
\[\begin{array}{l}
x\left( t \right) = \frac{1}{{2\pi }}\int_{ - \infty }^\infty  {X\left( {j\omega } \right){e^{j\omega t}}d\omega }  = \frac{1}{{2\pi }}\int_{ - W}^W {{e^{j\omega t}}d\omega } \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left[ {\frac{1}{{jt}}\left( {{e^{jWt}} - {e^{ - jWt}}} \right)} \right] = \frac{1}{{\pi t}}\left( {\frac{{{e^{jWt}} - {e^{ - jWt}}}}{{2j}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{\pi t}}\sin \left( {Wt} \right). \ \ \ \ \ \ \ \square
\end{array}\]


下面例子讓讀者自行計算：
Practice 1
考慮下列訊號
\[
x(t) = e^{-at}u(t), \;\; a>0
\]其中 $u(t)$為單位步階函數(Unit Step function) 定義如下
\[u\left( t \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}t \ge 0\\
0,\begin{array}{*{20}{c}}
{}
\end{array}t < 0
\end{array} \right.\]試求其 Fourier Transform $X(j \omega) =?$

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[系統理論] 連續時間週期訊號的 Fourier Series Representation (4)-Parseval's relation for periodic signal

令 $x(t)$ 與 $y(t)$ 為具有週期為 $T$ 的連續時間週期訊號，且存在 Fourier Series Representation 如下
\[\begin{array}{l}
x\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}}\\
y\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {{b_k}} {e^{jk{\omega _0}t}}
\end{array}
\]

我們首先證明下面的結果：

Fact: 給定兩時域訊號相乘 $\Rightarrow$ 頻域訊號 convolution
定義兩訊號乘積 $z(t) := x(t) y(t) = \sum\limits_{k =  - \infty }^\infty  {{c_k}} {e^{jk{\omega _0}t}}$，則 其乘積的 Fourier Series Coefficient 為離散 convolution
\[
c_k = \sum_{n=-\infty}^{\infty}a_n b_{k-n}
\]Proof:
觀察 $z(t) = x(t)y(t)$ 如下
\[\begin{array}{l}
x\left( t \right)y\left( t \right) = \sum\limits_{n =  - \infty }^\infty  {{a_n}} {e^{jn{\omega _0}t}}\sum\limits_{k =  - \infty }^\infty  {{b_k}} {e^{jk{\omega _0}t}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {\left( {{b_k}\sum\limits_{n =  - \infty }^\infty  {{a_n}} {e^{jn{\omega _0}t}}} \right){e^{jk{\omega _0}t}}}
\end{array}\]又注意到 $b_k$ 為 $y(t)$ 的 Fourier Series Coefficient，故我們有
\[{b_k} = \frac{1}{T}\int_T^{} {y\left( t \right){e^{ - jk{\omega _0}t}}} dt
\] 帶入上式可得
\[\begin{array}{l}
x\left( t \right)y\left( t \right) = \sum\limits_{k =  - \infty }^\infty  {\left( {\frac{1}{T}\int_T^{} {y\left( t \right){e^{ - jk{\omega _0}t}}} dt\sum\limits_{n =  - \infty }^\infty  {{a_n}} {e^{jn{\omega _0}t}}} \right){e^{jk{\omega _0}t}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {\left( {\sum\limits_{n =  - \infty }^\infty  {{a_n}} \underbrace {\frac{1}{T}\int_T^{} {y\left( t \right){e^{ - j\left( {k - n} \right){\omega _0}t}}dt} }_{ = {b_{k - n}}}} \right){e^{jk{\omega _0}t}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {\left( {\sum\limits_{n =  - \infty }^\infty  {{a_n}} {b_{k - n}}} \right){e^{jk{\omega _0}t}}}
\end{array}\]亦即
\[{c_k} = \sum\limits_{n =  - \infty }^\infty  {{a_n}} {b_{k - n}} \ \ \ \ \square
\]
Theorem: Parseval's Relation for Periodic Signals
現在我們令上述 $y(t) := x^*(t)$ (其中 ${}^*$ 表 complex conjugate)。則下列結果成立
\[
\frac{1}{T} \int_0^T |x(t)|^2 dt =\sum_{k=-\infty}^{\infty}|a_k|^2
\]

Comment: 上式說明了一個週期訊號 $x(t)$ 的 單一週期的 total energy 除以 週期 $T$ (或者 直接說 average power) 等同於 其對應的 Fourier Series coefficient 的平方 $|a_k|^2$ 做無窮級數。 (此平方項 $|a_k|^2$又稱 k-th harmonic components)

Proof:
觀察 ${\left| {x\left( t \right)} \right|^2} = x\left( t \right){x^*}\left( t \right)$，故我們有
\[\frac{1}{T}\int_0^T {{{\left| {x\left( t \right)} \right|}^2}dt}  = \frac{1}{T}\int_0^T {x\left( t \right){x^*}\left( t \right)dt} \]接著帶入 $x(t)$ (對應的 Fourier Series coefficient 為 $a_k$) 與 $x^*(t)$ ( $x^*(t)$ 對應的 Fourier Series 為 $a_{-k}^*$)。
\[\begin{array}{*{20}{l}}
{\frac{1}{T}\int_0^T {{{\left| {x\left( t \right)} \right|}^2}dt}  = \frac{1}{T}\int_0^T {\sum\limits_{n =  - \infty }^\infty  {{a_n}} {e^{jn{\omega _0}t}}\sum\limits_{k =  - \infty }^\infty  {a_{ - k}^*} {e^{ - jk{\omega _0}t}}dt} }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{T}\int_0^T {\sum\limits_{k =  - \infty }^\infty  {\sum\limits_{n =  - \infty }^\infty  {a_{ - k}^*{a_n}{e^{ - jk{\omega _0}t}}} {e^{jn{\omega _0}t}}} dt} }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{T}\sum\limits_{k =  - \infty }^\infty  {a_{ - k}^*\underbrace {\sum\limits_{n =  - \infty }^\infty  {{a_n}\int_0^T {{e^{ - jk{\omega _0}t}}{e^{jn{\omega _0}t}}dt} } }_{ = {a_k}T}} }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{T}\sum\limits_{k =  - \infty }^\infty  {a_{ - k}^*{a_k}T}  = \sum\limits_{k =  - \infty }^\infty  {{{\left| {{a_k}} \right|}^2}} } \ \ \ \ \square
\end{array}
\]

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[系統理論] 連續時間週期訊號的 Fourier Series Representation (3)- Convergence condition

令 $x(t)$ 為週期訊號，若 $x(t)$ 存在 Fourier Series Representation，則我們可寫下
\[
x(t) = \sum_{k=-\infty}^{\infty} a_k e^{j k \omega_0 t}
\] Fourier 認為 "任意" 週期訊號都可以被表示成 complex exponentials 的線性組合，亦即任意週期訊號都 存在 Fourier Series，但事實上這個陳述並不正確。亦即，並非所有的週期訊號都有 Fourier Series；最關鍵的問題是 Fourier Series 本身牽涉到無窮級數，一旦級數涉及無窮項必然存在級數收斂性問題。

Validity of Fourier Series Representation

首先觀察一個具有週期 $T$ 的週期訊號 $x(t)$ ，但我們僅透過 有限 $N$ 項 complex exponentials 的線性組合來表示近似此週期訊號。用有限 $N$ 項 complex exponentials 線性組合的近似週期訊號記做 $x_N(t)$ 如下

\[{x_N}\left( t \right) = \sum\limits_{k =  - N}^N {{a_k}{e^{jk{\omega _0}t}}} \]
現在我們定義 $e_N(t)$ 為  $x(t)$ 與 $x_N(t)$的近似誤差 如下：
\[{e_N}\left( t \right): = x\left( t \right) - {x_N}\left( t \right) = x\left( t \right) - \sum\limits_{k =  - N}^N {{a_k}{e^{jk{\omega _0}t}}}
\]那麼有了上述 近似誤差 $e_N(t)$ 的定義，我們仍然不容易知道到底 $e_N(t)$ 怎樣算是好 ($x_N(t)$ 有多接近 $x(t)$)。故我們首先只觀察一個週期，然後透過 2-norm (或者說 energy idea) 定義 "近似誤差的大小"
\[
E_N := \int_T |e_N(t)|^2dt
\]那麼我們的目標是找出到底怎樣的 $a_k$ 使得 $E_N$ 被最小化，亦即 $\min_{a_k} E_N$ ，現在將 $e_N(t) = x\left( t \right) - \sum\limits_{k =  - N}^N {{a_k}{e^{jk{\omega _0}t}}} $ 帶入 $E_N$ 可得
\[{E_N} = {\int_T {\left| {x\left( t \right) - \sum\limits_{k =  - N}^N {{a_k}{e^{jk{\omega _0}t}}} } \right|} ^2}dt
\]現在觀察上式，若我們取 $a_k$ = Fourier Series Coefficient：
\[
{a_n} = \frac{1}{T}\int_T^{} {x(t){e^{ - jn{\omega _0}t}}dt}
\]則讀者可驗證確實 $E_N$為最小值。

上述結果說明了若週期訊號 $x(t)$ 有 Fourier Series Representation，則其透過有限 $N$ 項的最佳近似即為將 Fourier Series Representation 的前面 $N$ 項和。且隨著 $N$ 增加，我們的誤差 $E_N$ 便會逐步縮小直到誤差為$0$。


Question: 一個週期訊號在甚麼情況下存在 Fourier Series Representation? (此問等價於 一個週期訊號在甚麼情況下可以用 Complex Exponentials 做線性組合展開?)
注意到我們的剛剛推出的有限N項最佳誤差估計 (或者無限項的 or Fourier Series Coefficient formula)
\[{a_k} = \frac{1}{T}\int_T^{} {x(t){e^{ - jk{\omega _0}t}}dt}
\]並不一定永遠收斂 (亦即 $a_k \rightarrow \infty$ 積分有可能到無窮大)
再者就算每一項 $a_k$ 都可以定義 (積分存在)，我們把這些 Fourier Series 係數收集起來，用 Complex exponential 展開
\[
x(t) = \sum_{k=-\infty}^{\infty} a_k e^{j k \omega_0 t}
\] 此時牽涉到無窮級數，如前所敘，有可能發生儘管每一項 $a_k$ 都有界，但其級數發散亦即 $x(t) \rightarrow \infty$

事實上，有兩類不同的條件可以解決前述的收斂性問題。如果週期訊號滿足此兩類條件，就能保證該週期訊號確實存在 Fourier Series Representation。

第一類條件： $L^2$ condition or energy condition
考慮週期訊號 $x(t)$，若在該訊號一個週期內的total energy為有限值，則此訊號存在 Fourier Series Representation，亦即若下列條件成立則 $x(t)$ 有 Fourier Series Representation
\[
\int_T |x(t)|^2 dt < \infty
\]當此條件成立，則 $a_k < \infty \; \forall k \in \mathbb{Z}$。


第二類條件： Dirichlet conditions
1. 對任意週期 $T$，$x(t)$ 必須絕對值可積分，亦即
\[
\int_T |x(t)|dt < \infty
\]
2. 對任意有限時間區間，$x(t)$ 有 bounded variation。亦即任意單一周期內，$x(t)$ 的最大或者最小值的數目為有限個。

3. 在任意有限時間區間內，$x(t)$ 只有 有限個 不連續點(discontinuous points)。

若上述三個 Dirichlet conditions 成立，則 $x(t)$ 存在 Fourier Series Representation 且除了不連續點之外，保證 $x(t)$等於 Fourier Series。且 在不連續點上，Fourier Series 收斂到 不連續點兩邊的平均值。亦即對不連續點 $t$
\[\sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}} = \frac{1}{2}(x(t + ) + x(t - ))\]其中
\[\begin{array}{l}
x(t + ) = \mathop {\lim }\limits_{t \to {t^ + }} x(t)\\
x(t - ) = \mathop {\lim }\limits_{t \to {t^ - }} x(t)
\end{array}\]


小結：
上述兩類條件其中一種成立，則我們說該 $x(t)$ 存在 Fourier Series Representation。


ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[系統理論] 連續時間週期訊號的 Fourier Series Representation (2) - Coefficients determination

延續前篇，回憶 對於 週期訊號 $x(t)$ 我們可寫下其對應的 Fourier Series Representation 如下
\[
x(t) = \sum_{k=-\infty}^{\infty} a_k e^{j k \omega_0 t}
\] 其中 $\omega_0$ 為週期訊號的基本頻率 (fundamental frequency)。$a_k$ 稱為 Fourier Series 的係數。之前我們已經討論過 給定 Fourier Series 係數，我們可以重建週期 $x(t)$，現在我們專注 在 給定 週期訊號 $x(t)$，如何反求 Fourier Series 的係數。

如前所述，現在給定 平滑(smooth)有界 週期訊號 $x(t)$ 且假設其可以寫下對應的 Fourier Series Representation：
 \[
x(t) = \sum_{k=-\infty}^{\infty} a_k e^{j k \omega_0 t}
\] 對兩邊同乘 $e^{-j n \omega_0 t}, \; n \in \mathbb{Z}$  可得
\[x(t){e^{ - jn{\omega _0}t}} = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}{e^{ - jn{\omega _0}t}}}
\]接著在對等式兩邊同積分從$0$ 積到 $x(t)$ 的基本週期(fundamental period) $T$ $(T=2\pi/\omega_0)$，亦即
\[\begin{array}{l}
\int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt = \int_0^T {\sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}{e^{ - jn{\omega _0}t}}} } dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{k =  - \infty }^\infty  {{a_k}\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}} } dt \ \ \ \ (*)
\end{array}\]注意到上述運算中要求積分與無窮級數順序互換，此運算需要較為嚴謹的數學討論，但在此我們僅僅指出若 訊號為有界平滑函數(無窮階導數存在)，且僅有有限個不連續跳點，則上述積分與無窮級數順序互換之運算成立。另外我們注意到上式中的積分部分可利用 Euler formula： $e^{j \omega t} = \cos \omega t + j \sin \omega t$可得
\[\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}dt}  = \int_0^T {\cos \left( {\left( {k - n} \right){\omega _0}t} \right)dt}  + j\int_0^T {\sin \left( {\left( {k - n} \right){\omega _0}t} \right)dt} \]觀察上式，當 $k =n$ 時，我們可計算積分值，但當 $k \neq n$時，對 $\sin, \cos$ 一個週期的積分值為 $0$，也就是說
\[\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}dt}  = \left\{ \begin{array}{l}
T,\begin{array}{*{20}{c}}
{}
\end{array}k = n\\
0,\begin{array}{*{20}{c}}
{}
\end{array}k \ne n
\end{array} \right.
\]故 $(*)$ 可改寫為
\[\begin{array}{l}
\int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt = \sum\limits_{k =  - \infty }^\infty  {{a_k}\int_0^T {{e^{j\left( {k - n} \right){\omega _0}t}}dt} } \\
 \Rightarrow \int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt = {a_n}T\\
 \Rightarrow {a_n} = \frac{1}{T}\int_0^T {x(t){e^{ - jn{\omega _0}t}}} dt \ \ \ \ (\star)
\end{array}
\]故若訊號 $x(t)$ 具有 Fourier Series Representation (亦即，可以被表示成 諧波相關 complex exponentials 的線性組合)，則 Fourier Series 的係數由上式 $(\star)$給出。

我們可以給一個總結如下：
對於連續時間 週期訊號 $x(t)$ 若 Fourier Series Representation存在：則下列的對偶關係式成立
\[\left\{ \begin{array}{l}
x(t) = \sum\limits_{k =  - \infty }^\infty  {{a_k}} {e^{jk{\omega _0}t}}\\
{a_k} = \frac{1}{T}\int_T^{} {x(t){e^{ - jk{\omega _0}t}}} dt
\end{array} \right.
\]上述的 Fourier Series 係數 $a_k$ 是用來 measure 週期訊號 $x(t)$ 中 每一次諧波分量的成分大小。另外 $a_0$ 表示 直流(DC) 分量，亦即讓 $k=0$，則 $a_k$式 $(\star)$ 變成
\[{a_0} = \frac{1}{T}\int_T^{} {x(t)} dt\]

現在我們看個例子:

Example
令
\[x\left( t \right) = 1 + \sin {\omega _0}t + 2\cos {\omega _0}t + \cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right)
\]試求 Fourier Series 係數 $a_k$

Solution
注意到 $x(t)$ 的最後一項 $\cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right)$ 可用 三角函數和差化積得到
\[\begin{array}{l}
\cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right) = \cos \left( {2{\omega _0}t} \right)\cos \left( {\frac{\pi }{4}} \right) + \sin \left( {2{\omega _0}t} \right)\sin \left( {\frac{\pi }{4}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \cos \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }} + \sin \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }}
\end{array}
\]故 $x(t)$ 變為
\[ \Rightarrow x\left( t \right) = 1 + \sin {\omega _0}t + 2\cos {\omega _0}t + \cos \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }} + \sin \left( {2{\omega _0}t} \right)\frac{1}{{\sqrt 2 }}
\]利用 Fourier Series 定義，我們首先將其改寫為 complex exponential 的線性組合，利用 Euler formula，我們可得
\[\begin{array}{l}
x\left( t \right) = 1 + \frac{1}{{2j}}\left( {{e^{j{\omega _0}t}} - {e^{ - j{\omega _0}t}}} \right) + \left( {{e^{j{\omega _0}t}} + {e^{ - j{\omega _0}t}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} + \frac{1}{{2\sqrt 2 }}\left( {{e^{j\left( {2{\omega _0}t} \right)}} + {e^{ - j\left( {2{\omega _0}t} \right)}}} \right) + \frac{1}{{j2\sqrt 2 }}\left( {{e^{j\left( {2{\omega _0}t} \right)}} - {e^{ - j\left( {2{\omega _0}t} \right)}}} \right)
\end{array}
\]整理上式得到
\[\begin{array}{l}
x\left( t \right) = \underbrace 1_{{a_0}} + \underbrace {\left( {1 + \frac{1}{{2j}}} \right)}_{{a_1}}{e^{j{\omega _0}t}} + \underbrace {\left( {1 - \frac{1}{{2j}}} \right)}_{{a_{ - 1}}}{e^{ - j{\omega _0}t}}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} + \underbrace {\frac{{\sqrt 2 }}{4}\left( {1 + \frac{1}{j}} \right)}_{{a_2}}{e^{j\left( {2{\omega _0}t} \right)}} + \underbrace {\frac{{\sqrt 2 }}{4}\left( {1 - \frac{1}{j}} \right)}_{{a_{ - 2}}}{e^{ - j\left( {2{\omega _0}t} \right)}} \ \ \ \ \square
\end{array}\]

Example 2: Sinc function
考慮週期方波如下圖所示

試求其 Fourier Series coefficients $a_k$：
Solution
首先判斷上式週期訊號 $x(t)$ 的週期為 $T$。
利用 $(\star)$ 我們可先計算 $a_0$
\[\begin{array}{*{20}{l}}
{{a_0} = \frac{1}{T}\int_T^{} {x(t)} dt}\\
{ \Rightarrow {a_0} = \frac{1}{T}\int_{ - T/2}^{T/2} {x(t)} dt = \frac{1}{T}\int_{ - {T_1}}^{{T_1}} 1 dt = \frac{{2{T_1}}}{T}}
\end{array}\]接著計算 $a_k$
\[\begin{array}{*{20}{l}}
{{a_k} = \frac{1}{T}\int_T^{} {x(t){e^{ - jk{\omega _0}t}}} dt}\\
{ \Rightarrow {a_k} = \frac{1}{T}\int_{ - {T_1}}^{{T_1}} {{e^{ - jk{\omega _0}t}}} dt = \frac{1}{{jk{\omega _0}T}}\left( {{e^{jk{\omega _0}{T_1}}} - {e^{ - jk{\omega _0}{T_1}}}} \right)}\\
{\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{2}{{k{\omega _0}T}}\left( {\frac{{{e^{jk{\omega _0}{T_1}}} - {e^{ - jk{\omega _0}{T_1}}}}}{{2j}}} \right) = \frac{{2\sin \left( {k{\omega _0}{T_1}} \right)}}{{k{\omega _0}T}}}
\end{array}\]注意到 $T := \frac{2 \pi}{\omega_0}$，故我們可進一步改寫上式得到
\[{a_k} = \frac{{\sin \left( {k{\omega _0}{T_1}} \right)}}{{k\pi }},\begin{array}{*{20}{c}}
{}
\end{array}k \ne 0\]且 $a_0 = \frac{T_1}{T}$。上式 $a_k$ 稱為 sinc function。

有了上述結果，我們可以做些實驗看看此係數的分布
我們固定 $T = 4 T_1$，則 Fourier Series coefficient 的分布如下圖

若將週期提高為 $T = 16 T_1$，則分布如下

Gibbs Phenomenon of Periodic Square Wave
延續上方例子，現在若限制 $|k| \le N$ ，且將每一個 $a_k$ 透過 complex exponential 做有限$N$項的線性組合，可得到前有限 $N$項的訊號，記做$x_N(t)$，
\[
x_N(t) = \sum_{k=-N}^{N} a_k e^{j k \omega_0 t}
\]我們試圖看看用此訊號 $x_N(t)$ "近似" 原本 $x(t)$ (以無窮項的 Fourier Series Representation) 看看是否確實還原我們的週期方波訊號。現在讓 $N$ 分別為 $1, 3,7,19,79$我們會得到下圖

上圖會發現方波確實被還原，但在不連續端點部分出現過大的 overshoot ，且不論 $N$ 如何增加，只要是有限的 $N$，該處的不連續 overshoot現象都回持續存在 (約 9% overshoot 在不連續點處)，此一現象稱為 Gibbs phenomenon。

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[系統理論] 連續時間週期訊號的 Fourier Series Representation (1) - Periodic signal represents by linear combination of complex exponentials

在系統理論中，週期訊號是非常重要的一類訊號，我們將在這篇文章介紹 對於週期訊號的頻域處理： Fourier Series Representation。本質上想法就是企圖將 週期訊號 透過 Complex exponentials 展開 (或者等價 用 sin 與 cos 展開)。

Comment:
1. 上述句子提及的展開 表示 週期訊號 可以透過 complex exponential 透過線性組合 建構。
2. 儘管 Fourier Series 對"大部分" 週期訊號 (e.g., 連續週期訊號)都成立。但若欲擴展到 "任意" 週期訊號的 Fourier Series Representation 須加上額外條件保證 Fourier Sereis 收斂，此部分會在後續文章再做討論。
3. 注意到若訊號為 "非週期"訊號，則 Fourier Series 不能使用，需引入 Fourier Transform!! 關於 Fourier Transform 的議題我們會在之後再做討論。 (基本想法仍不變，只是將非週期訊號 "看成" 週期訊號 但週期為無窮大)


======================
Definition: (Continuous Time Periodic Signal)
我們稱一個訊號 $x(t)$ 為週期訊號 (periodic signal) 若下列條件成立：
對任意時間 $t>0$ 存在一正實數 $T >0$，使得
\[
x(t) = x(t + T)
\]======================
下圖為連續時間的週期訊號的一個例子

我們稱 $T_0$ 為 週期訊號 $x(t)$ 的基本週期(fundamental period) 若下列條件滿足：
取最小週期 $T_0 = T>0$ 使得 $x(t) = x(t+T)$仍然成立。

由基本週期的定義，我們可透過 $\omega = \frac{2 \pi}{T}$ 定義 基本頻率 (fundamental frequency, $\omega_0$)
\[
\omega_0 := \frac{2 \pi}{T_0}
\] Example
考慮
\[x\left( t \right) = 1 + \sin {\omega _0}t + 2\cos {\omega _0}t + \cos \left( {2{\omega _0}t + \frac{\pi }{4}} \right)
\]則上述訊號 為週期訊號 (或者週期訊號的線性組合)，且 fundamental frequency 為 $\omega_0$。

下面是一些常見的 週期訊號 ：
-----------
Example
1. $x(t) = \cos \omega_0 t$
2.  $x(t) = e^{j \omega_0 t}$
-----------

Proof:
給定 $t>0$，
1. 先證 $\cos \omega_0 t$ 為週期訊號，亦即要證明 存在一個 $T >0$ 使得
\[
\cos(\omega_0 (t + T)) = \cos( \omega_0 (t))
\]現在令 $T := \frac{2\pi}{ |\omega_0|} >0$，則
\[\begin{array}{*{20}{l}}
{\cos ({\omega _0}(t + T)) = \cos ({\omega _0}(t + \frac{{2\pi }}{{\left| {{\omega _0}} \right|}}))}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \cos ({\omega _0}t \pm 2\pi ) = \cos ({\omega _0}t)}
\end{array}\]亦即 $\cos \omega_0 t$ 確實為週期訊號。

2. 我們接著證 $e^{ j \omega_0 t}$ 為週期訊號，亦即要證明 存在一個 $T >0$ 使得
\[
e^{j\omega_0 (t + T)} = e^{j\omega_0 t}
\]同樣取 $T := \frac{2\pi}{ |\omega_0|} >0$，則
\[\begin{array}{l}
{e^{j{\omega _0}(t + T)}} = {e^{j{\omega _0}\left( {t + \frac{{2\pi }}{{\left| {{\omega _0}} \right|}}} \right)}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {e^{j({\omega _0}t \pm 2\pi )}} = \cos ({\omega _0}t \pm 2\pi ) + jsin\left( {{\omega _0}t \pm 2\pi } \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \cos ({\omega _0}t) + jsin\left( {{\omega _0}t} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {e^{j({\omega _0}t)}}
\end{array}\]亦即 $e^{j\omega_0 t} $ 確實為週期訊號。$\square$。


現在我們考慮訊號為 Complex exponentials，亦即
\[
x(t) = e^{j \omega_0 t}
\]其對應的 fundamental frequency 為 $\omega_0$ 。

現在我們定義一組與諧波相關(harmonically related)的 complex exponentials  如下
\[
\phi_k(t) := e^{j k \omega_0 t}
\]上述 $\phi_k(t)$ 仍為週期訊號且 fundamental frequency 仍為 $\omega_0$，現在若我們把週期訊號 透過 線性組合疊加 寫成下列無窮級數形式：
\[
x\left( t \right): = \sum\limits_{k =  - \infty }^\infty  {{a_k}{\phi _k}\left( t \right)}  = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} \ \  \ \ (*)
\]則我們說上述訊號 $x(t)$ 仍為 一個週期為 $T$ 的訊號。

NOTE: 上述的無窮級數形式稱為週期訊號 $x(t)$ 的 Fourier Series Representation。亦即，給定係數 $a_k$，我們便可以透過 complex exponentials 的線性組合 來建構週期訊號 $x(t)$。

Comments:
對於
\[
x\left( t \right): = \sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} \ \  \ \ (*)
\]
注意到 $k=0$時，上式 $(*)$為常數。
\[x\left( t \right): = {\left. {\sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} } \right|_{k = 0}} = {a_0}
\]若 $k= \pm 1$時，此時 $(*)$ 可寫為
\[x\left( t \right): = {\left. {\sum\limits_{k =  - \infty }^\infty  {{a_k}{e^{jk{\omega _0}t}}} } \right|_{k =  \pm 1}} = {a_1}{e^{j{\omega _0}t}} + {a_{ - 1}}{e^{ - j{\omega _0}t}}
\]上式仍為 週期函數且 fundamental freqeuncy 為 $\omega_0$，我們稱為 1次諧波分量 (first harmonic compoenents)
同理，若 $k = \pm2$時，我們亦可得到週期函數，且 fundamental frequency 為 $2 \omega_0$，稱為 2次諧波分量 (second harmonic componenents)，以此類推，若 $k= \pm N$時，我們透過 $(*)$仍得到的週期函數，且 fundamental frequency 為 $N \omega_0$ 稱為 N次諧波分量。

我們現在看個例子：
考慮週期訊號 $x(t)$ 具有 fundamental frequency $2 \pi$ 表為
\[x\left( t \right) = \sum\limits_{k =  - 3}^3 {{a_k}{e^{jk2\pi t}}}
\]其中 $a_0 =1, \; a_1 = a_{-1} = 1/4$, $a_2 = a_{-2}=1/2$, $a_3 = a_{-3} = 1/3$。試求原本 $x(t) = ?$
Solution:
將給定係數 $a_k, k= -3,-2,-1,0,1,2,3$帶入上式，我們可得
\[{\small
\begin{array}{l}
x\left( t \right) = \sum\limits_{k =  - 3}^3 {{a_k}{e^{jk2\pi t}}} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {a_0} + {a_1}{e^{j2\pi t}} + {a_{ - 1}}{e^{ - j2\pi t}} + {a_2}{e^{j4\pi t}} + {a_{ - 2}}{e^{ - j4\pi t}} + {a_3}{e^{j6\pi t}} + {a_{ - 3}}{e^{ - j6\pi t}}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 1 + \frac{1}{4}\left( {{e^{j2\pi t}} + {e^{ - j2\pi t}}} \right) + \frac{1}{2}\left( {{e^{j4\pi t}} + {e^{ - j4\pi t}}} \right) + \frac{1}{3}\left( {{e^{j6\pi t}} + {e^{ - j6\pi t}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 1 + \frac{1}{2}\left( {\frac{{{e^{j2\pi t}} + {e^{ - j2\pi t}}}}{2}} \right) + \frac{1}{1}\left( {\frac{{{e^{j4\pi t}} + {e^{ - j4\pi t}}}}{2}} \right) + \frac{2}{3}\left( {\frac{{{e^{j6\pi t}} + {e^{ - j6\pi t}}}}{2}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 1 + \frac{1}{2}\left( {\cos 2\pi t} \right) + \frac{1}{1}\left( {\cos 4\pi t} \right) + \frac{2}{3}\left( {\cos 6\pi t} \right) \square
\end{array}
}\]

現在如果反過來，如果給定週期訊號 $x(t)$，如何反求 Fourier Series Represetnation 的係數 $a_k$ ? 我們將留待下一篇文章在做介紹。

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

[數學分析] Fourier Series 的 L^2 收斂 與 Parseval's Theorem

首先回憶一些 Fourier Series 重要的結果

FACT: 任意週期為 $2 \pi$ 之連續函數 $f$ 必存在一組 trigonometric polynomial $P:=\sum\limits_{ - N}^N {{c_n}{e^{inx}}} $ 使得 對任意 $x \in \mathbb{R}$ 而言，
\[
|P(x) - f(x)| < \varepsilon
\]

但是上述定理無法告訴我們何時週期函數可以被表示成 Fourier Series，故下面的定理尤為重要，通常用此定理判斷某週期函數是否可以表示成 Fourier Series (Pointwise sense)。

================
Theorem 0: Pointwise Convergence of Fourier Series
若 對某些 $x \in [-\pi, \pi]$ 而言， 存在 $\delta >0$ 與 $M>0$ 使得 對任意 $t \in (-\delta, \delta)$
\[
|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|
\]則 $ \displaystyle \lim_{N \rightarrow \infty}S_N(f;x) = f(x)$
===============

接著我們介紹另一個相對於 逐點收斂的重要的結果，稱作 L^2 收斂，亦即 Fourier Series 在 convergence in L^2。

================
Theorem 1: Fourier Series Converges in L^2
假設 $f, g$ 為 週期 $2 \pi$ 之 週期連續函數，且
\[
f(x) \sim \sum_{-\infty}^\infty c_n e^{inx}; \;\; g(x) \sim \sum_{-\infty}^\infty \gamma_n e^{inx}
\] 則
\[\mathop {\lim }\limits_{N \to \infty } \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{{\left| {f\left( x \right) - {S_N}\left( {f;x} \right)} \right|}^2}} dx = \mathop {\lim }\limits_{N \to \infty } \left\| {f - {S_N}} \right\|_2^2 = 0\]其中 ${S_N}\left( {f;x} \right): = \sum\limits_{ - N}^N {{c_n}{e^{inx}}} $
================
Proof:
令 $\varepsilon >0$，目標要證明 $||f - S_N(f)||_2 < \varepsilon $。由於 $f$ 為週期 $2 \pi$ 之 週期連續函數，由 FACT 可知必存在一組 trigonometric polynomial $P $ 使得 對任意 $x \in \mathbb{R}$ 而言，
\[
|P(x) - f(x)| < \varepsilon \Rightarrow ||P - f||_2 < \varepsilon
\]若 $P$ 有階數為 $N_0$ 階，則由於 $S_N(f) $ 為最佳近似 $f$ (請參閱先前BLOG文章 或者 Rudin Theorem8.11) ，對 $N \ge N_0$，
\[
||f - S_N(f)||_2 \le ||f - P||_2 < \varepsilon \ \ \ \ \square
\]


我們有以下的 Parseval's identity：

=================
Theorem 2: Parseval's Theorem
假設 $f, g$ 為 週期 $2 \pi$ 之 週期連續函數，且
\[
f(x) \sim \sum_{-\infty}^\infty c_n e^{inx}; \;\; g(x) \sim \sum_{-\infty}^\infty \gamma_n e^{inx}
\] 則
\[\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){g^*}\left( x \right)} dx = \sum\limits_{ - \infty }^\infty  {{c_n}\gamma _n^*} \]=================

Proof:

首先觀察
\[\begin{array}{l} \frac{1}{{2\pi }}\int_{ - \pi }^\pi {{S_N}\left( f \right){g^*}\left( x \right)} dx = \frac{1}{{2\pi }}\int_{ - \pi }^\pi {\sum\limits_{ - N}^N {{c_n}} {e^{inx}}{g^*}\left( x \right)} dx\\ \begin{array}{*{20}{c}} {}&{}&{}&{}&{}&{}&{}&{} \end{array} = \frac{1}{{2\pi }}\sum\limits_{ - N}^N {{c_n}} \underbrace {\int_{ - \pi }^\pi {{e^{inx}}{g^*}\left( x \right)} dx}_{ = \gamma _n^*2\pi } = \sum\limits_{ - N}^N {{c_n}} \gamma _n^* \end{array}
\]接著我們檢驗
\[\begin{array}{l}
\left| {\int_{ - \pi }^\pi  {f\left( x \right){g^*}\left( x \right)} dx - \int_{ - \pi }^\pi  {{S_N}\left( f \right){g^*}\left( x \right)} dx} \right| = \left| {\int_{ - \pi }^\pi  {\left[ {f\left( x \right) - {S_N}\left( f \right)} \right]{g^*}\left( x \right)} dx} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} \le \int_{ - \pi }^\pi  {\left| {\left[ {f\left( x \right) - {S_N}\left( f \right)} \right]{g^*}\left( x \right)} \right|} dx\\
{\rm{by}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{Schwarz}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{inequality}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} \le {\left( {\int_{ - \pi }^\pi  {{{\left| {f\left( x \right) - {S_N}\left( f \right)} \right|}^2}} dx \cdot \int_{ - \pi }^\pi  {{{\left| {{g^*}\left( x \right)} \right|}^2}} dx} \right)^{\frac{1}{2}}} \to 0
\end{array}\]當 $N \rightarrow \infty$。注意到上式收斂成立是因為我們 $\int |g|^2$ 有界 且 $\int |f - S_N| \rightarrow 0$ 當 $N \rightarrow \infty$ (由前面的 Theorem 1) $\square$

Comment:
一般而言，Parseval's Thoerem 泛指下式：令 前述 Parseval's Theorem $g(x) := f(x)$，則
\[\begin{array}{l}
\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){f^*}\left( x \right)} dx = \sum\limits_{n =  - \infty }^\infty  {{c_n}c_n^*} \\
 \Rightarrow \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{{\left| {f\left( x \right)} \right|}^2}} dx = \sum\limits_{n =  - \infty }^\infty  {{{\left| {{c_n}} \right|}^2}}
\end{array}\]


現在我們看個例子 說明 Parseval Theorem 怎麼使用。

Example：Application of the Parseval Theorem/ Pointwise Convergence Theorem
假設 $0 < \delta < \pi$，
\[f\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left| x \right| < \delta \\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\delta  < \left| x \right| \le \pi
\end{array} \right.\]且對任意 $x \in \mathbb{R}$， $f(x+2 \pi) = f(x)$
(a) 試求 Fourier Series Coefficient
(b) 試證 $\sum\limits_{n = 1}^\infty  {\frac{{{{\sin }^2}\left( {n\delta } \right)}}{{{n^2}\delta }}}  = \frac{{\pi  - \delta }}{2}$

Solution
在求解之前我們先確認 $f(x)$ 具有 Fourier Series，首先注意到 $f$ 為週期函數 (週期為 $2 \pi$) 接著我們檢驗其是否滿足我們的 逐點收斂 (Theorem 0) 條件：
給定 $x =0$ ，我們取題目中給定的 $\delta >0$ 檢驗對任意 $t \in (-\delta, \delta)$ ，觀察
\[\begin{array}{l}
\left| {f\left( {x + t} \right) - f\left( x \right)} \right| = \left| {f\left( t \right) - f\left( 0 \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \left| {1 - 1} \right| = 0 \le M\left| t \right|
\end{array}\]故我們知道其滿足 Theorem 0，亦即 $f$ 有 Fourier Series 且 $f(x) = \sum_{-\infty}^\infty c_n e^{inx}$ 現在我們可以開始解題：
(a) 首先針對 $c_0$ 可知
\[{c_0}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right)dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1dx}  = \frac{\delta }{\pi }\]
另外對 $n \neq 0$
\[\begin{array}{l}
{c_n}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){e^{inx}}dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1{e^{inx}}dx} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{n\pi }}\frac{{{e^{in\delta }} - {e^{ - in\delta }}}}{{2i}} = \frac{1}{{n\pi }}\sin \left( {n\delta } \right)
\end{array}\]注意到上述結果暗示了
\[f\left( x \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}{e^{inx}}} \]
(b) 我們要證明  $\sum\limits_{n = 1}^\infty  {\frac{{{{\sin }^2}\left( {n\delta } \right)}}{{{n^2}\delta }}}  = \frac{{\pi  - \delta }}{2}$ 注意到 part (a) 求出的 Fourier Series coefficient 的平方 出現在等號左方，暗示了我們可使用 Parserval's Theorem 亦即
\[\begin{array}{l}
\sum\limits_{n =  - \infty }^\infty  {{c_n}^2}  = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{{\left| {f\left( x \right)} \right|}^2}} dx\\
 \Rightarrow {c_0}^2 + 2\sum\limits_{n = 1}^\infty  {{c_n}^2}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  1 dx\\
 \Rightarrow {\left( {\frac{\delta }{\pi }} \right)^2} + 2\sum\limits_{n = 1}^\infty  {{{\left( {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \right)}^2}}  = \frac{\delta }{\pi }\\
 \Rightarrow \sum\limits_{n = 1}^\infty  {\left( {\frac{{{{\sin }^2}\left( {n\delta } \right)}}{{{n^2}\delta }}} \right)}  = \frac{{\pi  - \delta }}{2}
\end{array}\]

[數學分析] Fourier Series 逐點收斂性質 的充分條件

閱讀本文之前，建議讀者先行閱讀 [數學分析] 三角多項式 與 三角級數 (1) 來熟悉符號與定義。

現在考慮週期連續函數 $f$，並取 $c_n$ 為 $f$ 的 Fourier Series Coefficient，則我們可以定義 $N$ 項 Partial sum $S_N(f;x)$ 如下：
\[
S_N(f;x) :=\sum_{n=-N}^N c_n e^{inx}
\]其中 $c_n = \frac{1}{2 \pi}\int_{-\pi}^\pi f(x) e^{-inx}dx$

為了簡化符號，我們現在定義 Dirichlet kernel $D_N(t) $  如下
\[
D_N(t) := \sum_{n =-N}^N e^{int}
\]讀者可自行驗證上述 Dirichlet kernel 滿足
\[{D_N}(t): = \sum\limits_{n =  - N }^N  {{e^{int}}}  = \frac{{\sin \left( {\left( {N + 1/2} \right)t} \right)}}{{\sin \left( {t/2} \right)}}\]且 $\int_{ - \pi }^\pi  {{D_N}(t)dt = 2\pi } $

現在讓 $n \to \infty$，我們想問何時 上述的 Partial sum 是否收斂到原函數? ;i.e., $$f(x) =?= \sum_n c_n e^{inx} $$ 答案是當 $f$ 為連續函數 或者滿足某程度的連續條件；則 我們前述定義的 Partial sum $S_N(f;x)$ 可以 "逐點收斂" 到原函數 $f$。我們將此重要的結果記錄成以下定理：
================
Theorem 1: Sufficient Condition For Pointwise Convergence of Fourier Series
若 對某些 $x \in [-\pi, \pi]$ 而言， 存在 $\delta >0$ 與 $M>0$ 使得 對任意 $t \in (-\delta, \delta)$
\[
|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|
\]則 $ \displaystyle \lim_{N \rightarrow \infty}S_N(f;x) = f(x)$
===============

Comments: 
1. 上述定理中的條件：存在 $\delta >0$ 與 $M>0$ 使得 $|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|$ 一般稱為 Lipschitz Condition。
2. 上述定理並 不 保證 均勻收斂!!!

Proof (Theorem 1) : 我們要證 $S_N(f;x) \to f(x)$ 逐點收斂；亦即 $\lim_{N \rightarrow \infty}S_N(f;x) = f(x)$ ；故取 $x$ 滿足假設條件，且給定 $\varepsilon>0$ 我們要證 存在 $N>0$ 使得 $n \ge N \Rightarrow |S_N(f;x) - f(x)| <\varepsilon$ 。現在觀察
\[\begin{array}{*{20}{l}}
{|{S_N}(f;x) - f(x)| = |\sum\limits_{n =  - N}^N {{c_n}{e^{inx}}}  - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\sum\limits_{n =  - N}^N {\left( {\int_{ - \pi }^\pi  {f\left( t \right)} {e^{ - int}}dt} \right)} {e^{inx}} - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( t \right)} \sum\limits_{n =  - N}^N {{e^{in\left( {x - t} \right)}}dt}  - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( t \right)} {D_N}\left( {x - t} \right)dt - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( t \right)} {D_N}\left( {x - t} \right)dt - \underbrace {\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt}_{ = f\left( x \right)}|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}|\int_{x - \pi }^{x + \pi } {f\left( {x - s} \right)} {D_N}\left( s \right)ds - \int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt|}
\end{array}\]注意到由於 $D_N$ 與 $f$ 為 週期 $2 \pi$函數，故其 $D_N f$ 亦為週期 $2 \pi$函數，故若我們對其積分 其積分範圍可以是 滿足總長為 $2 \pi$ 任意範圍  即可。亦即我們可繼續改寫前式如下：
\[\small \begin{array}{*{20}{l}}
{|{S_N}(f;x) - f(x)| = \frac{1}{{2\pi }}|\int_{x - \pi }^{x + \pi } {f\left( {x - s} \right)} {D_N}\left( s \right)ds - \int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}|\int_{ - \pi }^\pi  {f\left( {x - s} \right)} {D_N}\left( s \right)ds - \int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}|\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} {D_N}\left( t \right)dt|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left| {\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\sin \left( {\left( {N + 1/2} \right)t} \right)}}{{\sin \left( {t/2} \right)}}dt} \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left| {\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\sin \left( {Nt} \right)\cos \left( {t/2} \right) + \cos \left( {Nt} \right)\sin \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}dt} \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left| \begin{array}{l}
\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\sin \left( {Nt} \right)\cos \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + \int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\cos \left( {Nt} \right)\sin \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}dt
\end{array} \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \le \frac{1}{{2\pi }}\left[ \begin{array}{l}
\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\cos \left( {t/2} \right)} \right]} \sin \left( {Nt} \right)dt} \right|\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\sin \left( {t/2} \right)} \right]} \cos \left( {Nt} \right)dt} \right|
\end{array} \right]}
\end{array}
\]注意到若 $|t| \le \delta$ 則下列兩式
\[\left\{ \begin{array}{l}
\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}} \right]\cos \left( {t/2} \right)\\
\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}} \right]\sin \left( {t/2} \right)
\end{array} \right.
\]兩者皆為有界 $(|f(x+t) - f(x)| \le M |t| < M \delta)$。故
\[\small \begin{array}{*{20}{l}}
{|{S_N}(f;x) - f(x)| \le \frac{1}{{2\pi }}\left[ \begin{array}{l}
\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\cos \left( {t/2} \right)} \right]} \sin \left( {Nt} \right)dt} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\sin \left( {t/2} \right)} \right]} \cos \left( {Nt} \right)dt} \right|
\end{array} \right]}\\
{\begin{array}{*{20}{l}}
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \frac{M}{{2\pi }}\left[ {\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|\cos \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}} \right]} \sin \left( {Nt} \right)dt} \right| + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|\sin \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}} \right]} \cos \left( {Nt} \right)dt} \right|} \right]}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \underbrace {\frac{M}{{2\pi }}\left[ {\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|}}{{\sin \left( {t/2} \right)}}} \right]} \sin \left( {Nt} \right)dt} \right| + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|}}{{\sin \left( {t/2} \right)}}} \right]} \cos \left( {Nt} \right)dt} \right|} \right] \to 0}_{\left( {by\begin{array}{*{20}{c}}
{}
\end{array}\mathop {\lim }\limits_{n \to \infty } {c_n} = 0} \right)}}
\end{array}}
\end{array}\]

以下我們看個例子:

Example：
假設 $0 < \delta < \pi$，
\[f\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left| x \right| < \delta \\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\delta  < \left| x \right| \le \pi
\end{array} \right.\]且對任意 $x \in \mathbb{R}$， $f(x+2 \pi) = f(x)$
(a) 試求 Fourier Series Coefficient
(b) 試證 $\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}}  = \frac{{\pi  - \delta }}{2} $

Solution
在求解之前我們先確認 $f(x)$ 具有 Fourier Series，首先注意到 $f$ 為週期函數 (週期為 $2 \pi$) 接著我們檢驗其是否滿足我們的 point-wise convergence (Theorem 1) 條件：
給定 $x =0$ ，我們取題目中給定的 $\delta >0$ 檢驗對任意 $t \in (-\delta, \delta)$ ，觀察
\[\begin{array}{l}
\left| {f\left( {x + t} \right) - f\left( x \right)} \right| = \left| {f\left( t \right) - f\left( 0 \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {1 - 1} \right| = 0 \le M\left| t \right|
\end{array}\]故我們知道其滿足 Theorem 1，亦即 $f$ 有 Fourier Series 且 $f(x) = \sum_{-\infty}^\infty c_n e^{inx}$ 現在我們可以開始解題：
(a) 首先針對 $c_0$ 可知
\[{c_0}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right)dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1dx}  = \frac{\delta }{\pi }\]
另外對 $n \neq 0$
\[\begin{array}{l}
{c_n}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){e^{inx}}dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1{e^{inx}}dx} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{n\pi }}\frac{{{e^{in\delta }} - {e^{ - in\delta }}}}{{2i}} = \frac{1}{{n\pi }}\sin \left( {n\delta } \right)
\end{array}\]注意到上述結果暗示了
\[f\left( x \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}{e^{inx}}} \]
(b) 我們要證明  $\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}}  = \frac{{\pi  - \delta }}{2} $ 故由 part (a) 可知
\[\begin{array}{l}
f\left( x \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}{e^{inx}}} \\
 \Rightarrow f\left( 0 \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \\
 \Rightarrow 1 = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \\
 \Rightarrow \frac{{\pi  - \delta }}{{2\pi }} = \sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \ \ \ \ \ \square
\end{array}
\]

前述 Theorem  只有說明 Fourier Series 何時會 逐點收斂，那麼我們想問甚麼時候可以有均勻收斂呢? 要討論 均勻收斂 對於 Fourier Series 其實故事相當冗長，不過所幸我們可以加入額外假設馬上獲得我們想要的 均勻收斂性質，亦即 額外加入 函數除了週期連續之外，還需要可導在該區間內可導，則均勻連續性可以被保證。

==========
Theorem:
令 $f \in C^1([-\pi,\pi])$ 且 periodic ，則 $S_N(f) \to f$ uniformly。
==========
Proof:
要證明 $S_N(f) \to f$ uniformly；首先注意到 $f \in C^1([-\pi,\pi])$ 故自動滿足 Lipschitz condition；由 Theorem 1 亦即我們有 對任意 $x$，$S_N(f;x) \to f(x)$ pointwise。

故我們只需證明 $S_N(f)$ 均勻收斂 無須證明他收斂到 $f$ (why? 因為 limit 的唯一性質保證如果已經有 $S_N(f)$ 逐點收斂到某函數 $f$ 且又知道 $S_N(f)$ 均勻收斂 則 $S_N(f)$ 必定要均勻收斂到 $f$)。

那麼現在問題變成如何證明  $S_N(f)$ 均勻收斂 ? 回憶 $S_N(f)$ 定義：
\[{S_N}\left( {f;x} \right): = \sum\limits_{n =  - N}^N {{c_n}{e^{inx}}} \]我們需要額外的工具 幫助我們證明上述 summation 收斂。回憶：( Weierstrass M-test ：若 函數數列 $g_n(x)$ 為連續 且 $|g_n(x)| \le M_n$ 且 $\sum_n M_n < \infty$，則 $\sum_n |g_n(x)|$ 均勻收斂。)

現在觀察 $\left| {{c_n}{e^{inx}}} \right| \le \left| {{c_n}} \right| $；另外由於 $f \in C^1$ 我們可定義 $c_n'$ 為 $f'$ 的 Fourier Series Coefficient，則
\[{c_n}' = in\left( {{c_n}} \right)
\]故由前述結果可推知
\[\left| {{c_n}{e^{inx}}} \right| \le \left| {{c_n}} \right| = \left| {\frac{{{c_n}'}}{{in}}} \right| = \left| {\frac{{{c_n}'}}{n}} \right|  \ \ \ \ (**)
\]現在利用 一個不等式工具： 對任意 $a,b \ge 0$，$a \cdot b \le \frac{1}{2} |a^2 + b^2|$；現在選 $a:=c_n'$ 與 $b:=1/n$ 則利用上述不等式可推得
\[\begin{array}{l}
\left| {{c_n}{e^{inx}}} \right| \le \left| {{c_n}} \right| = \left| {\frac{{{c_n}'}}{n}} \right| \le \frac{1}{2}|{\left( {{c_n}'} \right)^2} + {\left( {\frac{1}{n}} \right)^2}|\\
 \Rightarrow \left| {{c_n}{e^{inx}}} \right| \le \underbrace {\frac{1}{2}{{\left( {{c_n}'} \right)}^2} + \frac{1}{2}\frac{1}{{{n^2}}}}_{: = {M_n}}
\end{array}\]現在對 $M_n$ 取 summation 可得
\[\begin{array}{l}
\sum\limits_{n =  - \infty }^\infty  {{M_n}}  = \sum\limits_{n =  - \infty }^\infty  {\left[ {\frac{1}{2}{{\left( {{c_n}'} \right)}^2} + \frac{1}{2}\frac{1}{{{n^2}}}} \right]} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left| {{c_0}} \right| + \sum\limits_{n =  - \infty ;n \ne 0}^\infty  {\left[ {\frac{1}{2}{{\left( {{c_n}'} \right)}^2} + \frac{1}{2}\frac{1}{{{n^2}}}} \right]} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left| {{c_0}} \right| + \frac{1}{2}\underbrace {\sum\limits_{n =  - \infty ;n \ne 0}^\infty  {{{\left( {{c_n}'} \right)}^2}} }_{Term1} + \frac{1}{2}\underbrace {\sum\limits_{n =  - \infty ;n \ne 0}^\infty  {\left[ {\frac{1}{{{n^2}}}} \right]} }_{ < \infty }
\end{array}\]上式中的 Term 1 可利用 Parseval's Theorem ：($\sum\limits_n | {c_n}{|^2} = \underbrace {\int_{ - \pi }^\pi  | f(x){|^2}dx}_{: = \left\| f \right\|_{{L^2}}^2}$)，由於 $f \in C^1([-\pi,\pi])$ 故 \[\sum\limits_n | {c_n}{|^2} = \underbrace {\int_{ - \pi }^\pi  | f(x){|^2}dx}_{: = \left\| f \right\|_{{L^2}}^2} < \sup {\left| f \right|^2}2\pi  < \infty \]故 Term 1 亦為有界。至此我們證明了
\[
\sum_n M_n <\infty
\]由 Weierstrass M-test 可知 $\sum_n c_n e^{inx}$ 均勻收斂 亦即 $S_N(f)$ 均勻收斂，又由於 $S_N(f) \to f$ 逐點收斂，故  $S_N(f) \to f$ 均勻收斂 $\square$

以下我們看個例子：

Example
令 $f : [-\pi, \pi] \to \mathbb{C}$ 無窮可微 的解析函數 且滿足 $f^{(k)}(-\pi) = f^{(k)}(\pi)$ 對任意 $k \in \mathbb{Z}^+ \cup \{0\}$
(a) 若 $c_n$ 為 $f(x)$ 的 Fourier Series coefficient。試求 $f'(x)$ 的 Fourier Series Coefficient $c_n'$
(b) 試證 $n c_n \to 0$

Proof:
(a) 首先注意到 $f$ 為 解析函數，且  $f^{(k)}(-\pi) = f^{(k)}(\pi)$ 對任意 $k \in \mathbb{Z}^+ \cup \{0\}$ 故此函數滿足 Theorem 1 我們可說 $f$ 具有 Fourier Series 如下
\[f\left( x \right) = \sum\limits_{n =  - \infty }^\infty  {{c_n}{e^{inx}}} \]故
\[f'\left( x \right) = \sum\limits_{n =  - \infty }^\infty  {{c_n}in{e^{inx}}} : = \sum\limits_{n =  - \infty }^\infty  {{c_n}'{e^{inx}}}  \Rightarrow {c_n}' = {c_n}in\]

(b) 由於我們知道 $c_n ' = in c_n$ 故
\[\begin{array}{l}
{c_n}' = in{c_n} \Rightarrow \frac{{{c_n}'}}{i} = n{c_n}\\
 \Rightarrow \left| {n{c_n} - 0} \right| = \left| {\frac{{{c_n}'}}{i}} \right| \to 0
\end{array}\](利用 Bessel's inequality: $\lim_{n} c_n' \to 0$)

另外若 $f$ 為週期連續函數，則我們可以透過三角多項式逼近，此結果紀錄如下
==========
FACT: 若 $f$ 為 週期 $2 \pi$ 的連續函數 且 若 $\varepsilon >0$ ，則 存在 trigonometric polynomial $P$ 使得 對任意 $x \in \mathbb{R}$
\[
|P(x) - f(x)| < \varepsilon
\]==========
Proof: omitted. (via Weierstrass Approximation Theorem)