[數學分析] Weierstrass Theorem (1) - 先備概念

回憶在數學分析的內容中，我們試圖利用 $\mathbb{Q}$ 在 $\mathbb{R}$ 中 dense的想法，指出 任意在 $\mathbb{R}$ 上的實數 $r$，皆可透過 一組 sequence $\{q_n\} \in \mathbb{Q}$ 逼近 。也就是說 $q_n \rightarrow r$ 當 $n \rightarrow \infty$。那麼我們想問在函數上是否也有類似的概念? Weierstrass Approximation Theorem 便是試圖回答這個問題。

Weierstrass  Approximation Theorem 主要想法： 利用多項式 均勻收斂 連續函數!!

不過在介紹之前，我們需要一些先備知識。
首先看個 算子 (operator) 的概念：
定義 $A: \text{one function} \rightarrow \text{different function}$ 為一個算子(operator)

我們看個例子：

------------

Example

Fourier transform of 函數 $f$ 為一個算子 (將函數 $f$ 映射到另一個函數 $F$)

\[F(j\omega ) = \int_{ - \infty }^\infty  f (t){e^{ - j\omega }}dt
\]-----------

那麼算子何其多? 哪一種算子適合我們?? 以下我們介紹一個即為有用的特殊算子：摺積(Convolution)

===================

Definition: Convolution (Integral)

給定兩可積函數 $f,g$ on $\mathbb{R}$，則其折積(convolution) 定義為

\[(f*g)\left( x \right): = \int f (x - y)g(y)dy = \int g (x - y)f(y)dy
\]===================

Example

$f,g$ 為在 $[-1,1]$ 上的週期函數，且 $|\delta| <1$ \[f\left( x \right): = \left\{ \begin{array}{l} 1/2\delta ,\begin{array}{*{20}{c}} {}&{} \end{array}x \in \left[ { - \delta ,\delta } \right]\\ 0,\begin{array}{*{20}{c}} {}&{}&{} \end{array}o.w \end{array} \right.
\]試求其 convolution $(f * g)(x)=?$
Proof:
\[\begin{array}{l}
f*g: = \int_{ - 1}^1 {f\left( y \right)g\left( {x - y} \right)dy}  = \int_{ - \delta }^\delta  {\frac{\delta }{2}g\left( {x - y} \right)dy} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{\delta }{2}\int_{ - \delta }^\delta  {g\left( {x - y} \right)dy}. \ \ \ \ \square
\end{array}
\]

Convolution 的好處：可以保留原函數的本身的優點!!

===================
FACT: 令 $K$ 為 compact interval，若 $f \in \mathcal{C}^{\infty}(\mathbb{R})$ (smooth function) 且 $g$ 為 可積函數，則
\[
(f * g)(x) = \int_K f(y)g(x-y)dy
\]亦為在 $K$ 上 smooth function
==================
Proof: omitted.

現在我們看個函數
===================
Definition: A Specific Smooth Function
令 $\phi(x)$ 為 $\mathbb{R}$ 上的 smooth function 且滿足下列條件
在 $(-1,1)$， $\phi>0$ ；且在 $(-1,1)^c$， $\phi=0$ ；另外我們限定此函數  $\phi$ 必須滿足下列積分
\[
\int_{-1}^{1} \phi(t) dt =1
\]===================

有了上述函數，我們可以定義算子 Operator $A$ 如下：
對 $s>0$，定義 $\phi_s$ 為\[{\phi _s}(t): = \frac{1}{s}\phi (\frac{t}{s});\;\;\;\int_{-1}^1 \phi  dt = 1\]且

\[
A_s f(t) :=( \phi_s * f)(t) = \int \phi_s(t) f(x-t) dt
\]其中 $\phi \ge 0$ on $[-1,1]$ 且 $\phi =0$ on $[-1,1]^c$ 。
============
Theorem: Preliminary Lemma for Weierstrass Approximation Theorem
令 $f$ 為 有界 連續 函數 on $\mathbb{R}$ ($f \in \mathcal{C}(\mathbb{R})$) 且 令 $J$ 為任意 compact interval in $\mathbb{R}$。則 當 $s \rightarrow 0$，我們有 $A_s f \rightarrow f$ 均勻收斂 on $J$。
============

Proof:
令 $\varepsilon>0$ ，我們要證明 $A_s f \rightarrow f$ 均勻收斂；(注意到上述定理陳述是當 $s \rightarrow 0$，故令 $n := 1/s$) 故要證 存在 $N>0$ 使得 $n > N$ 我們有
\[
|A_sf(x) - f(x) | < \varepsilon
\]對任意 $x \in J$ 。

觀察
\[\small
\begin{array}{l}
|{A_s}f(x) - f(x)| = \left| {\int_{ - \infty }^\infty  {{\phi _s}\left( t \right)f\left( {x - t} \right)dt}  - f\left( x \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {\int_{ - \infty }^\infty  {{\phi _s}\left( t \right)f\left( {x - t} \right)dt}  - f\left( x \right)\underbrace {\int_{ - \infty }^\infty  {{\phi _s}\left( t \right)dt} }_{ = 1}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {\int_{ - \infty }^\infty  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]{\phi _s}\left( t \right)dt} } \right| \le \int_{ - \infty }^\infty  {\left| {f\left( {x - t} \right) - f\left( x \right)} \right|{\phi _s}\left( t \right)dt}  < \varepsilon
\end{array}\]注意到上式中當 $|t| >s$時， $\phi_s =0$故上式積分範圍為
\[|{A_s}f(x) - f(x)| \le \int_{ - s}^s {\left| {f\left( {x - t} \right) - f\left( x \right)} \right|{\phi _s}\left( t \right)dt}  < \varepsilon \]
故如果可以讓上式 $|f(x-t) - f(x)|$ 對任意 $x \in J$ 都可使其任意小便完成證明。故現在透過 $J$ 為任意 compact interval on $\mathbb{R}$，我們可推知 $f$ 在 $J$ 上為 uniform continuous。亦即我們可選 $\delta >0$ 使得對任意 $u,v \in J$，
\[
|u-v| < \delta \Rightarrow |f(u) - f(v)| < \varepsilon
\]取 $u :=x, v := x+t \in J$ 則我們可知
\[
|u-v| = |x - (x+t)| < \delta \Rightarrow  |f(x) - f(x-t)| < \varepsilon
\]也就是說只要能找到 $N$ 使得 $n >N$ 且滿足 $|t| < \delta$ 則 我們便會有
\[|{A_s}f(x) - f(x)| \le \int_{ - s}^s {\left| {f\left( {x - t} \right) - f\left( x \right)} \right|{\phi _s}\left( t \right)dt}  < \varepsilon \]由於 $n =1/s; \; n >N \Rightarrow s < 1/N$ 且又由 $\phi_s(t)$ 定義可知 $t \in [-s,s]$故取 $N = 1/\delta$ 則上述自動滿足。$\square$

[數學分析] 逐點收斂與均勻收斂(4) - Uniform boundedness and Equicontinuity

回憶對於 實數sequence 而言，我們有以下結果：
=================
Theorem: Convergence of Real Numbers 
1. 若 $\{p_n \}$ 為一個在 compact metric space $X$ 的實數 sequence，則存在一 subsequence $\{p_{n_i}\}$ 在 $X$ 上收斂。

2. (Bolzano-Weierstrass Theorem) 任意 $\mathbb{R}^k$ 中有界 sequences 都必有收斂 subsequence。
=================

那麼現在我們想問，如果是 函數 sequence 是否有類似結果可以使用?
Q1. 任意 收斂函數sequence 是否都有均勻收斂 sequence ?
Q2. 如果我們有一組 "有界" 的 函數 sequence，那麼是否此組有界函數 sequence 仍有 收斂 subsequence? 如果有? 是甚麼樣的收斂(逐點? or 均勻?) 如果沒有? 我們該怎麼修正。

讀者可以發現我們想要 模仿 實數sequence 的 Bolzano-Weierstrass theorem 到 函數 sequence 中，故第一個問題便是甚麼叫做 "有界" 的函數sequence ? 故以下我們給出 有界函數sequence (bounded function sequences)的定義 ：

=======================
Definition: ( Boundedness of Sequence of Function)
令 $\{f_n \}$ 為定義在 $E \subset X$ 上函數 sequence。
我們說 $\{f_n \}$ 為在 $E$ 上逐點有界(pointwise bounded)  若下列條件成立：
存在一個有限值域函數 $\phi(x)>0$ 使得 對任意 $x\in E$ 與 對 $n=1,2,3,...$，\[
|f_n(x)|< \phi(x)
\]
我們說 $\{f_n \}$ 為在 $E$ 上均勻有界(uniformly bounded)  若下列條件成立：
存在一個(夠大的)數字 $M\in \mathbb{R}$ 使得 對任意 $x\in E$ 與 $n=1,2,3,...$，\[
|f_n(x)|<M
\]=======================

現在看個例子

Example 1

令 $x \in [0,1]$ 且 $n \in \mathbb{N}$，定義函數sequence

\[ f_n(x) = \frac{x^2}{x^2 +(1 - nx)^2} \]試問 

1. 此函數sequence 是否均勻有界?

2. 此函數 sequence 是否收斂? 是否均勻收斂?

3. 此函數 sequence 是否具有均勻收斂 subsequence $\{f_{n_k} \}$?

Solution

1. 給定 $x\in [0,1]$ 觀察

\[\left| {{f_n}(x)} \right| = \left| {\frac{{{x^2}}}{{{x^2} + {{\left( {1 - nx} \right)}^2}}}} \right| \le 1\]故選 $M=1$ $\{f_n\}$ 在 $[0,1] $均勻有界。

2. 現在檢驗收斂性

\[\mathop {\lim }\limits_{n \to \infty } {f_n}(x) = \mathop {\lim }\limits_{n \to \infty } \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}} = \mathop {\lim }\limits_{n \to \infty } \frac{1}{{1 + {n^2}}} = 0
\] 但若我們檢驗 supnorm可發現
\[\left\| {{f_n}(x) - 0} \right\| = \mathop {\sup }\limits_{x \in [0,1]} \left| {\frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}} \right| = 1 \ne 0
\]故此函數不均勻收斂。

3. 令子數列如下
\[{f_{{n_k}}}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - {n_k}x)}^2}}}
\]現在觀察若 $x = \frac{1}{{{n_k}}}$ 則
\[{f_{{n_k}}}\left( {\frac{1}{{{n_k}}}} \right) = \frac{{{x^2}}}{{{x^2}}} = 1
\]故在 $[0,1]$ 上 無均勻收斂的 subsequence；亦即如果我們選 $\varepsilon = 1/2 >0$  則 對所有的 $N>0$，$n_k >N$ 存在一個 $x = \frac{1}{n_k} \in [0,1]$ 使得
\[\left| {{f_{{n_k(x)}}} - f(x)} \right| = \left| 1 - 0 \right| =1 \ge 1/2
\]

現在我們看個比連續以及均勻連續更強的定義，此定義可以幫我們連結均勻收斂 等相關概念
======================
Definition: Equicontinuity
令 $\mathcal{F}$ 為在 $E \subset X$上的 函數 $f$ 的 family，我們說此 family $\mathcal{F}$ 為 等度連續 (equicontinuous) on $E$ 若下列條件成立
對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對任意 $x,y \in E, f \in \mathcal{F}$
\[
d(x,y) < \delta \Rightarrow |f(x) - f(y)| < \varepsilon
\]======================

Comment: 
sequence of functions $f_n$ 可以看成是一個 函數 的 family $\mathcal{F}$，$f_n \in \mathcal{F} \;\; \forall n$。

如前例

Example 2

令 $x \in [0,1]$ 且 $n \in \mathbb{N}$，定義函數sequence

\[{f_n}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}
\]試問 $f_n$ 是否為 equicontinuous?

Solution
令 $x,y \in [0,1]$，觀察
\[\left| {{f_n}\left( x \right) - {f_n}\left( y \right)} \right| = \left| {\frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}} - \frac{{{y^2}}}{{{y^2} + {{(1 - ny)}^2}}}} \right| \ \ \ \ (*)
\]若我們取 $x = 1/n$ 與 $y = 2/n$ 滿足則當 $n \rightarrow \infty$ 我們有 $d(x,y) \rightarrow 0$；但若將上述 $x,y$兩點代入 $(*)$
\[\left| {{f_n}\left( {\frac{1}{n}} \right) - {f_n}\left( {\frac{2}{n}} \right)} \right| = \left| {1 - \frac{{\frac{4}{{{n^2}}}}}{{\frac{4}{{{n^2}}} + 1}}} \right| = \left| {\frac{{{n^2}}}{{4 + {n^2}}}} \right| \rightarrow 1\]亦即 無論 $n$ 多大 $|f_n(x) - f_n(y)|$之差都不會到 $0$。故並非 equicontinuous。$\square$


Example 3
令 $K \subset \mathbb{R}$ 為 compact ，且對任意 $R \in \mathbb{R}$ 滿足 $R<\infty$ 定義
\[
B_R:=\{f \in C(K): |f(x) - f(y)| < R|x-y|\}
\] 試證 上述集合 $B_R$ 為 equicontinuous。

Proof:
給定 $f \in B_R$，我們要證明 $f$ 為 uniform continuous  亦即 $\varepsilon >0$，存在 $\delta >0$ 使得 $u,v \in K$，$|u-v|<\delta \Rightarrow |f(u) - f(v)| <\varepsilon$。注意到 $f \in B_R$ 故 $|f(u) - f(v)| < R|u-v|$ 現在選 $\delta := \varepsilon /2R$ 則
\[|f(u) - f(v)| < R|u - v| = R\frac{\varepsilon }{{2R}} < \varepsilon
\]

接著我們介紹等度連續的判斷定理：

=======================
令 $\{f_n\}$ 為函數 sequence
Theorem: 
若 $K$ 為 compact metric space 且 $f_n \in \cal{C}(K)$ 且 $\{f_n\}$ 在 $K$上均勻收斂，則
$f_n$ 在 $K$ 上等度連續。
=======================
Proof: omitted.

現在回頭再看看剛剛的例子

Example 

令 $x \in [0,1]$ 且 $n \in \mathbb{N}$，定義函數sequence

\[{f_n}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}
\]試問 $f_n$ 是否為 equicontinuous?

我們發現主因是 

\[{f_n}(x) = \frac{{{x^2}}}{{{x^2} + {{(1 - nx)}^2}}}
\]並未在 $K$ 上均勻收斂，故並非等度連續!!



現在我們可以回答在文章開始時的問題：
在甚麼條件下，一組函數 Sequence 可以具有 均勻收斂的 subsequence?

=============================
Theorem: Sufficient Condition for Existence of Uniform Convergent Subsequence
若 $K$ 為 compact set，$\{f_n\}$ 為有界連續函數 sequence ( $ f_n \in \mathcal{C}(K),\;\; \forall n\in \mathbb{N}$) 且 $f_n$ 為 pointwise bounded 與 equicontinuous on $K$ 則
1. $\{f_n\}$ 為 uniformly bounded on $K$
2. $\{f_n\}$ 具有均勻收斂 subsequence
============================
Proof: omitted.


以下我們看個例子說明我們確實需要 $f_n$ pointwise bounded

Example 4
同 Example 3，令 $K \subset \mathbb{R}$ 為 compact ，且對任意 $R \in \mathbb{R}$ 滿足 $R<\infty$ 定義
\[
B_R:=\{f \in C(K): |f(x) - f(y)| < R|x-y|\}
\] 試問 sequence $\{f_n\} \subset B_R$ 是否有 convergent subsequence?

Proof:
注意到儘管 $K$ 為 compact，且 $B_R$ 為 equicontinuous，但是 $\{f_n\}$ 不一定為 pointwise bounded，比如說若選 $f_n(x) := r x + n$  ($0 < r < R$ ) 則 $f_n \in B_R$ 因為
\[|{f_n}(x) - {f_n}(y)| = |rx + n - ry - n| = r|x - y| < R|x - y|\]
但是 讀者可察覺 $f_n(x)$ 並無 pointwise bounded。(事實上 $f_n(x) \to \infty$)

[數學分析] 逐點收斂與均勻收斂(3) - Differentiation property

如果我們手邊有一個 均勻收斂的 函數 sequence $\{f_n \}$ 且假設此數列可微，我們想知道均勻收斂是否能給我們一些關於此函數sequence 微分 $\{ f_n' \}$ 的一些關聯?

首先看個例子：

Example:
令
\[
f_n(x) := \frac{\sin nx}{\sqrt{n}}, \;\; (x \in \mathbb{R}, \;n=1,2,3,...)
\]試回答下列問題：
1. 函數是否逐點收斂(converges pointwise)?
2. 是否均勻收斂(converges uniformly)?
3. 此函數sequence 導數 $f_n'(x)$ 為何?
4. 此函數sequence 的導數  $\{ f_n'\}$是否逐點收斂?
5. 此函數sequence 的導數  $\{ f_n'\}$是否均勻收斂?
Solution
1. 首先檢驗是否逐點收斂
給定 $x \in \mathbb{R}$，我們可知道當 $n \rightarrow \infty$ 函數 sequence $\{f_n \}$為
\[\mathop {\lim }\limits_{n \to \infty } {f_n}\left( x \right) = \mathop {\lim }\limits_{n \to \infty } \frac{{\sin nx}}{{\sqrt n }} = 0
\]亦即此 $\{f_n \}$ converges pointwise 到 $0$

2. 現在我們檢驗其是否為均勻收斂，由均勻收斂的 sup-norm 定義，我們可檢驗其 sup-norm 看是否收斂到 $0$；亦即檢驗
\[\left\| {{f_n} - f} \right\| = \mathop {\sup_{x \in \mathbb{R}} } \left| {\frac{{\sin nx}}{{\sqrt n }} - 0} \right| = \mathop {\sup_{x \in \mathbb{R}} } \left| {\frac{{\sin nx}}{{\sqrt n }}} \right| \le \frac{1}{{\sqrt n }}
\]故讓 $n \rightarrow \infty$可得
\[\mathop {\lim }\limits_{n \to \infty } \left\| {{f_n} - f} \right\| = 0\]

3. 此函數 sequence 導數為
\[{f_n}'\left( x \right) = \frac{1}{{\sqrt n }}n\cos nx = \sqrt n \cos nx\]

4. & 5. 此函數 sequence 的導數是否逐點收斂?
由結果 3 可知函數 sequence 的導數為 $\sqrt n \cos nx$ 此函數為在 $-1$ 與 $1$ 之間上下震盪的 cosine ，故若我們讓 $n \rightarrow \infty$ 皆不(逐點)收斂。既然此函數導數不收斂故必定不為均勻收斂。$\square$


故從上例可看出儘管原函數 sequence 具備均勻收斂，仍沒有辦法保證其導數sequence $\{ f_n'\}$依然均勻收斂。那麼問題變成 我們想知道 導數 sequence 與 原函數 sequence 之間的關係

不過我們在介紹此結果之前，我們需要一些事先工具：
===================
Mean Value Theorem 
設 $f: [a,b] \rightarrow \mathbb{R}$ 為連續函數 且 $f$ 在 $(a,b)$ 上可微。則 存在 $x \in (a,b)$ 使得
\[
|f(b) - f(a)| \le (b-a)|f'(x)|
\]===================

Proof: omitted.

====================
Theorem: Uniform Convergence Preserves Continuity
假設 $f_n \rightarrow f$ 均勻收斂在 $E \subset X$，令 $x$ 為 $E$ 上的 limit point，且假設 $\lim_{t \rightarrow x} f_n(t) = A_n(x)$ 對 $n = 1,2,3,...$則
1. $\{A_n \}$ 收斂
2. $\displaystyle \lim_{t \rightarrow x}f(t) = \displaystyle \lim_{n \rightarrow \infty} A_n(x)$
====================

Proof: omitted.

我們將此結果記做以下定理：
=======================
Theorem: Uniform Convergence and Differentiation Property
假設 $\{ f_n\}$ 為在封閉區間 $[a,b]$上可微的函數 sequence，且存在某點 $x_0 \in [a,b]$ 使得 sequence $\{ f_n(x_0)\}$ 收斂。現若 函數導數sequence $\{ f_n'\}$ 在 $[a,b]$ 上均勻收斂，則
1. 原函數sequence  $\{f_n \}$ 在 $[a,b]$上均勻收斂到某函數 $f$ 且
2. 對任意 $x \in [a,b]$，我們有
\[f'\left( x \right) = \mathop {\lim }\limits_{n \to \infty } {f_n}'\left( x \right)\]
=======================

Proof
我們先證 函數sequence  $\{f_n \}$ 在 $[a,b]$上均勻收斂到某函數 $f$ (但不知道此函數 $f$ 是否存在，我們必須現證明此函數收斂才可說 $f$ 存在)，故給定 $\varepsilon >0$ 我們要證明： 存在 $N$ 使得 $n ,m> N$ 與 $x \in [a,b]$，
\[
|f_n(x) - f_m(x)| < \varepsilon \ \ \ \ (\star)
\](亦即使用 Cauchy criterion 判斷均勻收斂)。

注意到我們已知 "存在某點 $x_0 \in [a,b]$ 使得 sequence $\{ f_n(x_0)\}$ 收斂"，故 $\{f_n \}$為 Cauchy，亦即存在 $N$ 使得 $n,m > N$
\[
|f_n(x_0) - f_m(x_0)| < \varepsilon \ \ \ \ (*)
\]且又知道 "函數導數sequence $\{ f_n'\}$ 在 $[a,b]$ 上均勻收斂"，故我們直接取前面 Cauchy 要求的 $N$ 使得
\[
|f_n'(x) - f'(x)| < \varepsilon/(b-a)
\]觀察上式，若 $n > N$ 則我們有 $|f_n'(x) - f'(x)| < \varepsilon/(b-a)$  且由於 "  $\{ f_n\}$ 為在封閉區間 $[a,b]$上可微的函數 sequence"，我們知道 $f_n - f_m$ 亦為可微函數，故對 $f_n - f_m$ 使用 Mean Value Theorem 可巧妙整合 $(*)$，亦即我們有 對任意 $x, t \in [a,b]$ ， $n,m >N$ 則
\[\begin{array}{l}
|\left( {{f_n}(x) - {f_m}(x)} \right) - \left( {{f_n}(t) - {f_m}(t)} \right)| \le |x - t| \cdot |{f_n}'(x) - {f_m}'(x)|\\
 \Rightarrow |\left( {{f_n}(x) - {f_m}(x)} \right) - \left( {{f_n}(t) - {f_m}(t)} \right)| \le |x - t|\frac{\varepsilon }{{b - a}} < \varepsilon
\end{array}\]上式最後的不等式成立因為 $|x - t| \le |b -a|$。

現在我們觀察
\[\begin{array}{l}
|{f_n}(x) - {f_m}(x)| = |{f_n}(x) - {f_n}({x_0}) + {f_n}({x_0}) - {f_m}({x_0}) + {f_m}({x_0}) - {f_m}(x)|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \le \underbrace {|{f_n}(x) - {f_n}({x_0}) + {f_m}({x_0}) - {f_m}(x)|}_{ < \varepsilon } + \underbrace {|{f_n}({x_0}) - {f_m}({x_0})|}_{{\rm{ < }}\varepsilon }\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} < {\rm{2}}\varepsilon
\end{array}
\]故我們證明了 $\{ f_n \}$ 在 $[a,b]$上為 Cauchy (滿足 Cauchy criterion) 故 $\{f_n  \}$ 在 $[a,b]$上均勻收斂。

由於我們已知 $\{ f_n\}$ (均勻)收斂故現在可令
\[
f(x) := \lim_{n \rightarrow \infty} f_n(x), \;\; (x \in [a,b])
\]----
現在給定 $x \in [a,b]$，我們開始證明 2：亦即要證
\[f'\left( x \right) = \mathop {\lim }\limits_{n \to \infty } {f_n}'\left( x \right)
\]我們首先定義兩輔助函數 $\phi_n, \phi$ 如下：對 $t \in [a,b]$ 且 $t \neq x$，
\[{\phi _n}\left( t \right): = \frac{{{f_n}\left( t \right) - {f_n}\left( x \right)}}{{t - x}};\;\;\phi \left( t \right): = \frac{{f\left( t \right) - f\left( x \right)}}{{t - x}}
\]注意到上式 $\phi_n$，若我們讓 $n=1,2,3...$  ，由導數定義可知
\[\mathop {\lim }\limits_{t \to x} {\phi _n}\left( t \right) = {f_n}'\left( x \right) \ \ \ \ (\star)
\]我們希望輔助函數 $\phi_n$ 可以均勻收斂到 $\phi$，由於已知 $\mathop {\lim }\limits_{t \to x} {\phi _n}\left( t \right) = {f_n}'\left( x \right)$ ，故一旦  $\phi_n$ 可以均勻收斂到 $\phi$， 則透過 Theorem of Uniform Convergence Preserves Continuity 可知
1. $\{f_n' \}$ 收斂
2. $\displaystyle \lim_{t \rightarrow x}\phi (t) = \displaystyle \lim_{n \rightarrow \infty} f_n'$

故我們開始證明 $\phi_n$ 均勻收斂到 $\phi$，現在觀察
\[\begin{array}{l}
\left| {{\phi _n}\left( t \right) - {\phi _m}\left( t \right)} \right| = \left| {\frac{{{f_n}\left( t \right) - {f_n}\left( x \right)}}{{t - x}} - \frac{{{f_m}\left( t \right) - {f_m}\left( x \right)}}{{t - x}}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \left| {\frac{1}{{t - x}}} \right|\left| {\left( {{f_n}\left( t \right) - {f_n}\left( x \right)} \right) - \left( {{f_m}\left( t \right) - {f_m}\left( x \right)} \right)} \right| \ \ \ \ (**)
\end{array}
\]再次利用 Mean Value Theorem 對 $f_n - f_m$ 且讓 $n,m > N$可得
\[\left| {\left( {{f_n}\left( t \right) - {f_m}\left( x \right)} \right) - \left( {{f_n}\left( t \right) - {f_m}\left( x \right)} \right)} \right| \le \left| {t - x} \right|\left| {{f_n}'\left( t \right) - {f_m}'\left( t \right)} \right| < \left| {t - x} \right|\frac{\varepsilon }{{b - a}}  \]
故 $(**)$ 變為
\[\left| {{\phi _n}\left( t \right) - {\phi _m}\left( t \right)} \right| < \left| {\frac{1}{{t - x}}} \right|\left| {t - x} \right|\frac{\varepsilon }{{b - a}} = \frac{\varepsilon }{{b - a}}
\]由於 $b-a$ 為有界，故我們可透過讓 $n,m$ 足夠大使得 $|\phi_n - \phi_m| \rightarrow 0$；亦即 我們證明了 $\{\phi_n \}$ 為 Cauchy ，故若 $t \neq x$，則 $\phi_n$ 均勻收斂 (到 $f_n'$)；另外由於我們已知 $f_n$ 均勻收斂到 $f$，故我們可令
\[\mathop {\lim }\limits_{n \to \infty } {\phi _n}(t): = \underbrace {\phi (t)}_{ = {f_n}'\left( x \right)},\;\;t \ne x,t \in [a,b]\]
總結手邊的結果，現在我們有 $\phi_n \rightarrow \phi$ 均勻收斂，且由 $(\star)$ 可知 $\mathop {\lim }\limits_{t \to x} {\phi _n}\left( t \right) = {f_n}^\prime \left( x \right)$ ，故透過 Theorem of Uniform Convergence Preserves Continuity  可知
1. $f_n'$ 收斂
2. 且
\[\begin{array}{l}
\mathop {\lim }\limits_{t \to x} \phi (t) = \mathop {\lim }\limits_{n \to \infty } {f_n}'(x)\\
 \Rightarrow f\left( t \right) = \mathop {\lim }\limits_{n \to \infty } {f_n}'(x)
\end{array}\]

延伸閱讀

[數學分析] 逐點收斂與均勻收斂(4) - Uniform boundedness and Equicontinuity

[數學分析] 逐點收斂與均勻收斂(2) - Series version

令 $X$ 為 metric space。現在考慮 一組 函數 sequence $\{f_n \}$ 定義在集合 $E \subset X$，我們稱 $\{f_n \}$為 uniform convergence 若下列任一條件成立
1. (Definition) 對任意 $\varepsilon >0$, 存在 $N >0$ 使得 $n > N$ 對所有的 $x \in E$
\[|f_n(x) - f(x)| < \varepsilon
\]2. (Cauchy criterion) 若對任意 $\varepsilon >0$, 存在 $N >0$ 使得 對任意 $x \in E$， 我們有 \[
 n,m > N \Rightarrow |f_n(x) - f_m(x)| < \varepsilon
\]3. (Sup-norm version) 若 \[
\lim_{n \rightarrow \infty} \sup_{x \in E} |f_n(x) - f(x)| =\lim_{n\rightarrow \infty}||f_n - f|| =0
\]
那麼現在我們看看若是一個級數而言，我們亦可討論此級數 是否 uniform convergence。故我們先給定級數收斂的定義

====================
Definition: (Convergence of Series of numbers )
令級數 $ \sum_{n=1}^{\infty}a_n$, 其中 $a_n \in \mathbb{R}$ ，我們稱此級數收斂若下列條件成立：
對任意 $\varepsilon >0$，存在 $N>0$ 使得 對任意 $m > N$
\[\left| {\sum\limits_{n = 1}^\infty  {{a_n}}  - \sum\limits_{n = 1}^m {{a_n}} } \right| < \varepsilon \]亦即所謂的級數的 partial sum 收斂。
====================

那麼對於一組函數級數的收斂該怎麼定義呢?

====================
Definition: (Convergence of Series of functions )
$E \subset X$，給定 $\{f_n(x) \}$ 為在 $E$ 上的函數 sequence，定義 函數級數 $ \sum_{n=1}^{\infty}f_n(x)$, 其中 $a_n \in \mathbb{R}$ ，我們稱此 函數級數為 逐點收斂(converges pointwise) 若下列條件成立：
給定任意點 $x \in E$，對任意 $\varepsilon >0$，存在 $N>0$ 使得 對任意 $m > N$
\[\left| {\sum\limits_{n = 1}^\infty  {{f_n(x)}}  - \sum\limits_{n = 1}^m {{f_n(x)}} } \right| < \varepsilon \]亦即所謂的級數的 partial sum 收斂。

我們稱此 函數級數 為 均勻收斂(converges uniformly) 若下列條件成立：
對任意 $\varepsilon >0$，存在 $N>0$ 使得 對任意 $m > N$ 與 任意 $x \in E$
\[\left| {\sum\limits_{n = 1}^\infty  {{f_n(x)}}  - \sum\limits_{n = 1}^m {{f_n(x)}} } \right| < \varepsilon \]亦即所謂的級數的 partial sum 收斂。
====================

注意到上述定義要求無窮級數合，這在使用上會有一定的困難，故我們轉而利用 Cauchy criterion  (因為 "級數" 本身可視為一個函數。則透過函數的均勻收斂條件可知道 若且唯若 Cauchy criterion 成立 )，亦即：

Cauchy Criterion for uniform convergent series
函數級數 $ \sum_{n=1}^{\infty}f_n(x)$ 為 均勻收斂(converges uniformly)若下列條件成立
對任意 $\varepsilon >0$, 存在 $N >0$ 使得 $n,m > N (n>m>N)$, $x \in E$ 我們有\[\left| {\sum\limits_{k = 1}^n {{f_k}(x)}  - \sum\limits_{k = 1}^m {{f_k}(x)} } \right| < \varepsilon \]


接著我們在給出一個更進一步的結果，就是若函數級數的每一項都有界，且其有界函數的級數合收斂，則原函數級數有 均勻收斂，此稱作 Weierstrass M test 記做下面定理
====================
Theorem: Weierstrass M-test
設 $\{f_n \}$ 為一組定義在集合 $E$ 上函數 sequence，且我們假設
\[
|f_n(x)| \le M_n, (x\in E, n\in \mathbb{N})
\] 現若 級數 $\sum_n M_n$ 收斂，則 $\sum_n f_n$ converges uniformly on $E$ 。
====================

Proof:
給定任意 $\varepsilon >0$，我們可使用 Cauchy criterion 幫助我們判斷 函數級數的 均勻收斂；現在觀察 partial sum：
\[\left| {\sum\limits_{k = 1}^n {{f_k}(x)}  - \sum\limits_{k = 1}^m {{f_k}(x)} } \right| = \left| {\sum\limits_{k = m}^n {{f_k}(x)} } \right| \le \sum\limits_{k = m}^n {\left| {{f_k}(x)} \right|}  \le \sum\limits_{k = m}^n {{M_k}} \ \ \ \ (*)
\]上述不等式最後一項成立 (使用假設 $|f_k(x)| \le M_k, (x\in E, k\in \mathbb{N})$)，又因為 級數 $\sum_n M_n$ 收斂，故可知 $(*)$ 收斂，亦即存在一個 $N$ 使得 當 $m,n > N$ 的時候，
\[\left| {\sum\limits_{k = 1}^n {{f_k}(x)}  - \sum\limits_{k = 1}^m {{f_k}(x)} } \right| \le \sum\limits_{k = m}^n {{M_k}}  < \varepsilon \]亦即 $\sum_n f_n$ converges uniformly on $E$

Example
考慮級數
\[
\sum_{n=1}^{\infty} \frac{\sin (nx)}{n^2}
\]試判斷此級數是否均勻收斂?
Solution
利用 Weierstrass M-test，首先檢驗
\[
 |\frac{\sin (nx)}{n^2}| \le |\frac{1}{n^2}|
\]接著觀察
\[
\sum_{n=1}^\infty \frac{1}{n^2} \rightarrow 0
\]故 由Weierstrass M-test Theorem
\[
\sum_{n=1}^{\infty} \frac{\sin (nx)}{n^2} \rightarrow 0
\]均勻收斂。


延伸閱讀
[數學分析] 逐點收斂與均勻收斂(3) - Differentiation property

[數學分析] 逐點收斂與均勻收斂(4) - Uniform boundedness and Equicontinuity

[數學分析] 逐點收斂與均勻收斂(1)- sequence of functions

這次要介紹的是數學分析中關於函數收斂性 的 兩個非常重要的觀念： Pointwise convergence (逐點收斂) 與 Uniform convergence (均勻收斂) 。

不過在談函數的收斂之前，我們需要先知道到底是誰要收斂？ 在此我們所指的函數的收斂為考慮 函數 sequence  (也就是 函數 所形成的數列) 的收斂 。以下我們稱 $\{f_k \}_{k=1}^{\infty}$ 為一個 函數 sequence，其中 $f_k$ 為該數列中第 $k$ 個元素函數。

有了上述定義，我們便可以引入 這樣的函數到底如何收斂，首先我們介紹 函數 sequence 逐點收斂 的概念：
======================
Definition (Pointwise Convergence)
我們說一個 函數的 sequence $\{ f_k(t)\}_{k=1}^\infty $ 逐點收斂(converges pointwise) 到 某函數 $f(t)$ 若下列條件成立：
對任意 $ t \in [t_0, t_1]$
\[
 \mathop {\lim }\limits_{k \to \infty } {f_k}(t) = f(t)
\]======================

Comment:
1. 上述定義清楚的說明甚麼是逐點收斂。注意到第一個條件是 對任意 $t \in [t_0, t_1]$；也就是說 如果我們固定 $t$在某個閉區間範圍 $[t_0, t_1]$，在該時刻 $t$，我們的函數sequence $f_k(t) \rightarrow f(t)$ 對每一點時刻都成立。故稱為逐點收斂。

2. $f_k(t) \rightarrow f(t)  \Leftrightarrow \mathop {\lim }\limits_{k \to \infty } {f_k}(t)$ 在數學分析內容中，通常會更精確陳述為：
給定 $t \in [t_0,t_1]$， 對任意 $\varepsilon >0$ 存在一個夠大的 $N>0$ 使得 當 $n \ge N \Rightarrow |f_k(t) - f(t)| < \varepsilon$


下面給個例子說明Pointwise Convergence的概念：

Example (Pointwise Convergence)
考慮 $t \in [0, 1]$且我們的函數sequence
\[
{f_k}\left( t \right): = \left[ {\begin{array}{*{20}{c}}
{{e^{ - tk}}\cos kt + 2}\\
{{e^{ - 2tk}}\cos kt + t}
\end{array}} \right]
\]
則我們現在固定任意 $t \in [0,1]$ ，並檢驗當 $k \rightarrow \infty$ 的時候會發生甚麼事情?
\[ \Rightarrow \mathop {\lim }\limits_{k \to \infty } {f_k}\left( t \right) = \mathop {\lim }\limits_{k \to \infty } \left[ {\begin{array}{*{20}{c}}
{{e^{ - tk}}\cos kt + 2}\\
{{e^{ - 2tk}}\cos kt + t}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
2\\
t
\end{array}} \right]
\]上式告訴我們對每一個固定的 $t \in [0,1]$ 我們都有
\[{f_k}(t) \to \left[ {\begin{array}{*{20}{c}}
2\\
t
\end{array}} \right]
\]亦即 ${f_k}(t)$ 逐點收斂到 $\left[ {\begin{array}{*{20}{c}}
2\\
t
\end{array}} \right]$

注意到，儘管convergence pointwise 看起來似乎是很強的收斂條件，但其實我們很難從此種收斂中得出一些我們感興趣的性質 (比如說 此函數sequence原本為連續函數，那麼其對應的極限函數 $f$ 是否仍為連續？ 或者原函數squence 可微(積)分，那麼對應的極限函數 $f$ 是否也可微(積)分？) 事實上並無法被保證。

比如說考慮下圖 (點圖放大)

若以式子描述則為 \[{f_k}\left( t \right) = \left\{ {\begin{array}{*{20}{l}} {0,\begin{array}{*{20}{c}} {} \end{array}t \le 0}\\ {kt,\begin{array}{*{20}{c}} {} \end{array}0 < t < \frac{1}{k}}\\ {1,\begin{array}{*{20}{c}} {} \end{array}t \ge \frac{1}{k}} \end{array}} \right.\begin{array}{*{20}{c}} {} \end{array} \to \begin{array}{*{20}{c}} {} \end{array}\mathop {\lim }\limits_{k \to \infty } {f_k}\left( t \right) = f\left( t \right) = \left\{ {\begin{array}{*{20}{l}} {0,\begin{array}{*{20}{c}} {} \end{array}t \le 0}\\ {1,\begin{array}{*{20}{c}} {} \end{array}t > 0} \end{array}} \right.\] 左圖 $f_k$ 為連續函數。 但現在如果我們固定任意 $t$，並且讓 $k \rightarrow \infty$，我們得到的 $f$ 為一個step function，故連續性再逐點收斂中並沒有被保證。

故我們需要一個比逐點收斂更強的收斂。稱作均勻收斂 (Uniform convergence)

======================
Definition: (Uniform Convergence)
我們說一個 函數的 sequence $\{ f_k\}_{k=1}^\infty $ 均勻收斂(converges uniformly) 到 某函數 $f$ 若下列條件成立：
\[
||f_k - f || \rightarrow 0 \ \text{as $k \rightarrow \infty$} \\
\text{or}\\
 \ \mathop {\lim }\limits_{k \to \infty } \left\| {{f_k} - f} \right\| = 0
\]======================

Comments
1. 上述定義不再要求 $t$，亦即與 $t$ 無關 (Uniform means total lack of restriction on $t$)。

2. $ ||f || := \displaystyle \sup_{t \in [t_0, t_1]} |f(t)|$；亦即我們的函數的norm是取sup norm of function (or so-called uniform norm, or infinity norm)

現在我們看個例子：

Example :
考慮 $f_n: \mathbb{R} \to \mathbb{R}$，且
$$f_n(x):=\frac{x^2+nx}{n}
$$ 1. 試求當 $n \to \infty$ 其極限為何?
2. 試判斷是否均勻收斂至其極限?

Solution
1. \[\mathop {\lim }\limits_{n \to \infty } {f_n}(x) = \mathop {\lim }\limits_{n \to \infty } \frac{{{x^2} + nx}}{n} = x\]
2. 檢驗其是否均勻收斂至 $x$ 我們可檢驗其 supnorm 是否收斂到 $0$
\[\left\| {{f_n} - f} \right\| = \mathop {\sup }\limits_{x \in {\rm{R}}} \left| {\frac{{{x^2} + nx}}{n} - x} \right| = \mathop {\sup }\limits_{x \in {\rm{R}}} \left| {\frac{{{x^2}}}{n}} \right|\]注意到若取 $x := \sqrt{n} \in \mathbb{R}$ 其 supnorm $=1$ 故不收斂到 $0$；因此 此例 $f_n(x)$ 並無均勻收斂到 $x$。$\square$


接著我們看個重要的結果，也就是均勻收斂保證 逐點收斂。

==================
FACT: $f_k$ converges uniformly to $f$ $\Rightarrow$ $f_k$ converges pointwise to $f$ 
==================
Proof:
固定 $t \in [t_0, t_1]$，我們要證明 $f_k \rightarrow f$ pointwise，亦即要證明
\[
\lim_{k \rightarrow \infty}|f_k(t) - f(t) | =0
\]故我們觀察
\[
|f_k(t) - f(t) | \le \displaystyle \sup_{t \in [t_0, t_1]}|f_k(t) - f(t) | = ||f_k - f ||
\] 又因為 $f_k \rightarrow f$ uniformly，故我們知道
\[
 ||f_k - f || \rightarrow 0
\] 亦即 Uniformly convergence $\Rightarrow$ Pointwise Convergence $\square$。


均勻收斂 保證 連續性。
==================
FACT: 令 $\{f_k\}: X \to \mathbb{R}$ 為 連續函數 sequence；若 $f_n \to f$ 均勻收斂，則 $f$ 為連續函數 (連續性被保持)
==================
(Proof is omitted.)
回頭再檢驗一下我們剛剛的圖

其並非均勻收斂 (WHY??) 由均勻收斂定義，我們計算其sup norm看看發生甚麼事：
\[
\left\| {{f_k} - f} \right\| = \sup_t \left| {{f_k}\left( t \right) - f\left( t \right)} \right| = 1 \ne 0
\]
WHY supnorm = 1?? 由定義我們是找 "兩者間差異" 取 sup，也就是找 $f_k - f$的差異最大的時候，那麼兩者間最大差異為1 不為0，亦即不均勻收斂。(失去連續性)


==================
FACT: 若 $\{ f_k \}_{k=1}^\infty$ converges uniformly to $f$ 若且唯若 $\{ f_k \}_{k=1}^\infty$  為 Cauchy sequence。亦即；對所有的 $\varepsilon > 0$, 存在一個 $K \in \mathbb{N}$ 使得 對所有的 $j,k \geq K$，我們有 \[ ||f_j - f_k|| < \varepsilon \]==================

接著我們看一個 Uniform Convergence 的結果：如果我們確認某函數 sequence  $\{ f_k \}$ 均勻收斂到 某極限函數 $f$，則 對其取積分再取極限 等價 取極限再取積分。(亦即 積分與極限次序可以互換)!!

==================
Theorem
令 $\{ f_k \}_{k=1}^\infty$ 為在有界 分段連續函數空間 $\cal{B}([t_0, t_1], \mathbb{R}^n)$ 的 sequence，且均勻收斂到 $f$。則
\[
\displaystyle \lim_{k \rightarrow \infty} \int_{t_0}^{t_1} f_k(t) dt = \int_{t_0}^{t_1} f(t) dt
\]==================

Proof
首先計算下列兩積分的差
\[\begin{array}{l}
\left\| {\int_{{t_0}}^{{t_1}} {{f_k}} (t)dt - \int_{{t_0}}^{{t_1}} f (t)dt} \right\| = \left\| {\int_{{t_0}}^{{t_1}} {{f_k}} (t) - f(t)dt} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} \le \int_{{t_0}}^{{t_1}} {\left\| {{f_k}(t) - f(t)} \right\|} dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} \le \int_{{t_0}}^{{t_1}} {\sup \left\| {{f_k}(t) - f(t)} \right\|} dt = \int_{{t_0}}^{{t_1}} {\left\| {{f_k} - f} \right\|} dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \left\| {{f_k} - f} \right\|\int_{{t_0}}^{{t_1}} 1 dt = \underbrace {\left\| {{f_k} - f} \right\|}_{ \to 0}\left( {{t_1} - {t_0}} \right)
\end{array}
\]故
\[
\displaystyle \lim_{k \rightarrow \infty} \int_{t_0}^{t_1} f_k(t) dt = \int_{t_0}^{t_1} f(t) dt. \ \ \ \ \square
\]

延伸閱讀
[數學分析] 逐點收斂與均勻收斂(2) - Series version
[數學分析] 逐點收斂與均勻收斂(3) - Differentiation property

[數學分析] 逐點收斂與均勻收斂(4) - Uniform boundedness and Equicontinuity