[微積分] Little-oh 的性質 與 其對應的 函數可導定義

======================
Definition: $f$ is Little-Oh of $x$
我們說 當 $x \to 0$ 時， $f(x) = o (x)$ 若下列條件成立：
對任意 $\varepsilon>0$ 存在 $\delta > 0$ 使得
\[ |x - 0| < \delta \Rightarrow \frac{f(x)}{|x|} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x} \frac{f(x)}{|x|} = 0$
======================

上述定義可進一步推廣如下：

======================
Definition: $f$ is Little-Oh of $g$
我們說 當 $x \to x_0$ 時， $f(x) = o (g(x))$ 若下列條件成立：
對任意 $\varepsilon>0$ 存在 $\delta > 0$ 與 正數 $c>0$ 使得
\[ |x - x_0| < \delta \Rightarrow \frac{f(x)}{g(x)} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x_0} \frac{f(x)}{g(x)} = 0$
======================

以下我們先看個定理，此定理描述了 $o(x)$ 的一些常用性質：

======================
Theorem:
令 $f, g : I \to \mathbb{R}$ 為兩函數 且 $0 \in I$。若 $f(x) = o(x)$ 且 $g(x) =o(x)$ 則下列三個性質成立
\[\begin{array}{l}
1. \; f\left( x \right) + g\left( x \right) = o\left( x \right)\\
2. \; \alpha f\left( x \right) = o\left( x \right),\begin{array}{*{20}{c}}
{}&{}
\end{array}\forall \alpha  \in \mathbb{R}\\
3. \; f\left( x \right)g\left( x \right) = o\left( x \right)
\end{array}\]======================

Proof: (1)
觀察
\[\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right) + g\left( x \right)}}{{\left| x \right|}}} \right) = \mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}} + \frac{{g\left( x \right)}}{{\left| x \right|}}} \right)
\]由於 $f(x) = o(x)$ 且 $g(x) =o (x)$ 故
\[\begin{array}{l}
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right) = 0;\\
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0
\end{array}\]因此
\[\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right) + g\left( x \right)}}{{\left| x \right|}}} \right) = \mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}} + \frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0 + 0 = 0\]亦即
\[
 f(x) + g(x) = o(x)
\]

Proof: (2)
給定任意 $\alpha \in \mathbb{R}$，觀察
\[\mathop {\lim }\limits_{x \to 0} \frac{{\alpha f\left( x \right)}}{{\left| x \right|}} = \alpha \mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)}}{{\left| x \right|}} = 0\]亦即
\[
\alpha f(x) = o(x)
\]
Proof: (3)

觀察

\[\mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|}} = \mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|\left| x \right|}}\left| x \right| = \mathop {\lim }\limits_{x \to 0} \left( {\left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right)\left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right)\left| x \right|} \right)\]由於 $f(x) = o(x)$ 且 $g(x) =o (x)$ 故

\[\begin{array}{l}
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right) = 0;\\
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0
\end{array}\]且 $\lim_{x \to 0}|x| =0$因此
\[\mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|}} = \mathop {\lim }\limits_{x \to 0} \left( {\left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right)\left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right)\left| x \right|} \right) = 0 \cdot 0 \cdot 0 = 0\]

Comment:
上述證明 $(3)$ 亦可採用以下性質來證明：
FACT: 若 $f: I \to \mathbb{R}$ 為函數 且 $0 \in I$，若 $f(x) = o(x)$ 則 $\lim_{x \to 0} f(x) = 0$
讀者可自行嘗試。

以下定理將 little oh 與 函數可微 的定義做連結。

======================
Theorem:
考慮 $f: I \to \mathbb{R}$，則下列敘述等價
\[
1.\;\mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right)}}{h} = f'\left( x \right)\]
\[
2. \;\mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h}}{h} = 0
\]
\[
3.  \; \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h}}{{\left| h \right|}} = 0
\]
\[
4.  \; f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h = o\left( h \right)
\]
\[
5. \; f\left( {x + h} \right) - f\left( x \right) = f'\left( x \right)h + o\left( h \right)
\]======================

Comment:
上述定理中的 1. 為標準的可導定義，表示 割線極限存在。

現在我們可以引入另一種 函數可導 的定義，此定義在某種意義上扮演承先啟後的角色，因為透過此定義將可允許我們把單變數函數可導的定義推廣到多變數函數之上。現在我們將原本割線極限 的定義改寫成以下定義：


======================
Definition: 令 $f: I \to \mathbb{R}$ 為函數，我們說 $f$ 在點 $x$ 可導若下列條件成立：若存在唯一常數，記作 $f'(x)$，使得
\[
f(x+h) - f(x) = f'(x) h + o(h)
\] 成立
======================

Comments: 
1. 上述導數唯一的結果來自極限值的唯一性質。
2. 讀者也許感到疑惑明明我們對於函數可導的定義已經透過割線極限來定義，為何還要再重新定一個新的定義？因為上述定義將允許我們將原本單變數 $f$ 推廣到 多變數函數。

[微積分] Little-oh 與 Big-oh 符號

一般數學分析中或者演算法分析經常會用到 $O$符號 或者 $o$符號。以下我們先引入定義。

======================
Definition: $f$ is Big-Oh of $g$
令 $f, g$ 為任意函數在 $x = x_0$ 附近可定義。我們說當 $x \to x_0$ 時， $f(x) = O(g(x))$) 若下列條件成立：
存在 $\delta > 0$ 與 正數 $c > 0$ 使得\[
|x - x_0| < \delta \Rightarrow |f(x)| \le c |g(x)| \]======================

離散情況的Big-Oh之定義:

上述定義在離散情況也可以，亦即 $f(n)=O(g(n))$若且唯若 存在 $N \in \mathbb{N}$ 與 正數 $c>0$ 使得 對任意 $n \geq N$ 而言，$|f(n)|\leq cf(n)$。

Example: 比如說線性搜尋演算法最大執行步驟數為 $f_L(n):=4n+5$ 則不難得證 $f_L(n) = O(n)$。(hint: 取 $N=5$ 與 $C=5$即可)

Exercises: 試證 

1. $n=O(n)$, 

2. $1000n = O(n)$, 

3. $2n^3+n = O(n^3)$，

4. $0.001n^{100} = O(n^{100})$。

5. 令 $f(n) = (-1)^n$ 試證明 $f(n) = O(1)$。

Comments: $f(n) = O(1)$ 意指存在 整數 $N\in \mathbb{N}$ 與 正數 $c>0$ 使得對任意 $n\geq N$我們有 $|f(n)|\leq c \cdot 1$。此表明函數 $f$ 有上界(但不一定收斂，請看上述 exercise 5)。

======================
Definition: $f$ is Little-Oh of $g$
我們說 當 $x \to x_0$ 時， $f(x) = o (g(x))$ 若下列條件成立：
對任意 $\varepsilon>0$ 存在 $\delta > 0$  使得
\[ |x - x_0| < \delta \Rightarrow \frac{f(x)}{g(x)} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x_0} \frac{f(x)}{g(x)} = 0$
======================

Comments:
1. $o(g(x))$ (要求收斂) 條件比 $O(g(x))$ (僅要求有界) 條件強烈。

2. 我們說某函數 $f$ 在 $x_0$ 處連續亦可以用此 little-oh 符號表達：
\[
f(x) - f(x_0) = o(1) \text{ as $ x \to x_0$}
\]
3. 一般而言，上述定義中的 函數 $g(x)$ 多半考慮為較 $f(x)$ 簡單的函數以用作比較函數 decay or growth rate ；以下我們看幾個例子

Example 1: 選 $g :=1$ 且考慮當 $x \to x_0$ 時，
(a) $f(x) = O(g(x) )= O(1)$ 試解釋其意義：
(b) $f(x) = o(g(x)) = o(1)$ 試解釋其意義：

Solution：
(a) 當 $x \to x_0$ 時，$f(x) = O(g(x) = O(1)$ 由定義可知：存在 $\delta >0$ 與 正數 $c>0$ 使得\[
|x - x_0| < \delta  \Rightarrow |f(x)| \le c |1|
\]亦即 $|f(x)|$ 在 $x= x_0$ 附近有界 (在此例中此界為 $c$)

(b) 當 $x \to x_0$ 時，$f(x) = o(g(x)) = o(1)$ 由定義可知：
\[\mathop {\lim }\limits_{x \to {x_0}} \frac{{f(x)}}{{g(x)}} = \mathop {\lim }\limits_{x \to {x_0}} f(x) = 0\]


Example 2
試證明 若 $f(x) = o(x)$ 則 $\lim_{x \to 0} f(x) = 0$

Proof:
觀察
\[\mathop {\lim }\limits_{x \to 0} f(x) = \mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{x} \cdot x \;\;\;\;\; (**)
\]接著由於 $f(x) = o(x)$ 由定義可知
\[\mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{{\left| x \right|}} = 0\]且又知道
\[
\lim_{x \to 0} x =0
\]故 $(**)$ 由極限四則運算關係可得
\[\mathop {\lim }\limits_{x \to 0} f(x) = \mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{x} \cdot x = 0\]

Example 3
考慮下列數列
$$z_n:= t + o(t/n)n$$ 其中 $o(\cdot)$ 為 little-oh；試求 $\lim_{n\to \infty} z_n =?$

Solution:
我們要計算
\[\mathop {\lim }\limits_{n \to \infty } {z_n} = \mathop {\lim }\limits_{n \to \infty } \left( {t + o\left( {\frac{t}{n}} \right)n} \right)\]
現在考慮任意 sequence $a_n \in o(t/n)$， 則由 little-oh 定義可知
\[\mathop {\lim }\limits_{n \to \infty } \frac{{{a_n}}}{{\frac{t}{n}}} = 0 \Rightarrow \mathop {\lim }\limits_{n \to \infty } \frac{{n{a_n}}}{t} = 0 \]
故現在令 $z_n:= t + n a_n$ 則
\[\mathop {\lim }\limits_{n \to \infty } {z_n} = \mathop {\lim }\limits_{n \to \infty } \left( {t + n{a_n}} \right) = \mathop {\lim }\limits_{n \to \infty } t\left( {1 + \frac{{n{a_n}}}{t}} \right) = t\left( {1 + \mathop {\lim }\limits_{n \to \infty } \frac{{n{a_n}}}{t}} \right) = t\]

控制理論中的類比

令 $e(t)$ 為誤差訊號。若 $e(t) = o(1)$ ，則表示誤差收斂到 $0$。若 $e(t) =O(1)$ 則表示有界，未必趨於 $0$。

令 $\int_0^T e(\tau) d\tau$ 為累積誤差訊號。若 $\int_0^T e(\tau) d\tau = o(T)$則表示 "平均誤差" $\frac{1}{T} \int_0^T e(\tau) d\tau$ 收斂到零。

我們也可以考慮隨機情況的oh符號:

Definition: 隨機序列 $X_T$ 為 $O_p(f(T))$ 若以下條件成立：對任意 $\varepsilon >0$ 存在常數 $C>0$ 與 $T_0$ 使得 $P(|X_T| > C f(T)) < \varepsilon$ 對所有 $T \geq T_0$

Example:

設 $e(t)$ 為均值 $\mathbb{E}[e(t)] :=0$ 且 共變異 ${\rm cov}(e(t), e(s)) = \mathbb{E}[e(t) e(s)]= \sigma^2 \delta(t-s)$ 的白噪音，其中 $\delta$ 為 Dirac delta，則對其積分可得到標準布朗運動

$$W(T) := \int_0^T e(\tau) d\tau$$ 且滿足 $\mathbb{E}[W(T)] = 0$，${\rm var}(W(T)) = \sigma^2 T$。且不難證明 $W(T) \sim \mathcal{N}(0, \sigma^2 T)$故

存在 $K>0$ 使得 $$P(|W(T)| > K \sqrt{T}) = 2 \exp (-\tfrac{K^2}{ 2\sigma^2})$$

現在取 $K = 1$ 則 $\frac{W(T)}{T} = O_p(\sqrt{T})$

若是 $\int_0^T e(\tau) d\tau = o(\sqrt{T})$ 可視為隨機擾動累積。 

[微積分] Taylor Expansion and Taylor Series

泰勒展開 (Taylor Expansion) 的目的：試圖將 (足夠平滑) 函數 透過 多項式近似
 NOTE: 在此我們說足夠平滑，意思是指 導數存在。

Comment:
讀者可能學過所謂的 Fourier Series ，其基本概念是試圖將函數透過 "三角函數" 近似。



Taylor Expansion (or Taylor Polynomial)
考慮某函數一階導數存在，則我們可以透過 一階多項式來近似 $f(x)$ 如下：
$$f(x) \approx a + bx$$ 則我們現在可觀察到在 $x =0$ 處， $f(0) = a$ 且其一階導數 $f'(0) = b$ 故事實上可寫
\[
f(x) \approx f(0) + f'(0) x
\]上式稱為 $f(x)$ 的 $1$ 階 Taylor Expansion

再者若此函數二階導數存在，且打算將其表為二階多項式如下： $$f(x) \approx a + bx + c x^2$$ 則同理，我們可觀察在 $x =0$ 處， $f(0) = a$ 且其一階導數 $f'(0) = b$ ， 二階導數 $f''(0) = 2c$故事實上可寫
\[\begin{array}{l}
f(x) \approx a + bx + c{x^2}\\
 \Rightarrow f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{2}{x^2}
\end{array}
\]上式稱為 $f(x)$ 的 $2$ 階 Taylor Expansion

接著我們再重複做一次上述近似，再者若此函數 三階導數存在 ，我們可將其表為三階多項式形式如下： $$f(x) \approx a + bx + c x^2 + d x^3
$$同理，觀察在 $x =0$ 處， $f(0) = a$ 且其一階導數 $f'(0) = b$ ， 二階導數 $f''(0) = 2c$；三階導數 $f'''(0) = 3 \cdot 2 d$ 故事實上可寫
\[\begin{array}{l}
f(x) \approx a + bx + c{x^2} + d{x^3}\\
 \Rightarrow f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{2}{x^2} + \frac{{f'''\left( 0 \right)}}{{3 \cdot 2}}{x^3}
\end{array}\]上式稱為 $f(x)$ 的 $3$ 階 Taylor Expansion

從上述分析，讀者不難發現若函數 $f(x)$ 的 $n$ 階導數存在，則 $n$ 階 Taylor Expansion 可表為下式
\[f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + \frac{{f'''\left( 0 \right)}}{{3!}}{x^3} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^n}\]

Example 1: 
考慮 $f(x) := e^x$， 試求 其 $3$ 階 Taylor 展開式。

Solution
$e^x$ 為平滑函數，任意階導數存在 且任意階導數相等，故前面三階導數
$$f(x) = f'(x) = f''(x) = f'''(x) = e^x
$$ 現在帶入 $x=0$ 可得 $f(0) = f'(0) = f''(0) = f'''(0) = 1$ 故其  $3$ 階 Taylor 展開式 為
\[\begin{array}{l}
f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + \frac{{f''\left( 0 \right)}}{{3!}}{x^3}\\
 \Rightarrow {e^x} \approx 1 + 1x + \frac{1}{{2!}}{x^2} + \frac{1}{{3!}}{x^3}
\end{array}\]亦即 我們用 $3$ 階多項式來 "近似" $e^x$。$\square$


Taylor Expansion 的誤差
那麼有了 Taylor 展開 近似 原函數之後，我們必然會想問 此展開 與 原函數差多少? 比如說考慮將 $f(x)$ 做 $n$ 階 Taylor 展開，則我們可寫
\[f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + \frac{{f'''\left( 0 \right)}}{{3!}}{x^3} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^n}\]現在我們引入  $n$ 階誤差項 稱作 $R_n(x) $， 則
 \[\begin{array}{l}
f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^n}\\
 \Rightarrow f(x) = f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^n} + {R_n}\left( x \right)
\end{array}\]那麼誤差項 $R_n(x)$ 該如何估計? 我們可透過以下定理回答此問題

===============
Theorem: Taylor Theorem
考慮 $x \in [a,b]$ 且 $(0 \in [a,b])$，且 對函數 $f(x)$ 的 $n$ 階泰勒展開為
\[f(x) = f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^n} + {R_n}\left( x \right)\] 則存在某點 $c \in [a,b]$ 使得誤差項 \[
R_n(x) = \frac{f^{(n+1)}(c)}{(n+1)!} x^{(n+1)}
\]===============

Proof: omitted.

FACT: 由上述定理可知，誤差項有上界

\[
|R_n(x)| \le \frac{M |x|^{n+1}}{(n+1)!}
\]其中 $M:= \max\{|f^{(n+1)}(c)|\}, \forall c\in [a,b]$


Example
利用 $e^x$ 的三階泰勒展開 求 $e^{1/2}$ 的近似值 並估計誤差。

Solution
利用前例可知  $e^x$ 的三階泰勒展開 為
\[{{e^x} \approx 1 + 1x + \frac{1}{{2!}}{x^2} + \frac{1}{{3!}}{x^3}}\]我們可帶入 $x=1/2$ 即可求得所需的泰勒多項式
\[1 + 1\left( {\frac{1}{2}} \right) + \frac{1}{{2!}}{\left( {\frac{1}{2}} \right)^2} + \frac{1}{{3!}}{\left( {\frac{1}{2}} \right)^3}\] 此時泰勒多項式 與 $e^{1/2}$ 之間的 誤差項估計如下
\[\begin{array}{l}
|{R_n}(x)| \le \frac{{M|x{|^{n + 1}}}}{{(n + 1)!}}\\
 \Rightarrow |{R_3}(x)| \le \frac{{M|x{|^4}}}{{(4)!}}
\end{array}\]其中 $M:= \max\{|f^{(n+1)}(c)\}, \forall c\in [a,b]$ ，由於我們關心的是 $e^{1/2}$ 的近似值 與其誤差，故若取 $a=0, b=1/2$ 則 \[M: = \max \{ |{e^c}|\} ,\forall c \in [0,1/2] \Rightarrow M = {e^{1/2}}\] 將此 $M$ 帶回我們的誤差項可得
\[|{R_3}(x)| \le \frac{{{e^{1/2}}|1/2{|^4}}}{{(4)!}}\]注意到 上式需要 計算 $e^{1/2}$ 但我們正需要估計此數值，故需要再度放寬上界
\[|{R_3}(x)| \le \frac{{{e^{1/2}}|1/2{|^4}}}{{(4)!}} \le \frac{{\overbrace {{e^1}}^{ \approx 2.72}|1/2{|^4}}}{{(4)!}} \le \frac{{3 \cdot |1/2{|^4}}}{{(4)!}} \approx 0.008\]

Example
令 $x \in [-1,1]$，試求對 $e^x$ 而言，需要幾階 泰勒多項式 才可使其與原函數 $e^x$ 誤差小於 $0.005 ?$

Solution
回憶誤差項有上界為
\[|{R_n}(x)| \le \frac{M}{{\left( {n + 1} \right)!}}|x{|^{n + 1}}\]其中 $M:= \max\{|e^c|\}, \forall c\in [-1,1]$ 故 $M= e^1$ 亦即，
\[|{R_n}(x)| \le \frac{{{e^1}}}{{\left( {n + 1} \right)!}}|1{|^{n + 1}} = \frac{e}{{\left( {n + 1} \right)!}} \le \frac{3}{{\left( {n + 1} \right)!}}\]現在我們需要 其 小於 $0.005$ 故若取 $n=5$ 則
\[\frac{3}{{\left( {n + 1} \right)!}} \approx 0.004 \le 0.005\]


Taylor Series
那麼如果考慮如果函數  $f(x)$ 的 無窮 階導數存在 (亦即此函數為 平滑(smooth) 函數) 則我們可將在原點展開的 Taylor Expansion 寫成 無窮級數的形式 (若此級數收斂)，我們稱之為 Taylor Series ：
\[\begin{array}{l}
f(x) = f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^2} + ...\\
 \Rightarrow f(x) =\sum\limits_{k = 0}^\infty  {\frac{{{f^{\left( k \right)}}\left( 0 \right)}}{{k!}}{x^k}}
\end{array}
\] Comment:
若函數為平滑函數 (e.g., $e^x, \sin (x), \cos (x),...$)，且 Taylor Series 收斂，則 Taylor Series 收斂到原函數，不再是近似 (在此證明省略)


Example 2:
考慮 $f(x) := e^x$， 試求 其 Taylor Series。

Solution
$e^x$ 為平滑函數，任意階導數存在 且任意階導數相等；我們可將此 $e^x$ 用 Taylor Series 故對若取 $n \in \mathbb{N}$， $f^{(n)}(x) = e^x$，且在 $x=0$ 處 可得 $f^{(n)}(0)= 1$ 故其  Taylor Series 為
\[{f(x) = \sum\limits_{k = 0}^\infty  {\frac{{{f^{\left( k \right)}}\left( 0 \right)}}{{k!}}{x^k} \Rightarrow {e^x} = \sum\limits_{k = 0}^\infty  {\frac{1}{{k!}}{x^k}} } }\] (讀者可自行證明此Taylor Series 收斂，故等號確實成立。 )

Exercise:
(a) 試求 $f(x) = \sin (x)$ 的 Taylor Series。 ANS: $\sin \left( x \right) = \sum\limits_{k = 0}^\infty  {{{\left( { - 1} \right)}^k}\frac{{{x^{2k + 1}}}}{{\left( {2k + 1} \right)!}}} $
(b) 試求 $f(x) = \cos(x)$ 的 Taylor Series。 ANS: $\cos \left( x \right) = \sum\limits_{k = 0}^\infty  {{{\left( { - 1} \right)}^k}\frac{{{x^{2k}}}}{{\left( {2k} \right)!}}} $

(c) 令 $|x| <1$，試求 $f(x) = 1/(1-x)$ 的 Taylor Series。 ANS: $\frac{1}{{1 - x}} = \sum\limits_{k = 0}^\infty  {{x^k}} $