[三角函數] 一類 離散餘弦取負值的條件

Claim 1: 令 $\omega \in (0, \pi/2)$，則 存在 正整數 $k $ 使得
\[
\cos(\omega k ) <0
\]==========

Proof: 首先回憶 floor 函數：對任意 $x \in \mathbb{R}$， $\lfloor x \rfloor$具備以下性質
\[
x-1 < \lfloor x \rfloor \leq x
\]現在給定 $0 < \omega < \pi/2$，並取
\[
k := 1 + \bigg \lfloor \frac{\pi}{2\omega} \bigg\rfloor
\]則利用前述的 floor 函數性質，我們有
\[
\frac{\pi}{2\omega} < k \leq 1 + \frac{\pi}{2\omega}
\]兩邊同乘 $\omega$ 則
\[
\frac{\pi}{2} < \omega k \leq \omega + \frac{\pi}{2}
\]因為 $\omega \in (0, \pi/2)$，我們可以進一步取上述不等式右方的上界，亦即 $ \omega + \frac{\pi}{2} < \pi$。故
\[
\omega k \in \bigg(\frac{\pi}{2}, \pi \bigg) \subset \bigg( \frac{\pi}{2}, \frac{3\pi}{2}\bigg)
\]注意到對任意 $\theta \in  \bigg( \frac{\pi}{2}, \frac{3\pi}{2}\bigg)$， $\cos \theta < 0$ ，故 $\cos(\omega k) < 0$。至此得證。 $\square$



Comment: 我們可將 claim 1 結果進一步推廣到包含有相位的情況：




==========
Claim 2: 令 $\omega \in (0, \pi/2)$ 且 $\theta \in (-\pi/2, \pi/2)$，則 存在 整數 $k >2$ 使得
\[
\cos(\omega(k- 1) + \theta) <0
\]==========

Proof: 令
\[
k_0 := 1 + \bigg\lfloor \frac{\pi/2 - \varphi}{\omega} \bigg\rfloor
\]則不難驗證 $\omega k_0 + \varphi \in (\pi/2, \pi)$ ，故 $\cos(\omega k_0 + \varphi) <0$。現在若取 $k_1 := k_0 + 1$ 則
\[
\cos(\omega (k_1-1) + \varphi)<0
\]至此得證。 $\square$

[數學分析] MVT應用：$\sin(x)$ 上界為 $x$

回憶我們在微積分或者高等微積分中，對於連續且可導函數的一個重要結果：均值定理。

================
均值定理 (Mean Value Theorem, MVT):
若函數 $f$ 在 閉區間 $[a,b]$ 連續  且 在開區間 $(a,b)$ 上可導，則存在 $c \in (a,b)$ 使得
\[
f(b) - f(a) = f'(c)(b-a)
\]================

現在我們來看一個 MVT 很棒的應用，可以幫助我們找到 $\sin(x)$ 除了 $1$ 以外 稍微更細緻的上界 ($ x $ 夠小的時候)。

==========
FACT: 若 $x \in \mathbb{R}$ 且 $x \geq 0$ 則 $\sin(x) \leq x$。
==========

Proof: 以下我們分幾個 case討論：
CASE 1: 首先觀察當 $x = 0$，則 $\sin(0)  = 0 \leq 0$ 自動成立。

CASE 2: 當 $0 < x < 1$ ，令 $f(t) := \sin(t)$ 則對任意 $t \in \mathbb{R}$， $f$ 為 連續且可導，故 $f$ 在 $(0,x)$ 區間亦為可導。由 MCT 可知 存在 $c \in (0,x)$ 我們有
\[
f(x) - f(0) = f'(c) (b-a) \Rightarrow \sin(x) - 0 =  \cos(c) x
\]換言之，我們有
\[
\cos(c) x = \sin(x)
\]由於 $|\cos(.)| \leq 1$ 故 $\sin(x) \leq x$。

CASE 3: 最後我們考慮 $x \geq 1$ 情況，由於 $|\sin(x)| \leq 1$ 故 當 $x\geq 1$ 時，
\[
\sin(x) \leq x
\]自動成立。至此得證。$\square$


Remarks:
上述結果可以進一步推廣，亦即我們不需要假設 $x$ 為非負：對任意 $x \in \mathbb{R}$，
\[
|\sin(x)| \leq |x|
\]證明雷同在此不做贅述。讀者可以試著證明看看。

[數學分析] 函數的極限

這次要介紹函數極限( Limit of Function)。我們首先給出定義如下

===========================
Definition: Limit of Function
令 $X$ 與 $Y$ 為 metric spaces，設 $E \subset X$ 且 考慮函數 $f : E \rightarrow Y$ 與點 $p$ 為 limit point of $E$，則我們將函數的極限 記作 $f(x) \rightarrow p$ 當 $x \rightarrow p$ 或者
\[
\lim_{x \rightarrow p} f(x) =q
\]若 存在一點 $q \in Y$ 滿足下列條件：
對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對所有的 $x \in E$，若 $ 0 < d_X(x,p) < \delta$，則
\[
d_Y(f(x),q) < \varepsilon
\]===========================

上述 $d_X$ 與 $d_Y$ 表示 metric in $X$ 與 metric in $Y$

Comment:
1. 上述定義從直覺上可以看出想表達我們可以透過讓 $x$ 足夠的接近 $p$ 來使得 $f(x)$ 可以被任意接近 $q$。
2. 關於上述定義提及的 Metric Space 可直接簡單視為 $\mathbb{R}^n$ Euclidean 空間，若對 Metric Space 定義有興趣讀者請參考
[數學分析] 淺談 Metric Space and Topology
3. 上述定義可等價用 limits of sequences 表示，我們將其記做下面重要的定理

===========================
Theorem:  Equivalence of Limit of Functions and Limit of Sequences 
令 $X,Y,E,f,p$ 同上述定義，則
\[
\lim_{x \rightarrow p} f(x) =q
\]若且唯若 對任意 sequence $\{p_n \}$ in $E$ 滿足 $p_n \neq q$ 且使得
\[
\lim_{n \rightarrow \infty} p_n =p
\Rightarrow \lim_{n \rightarrow \infty} f(p_n) =q
\]===========================
Proof
先證 $(\Rightarrow)$
已知 $\lim_{x \rightarrow p} f(x) =q$，我們有：對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得對所有的 $x \in E$ ，若 $ 0 < d_X(x,p) < \delta$ 則
\[
d_Y(f(x),q) < \varepsilon \ \ \  \ (*)
\]
我們要證明
對任意 sequence $\{p_n \}$ in $E$ 滿足 $p_n \neq q$ 且
\[
\lim_{n \rightarrow \infty} p_n =p \Rightarrow
\lim_{n \rightarrow \infty} f(p_n) =q
\] 故首先令 sequence $\{p_n \}$ in $E$ 滿足 $p_n \neq q$ 且 $\lim_{n \rightarrow \infty} p_n =p$.   $(**)$
則我們僅需證明下式成立即可
\[
\lim_{n \rightarrow \infty} f(p_n) =q
\] 由定義拆解上式，亦即我們需要證 對任意 $\varepsilon >0$ 存在 $N >0$ 使得 $n \ge N$ 讓 $d_Y(f(p_n),q) < \varepsilon $

故取 $\delta$ 如前所定，則由 sequence $\{p_n\}$ 的假設 $(**)$ 我們可知存在 $N$ 使得 $n \ge N$ 讓
\[
0 < d(p_n,p) < \delta
\]由 $(*)$ 我們可得 對 $n \ge N$，
\[
d(f(p_n),q) < \varepsilon
\]亦即
\[
\lim_{n \rightarrow \infty} f(p_n) =q
\]

接著我們證明 $(\Leftarrow)$
利用歸謬法 (Suppose toward to Contradiction)，也就是說我們 假設
(1) 對任意 sequence $\{p_n \}$ in $E$ 滿足 $p_n \neq q$ 且使得
\[
\lim_{n \rightarrow \infty} p_n =p
\Rightarrow \lim_{n \rightarrow \infty} f(p_n) =q
\] 另外 假設 (2) $\lim_{x \rightarrow p} f(x) =q$ 不成立，亦即對原本陳述取非
存在一 $\varepsilon >0$ 使得 對任意 $\delta >0$，存在 $x \in E$，使得 $ 0 < d_X(x,p) < \delta$，但是
\[
d_Y(f(x),q) \ge \varepsilon
\] 現在我們的目標是結合假設 (1) 與 (2) 試圖尋找矛盾點。

現在觀察 (2)，給定 $\varepsilon_n >0$， 且定義 $\delta :=1/n >0 \; \text{for}\; n \in \mathbb{N}$ 則存在一組 sequence $\{ x_n\} \in E$ 使得  $ 0 < d_X(x_n,p) < \delta$，但是
\[
d_Y(f(x_n),q) \ge \varepsilon
\] 上述結果與假設 (1) 矛盾。故得證。 $\square$

Reference:
[1] W. Rudin, Principles of Mathematical Analysis
[2] T. M. Apostol, Mathematical Analysis

[微積分] 函數的單調性質(1)-一階導數判斷遞增?遞減?

這次要介紹利用微分來幫助我們判斷 可導函數在某區間 是否遞增/遞減。

Theorem:
1. 考慮函數 $f(x)$ 定義在開區間 $(a,b)$上 且在此區間上可導，我們說此函數在 $(a,b)$ 上為 嚴格遞增函數(strictly increasing) 若下列條件成立：
\[
\forall x \in (a,b),\;\; f'(x) >0
\]2. 考慮函數 $f(x)$ 定義在開區間 $(a,b)$上 且在此區間上可導，我們說此函數在 $(a,b)$ 上為 嚴格遞減函數(strictly decreasing) 若下列條件成立：
\[
\forall x \in (a,b),\;\; f'(x) <0
\]3. 考慮函數 $f(x)$ 定義在開區間 $(a,b)$上 且在此區間上可導，我們說此函數在 $(a,b)$ 上為 常數函數 $c$ 若下列條件成立：
\[
\forall x \in (a,b),\;\; f'(x) =0
\]Proof: omitted.

Example 1:
考慮 $x \in \mathbb{R}$，且定義函數 $f(x) = x^2$，試判斷其遞增/遞減性質：

Solution
利用 前述 Theorem，對 $f(x)$ 求一階導數
\[
f'(x) = 2x
\]故可知當 $f'(x) = 2x >0$ 亦即 $x>0$ 時候 (或者說在區間 $(0,\infty)$) $f$ 為遞增
同理，可推知當 $f'(x) = 2x < 0$ 亦即 當 $x<0$ 時候 (或者說在區間 $(-\infty,0)$) $f$ 為遞減
同理，可推知當 $f'(x) = 2x = 0$ 亦即 當 $x=0$ 時候 (或者說在 $0$ 處) $f$ 為常數。


Example 2:
考慮 $x \in \mathbb{R}$，且定義函數 $f(x) = x^2 + 2x -5$，試判斷其遞增/遞減性質：

Solution
利用 前述 Theorem，對 $f(x)$ 求一階導數
\[
f'(x) = 2x +2
\]故可知當 $f'(x) =  2x +2 >0$ 亦即 $ x>-1$ 時候 (或者說在區間 $(-1,\infty)$) $f$ 為遞增
同理，可推知當 $f'(x) = 2x+2 < 0$ 亦即當 $x<-1$時候 (或者說在區間 $(-\infty,-1)$) $f$ 為遞減
同理，可推知當 $f'(x) = 2x +2 = 0$ 亦即當 $x=-1$時候 (或者說在 $-1$ 處) $f$ 為常數。

Comment:
上述例子讀者也許可能猜想當 出現一階導數為 $0$ 的時候，其函數的遞增/遞減會發生變化，但!! 此猜想並不為真! 下面我們看個例子：


Example 3: 
考慮  $x \in \mathbb{R}$，且定義函數 $f(x) = x^3$，試判斷其遞增/遞減性質：

Solution
利用 前述 Theorem，對 $f(x)$ 求一階導數
\[
f'(x) = 3x^2
\]故可知當 $f'(x) =  3x^2 >0$ 亦即 $ x \in \mathbb{R}$ 時候 $f$ 為遞增 且 永不遞減!!
但是當 $f'(x) = 3x^2 = 0$ 亦即當 $x=0$時候 $f$ 為常數。

此例說明了儘管出現 $x=0$的時候 $f(x)$ 的導數為常數，但此時函數函數的遞增性質並不改變。


Example 4*:
令 $f: [-1,1] \to \mathbb{R}$ 且 $ f(x) = \sqrt{1=x^2}$ 試判斷區間的遞增遞減性質。

Solution
先對該函數求導，可得
\[f'\left( x \right) = \frac{{ - x}}{{\sqrt {1 - {x^2}} }}\]現在觀察上述函數可知 $f'>0$ 當 $x \in (-1,0)$ 且 $f' <0$ 當 $x \in (0, 1)$ 亦即 $(-1,0)$ 此函數遞增，且 $(0,1)$ 此函數遞減。

剩下還有三點 $-1,0,1$ 為判斷遞增遞減性質，此三點的判定可透過前一篇文章我們曾討論過的拓展到端點的定理也就是說如果原函數在關心的端點上連續，則遞增/減性質可被直接拓展到該端點上，現在回到我們的問題可發現，原函數 $f$ 在 $-1$ 與 $0$ 與 $1$ 皆連續，故我們可拓展遞增遞減性質，也就是說 $f$ 在 $[-1,0]$ 遞增，$f$ 在 $[0,1]$ 遞減。

[微積分] 反函數

想法：給定任意函數 $f(x) = y$ 我們想問 是否可以將其改寫成 $x = g(y)$? 如果可以則稱 $g$ 為 $f$ 的反函數(inverse function)

在介紹反函數之前，我們需要一些定義來幫助我們：

=========================
Definition: one-to-one function
一個函數 $f: X \to Y$ 稱作 one-to-one function 若下列條件成立：
對任意 $x,y \in X$ 我們有\[
f(x) = f(y) \Rightarrow x = y
\]=========================

Comment:
一般而言，one-to-one function 又稱作 injective function 中文譯作 單射函數 或者 一對一函數。


現在看幾個例子試試：

Example
試問 $f(x) = x^3$，$x \in \mathbb{R}$ 是否為 one-to-one?

Solution
給定任意 $x,y \in \mathbb{R}$ ，且假設 $f(x) = f(y)$ 成立 我們要證明 $x=y$，故現在觀察
\[\begin{array}{l}
f(x) = f(y) \Rightarrow {x^3} = {y^3}
\end{array}\]對兩邊取三次方根，可得
\[
x = y. \,\,\,\, \square
\]

Example 
試證函數 $f(x) = x^2$，$x \in \mathbb{R}$ 並非 one-to-one function。

Solution
要證明不是 one-to-one，故對定義取非，要證明 存在一組 $x,y \in \mathbb{R}$ 使得 \[
f(x) = f(y) \; \text{ but} \;\; x \neq y
\]觀察
\[\begin{array}{l}
f(x) = f(y) \Rightarrow {x^2} = {y^2}\\
 \Rightarrow {x^2} - {y^2} = 0\\
 \Rightarrow \left( {x - y} \right)\left( {x + y} \right) = 0
\end{array}\]
故現在選 $x=a$，$y=-a$ ($a>0$為任意常數) ，比如說選 $x = 1$ 且 $y=-1$ 則可得 $f(x) = f(y)$ 但 $x \neq y$ 。$\square$


有了 one-to-one 函數之後我們現在可以介紹 反函數：

================
Definition: Inverse Function
令 $f : X \to Y$ 為 one-to-one 函數。則其反函數 $f^{-1} : B \to A$ 定義為：對任意 $y \in B$，
\[
f^{-1}(y) = x \Leftrightarrow f(x) = y
\]================

================

FACT: 令函數 $f : X \to Y$ 且其反函數 $f^{-1}:Y \to X$ 存在則
\[\begin{array}{l}
{f^{ - 1}}\left( {f\left( x \right)} \right) = x,\begin{array}{*{20}{c}}
{}&{}
\end{array}\forall x \in X\\
f\left( {{f^{ - 1}}\left( x \right)} \right) = x,\begin{array}{*{20}{c}}
{}&{}
\end{array}\forall x \in Y
\end{array}\]================

Example 3:
考慮某函數 $f$ 具有如下性質
\[\left\{ \begin{array}{l}
f\left( 1 \right) = 5\\
f\left( 3 \right) = 7\\
f\left( 8 \right) =  - 1
\end{array} \right.\]試問 $f^{-1}(5), f^{-1}(7), f^{-1}(-1)$ 為何?

Proof:
由前述反函數定義可知
\[\left\{ \begin{array}{l}
f\left( 1 \right) = 5\\
f\left( 3 \right) = 7\\
f\left( 8 \right) =  - 1
\end{array} \right. \Rightarrow \left\{ \begin{array}{l}
{f^{ - 1}}\left( 5 \right) = 1\\
{f^{ - 1}}\left( 7 \right) = 3\\
{f^{ - 1}}\left( { - 1} \right) = 8
\end{array} \right.\]

Example 4:
考慮 $x \in \mathbb{R}$，試問 $f(x) = x^3 + 2$ 的反函數 $f^{-1}$ ?

Proof:
令 $y:= f(x)$，目標是要寫出反函數
\[\begin{array}{l}
f(x) = {x^3} + 2\\
 \Rightarrow x = \sqrt[3]{{y - 2}}
\end{array}\]故反函數 $f^{-1}$ 為
\[\begin{array}{l}
{f^{ - 1}}\left( {{x^3} + 2} \right) = x\\
 \Rightarrow {f^{ - 1}}\left( y \right) = \sqrt[3]{{y - 2}}
\end{array}\]上式中 $y$ 為 dummy variable



Theorem: 令 $f:X \to Y$ 為 嚴格單調遞增函數，則 $f$ 為 one-to-one

Proof: 給定 $f:X \to Y$ 為 嚴格單調遞增 (亦即 $f(x_1) < f(x_2), \; \forall x_1<x_2$)，我們要證明 $f$ 為 one-to-one，故取 $x_1,x_2 \in X$ 且設 $f(x_1) = f(x_2)$ 我們要證明 $x_1 = x_2$。利用反證法，假設 $x_1 \neq x_2$，則不失一般性情況我們設 $x_1 > x_2$，則由嚴格單調性可知 \[
f(x_1) > f(x_2)
\]此條件違反我們前提 $f(x_1) = f(x_2)$，故得到矛盾。$\square$


Theorem (Corollary): $f: X \to Y$ 為單調遞增，則 $f$ 具有反函數。
Proof:  使用前述的定理與 FACT 即可證得。$\square$

[數學分析] 函數的 不連續性

令函數 $f: X \to Y$ 且 $x \in X$ 為其 domain 中一點 使得 $f$ 在該點不連續。則我們稱 函數$f$ 在此點 $x$ 不連續 ($f$ is discontinuous at $x$)。 比如說，我們看下圖，可發現該函數在 $x_0$ 處不連續 (函數圖形在 $x_0$點發生不連續， but 左右極限相等)

https://zh.wikipedia.org/wiki/%E4%B8%8D%E8%BF%9E%E7%BB%AD%E7%82%B9#mediaviewer/File:Discontinuity_removable.eps.png


一般而言如果 $f$ 是透過 "分段"定義，都會有不連續問題存在。不過在此之前我們需要一些先導觀念幫助我們：亦即所謂的 左極限 (left-limits of $f$ at $x$, $f(x-)$) 與 右極限 (right-limits of $f$ at $x$, $f(x+)$)

===================
Definition: Right-Limit 
令 $f$ 定義在 $(a,b)$ 上 ，考慮任意點 $x$ 使得 $a \le x < b$，我們說 $f$在 $x$ 點處 右極限存在 (記做 $f(x+) = q$ ) 若下列條件成立：
對任意 sequence $\{t_n\} \subset (x,b)$ 使得 $t_n \to x$ ，$f(t_n) \to q$ 當 $n \to \infty$

Definition: Left-Limit
令 $f$ 定義在 $(a,b)$ 上，考慮任意點 $x$ 使得 $a < x \le b$，我們可寫  $f$在 $x$點左極限 存在 (記做 $f(x-) = q$ ) 若下列條件成立：
對任意 sequence $\{t_n\} \subset (a,x)$ 使得 $t_n \to x$ ，$f(t_n) \to q$ 當 $n \to \infty$
===================

Comments:
一般而言，常見的寫法還有
\[\left\{ \begin{array}{l}
f(x + ) = \mathop {\lim }\limits_{t \searrow x} f\left( t \right) = \mathop {\lim }\limits_{t \to {x^ + }} f\left( t \right)\\
f(x - ) = \mathop {\lim }\limits_{t \nearrow x} f\left( t \right) = \mathop {\lim }\limits_{t \to {x^ - }} f\left( t \right)
\end{array} \right.\]

===================
FACT:
對任意 $ x \in (a,b)$， $\lim_{t \to x} f(t)$ 存在 若且為若
\[
f(x+ ) = f(x - ) = \lim_{t \to x} f(t)
\]===================
Proof: omitted.

Comment:
1. 上述 FACT 只保證 左右極限 相等 等價 極限存在，但並沒有 "任何" 對於 連續性的推論!! 簡而言之，某函數的極限在某點存在 (or 左右極限在某點存在且相等) 不保證 函數在該點連續!!。

2. [直覺] 連續函數可以容忍函數被某些點被 折彎，但不允許 折斷!! 如果一旦發生折斷即為不連續函數。



有了以上左右極限的觀念，我們可以開始討論 不連續性質：

===================
Definition: Classification of Discontinuity
令函數 $f$ 定義在 $(a,b)$ 上，若 $f$ 在點 $x$ 處不連續 且 若 $f(x+)$ 與 $f(x-)$ 存在，則我們稱 $f$ 為 simple discontinuity at $x$。(或稱 $f$ 有 discontinuity of the first kind。)
其餘的不連續則統稱為 discontinuity of the second kind
===================

Comments:
簡潔判斷 discontinuity of the first kind 的方法：檢驗其是否 左右極限存在


以下我們看幾個例子：

Example 1: First Kind Discontinuous Function
定義
\[f\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {x\begin{array}{*{20}{c}}
{}
\end{array}rational} \right)\\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {x\begin{array}{*{20}{c}}
{}
\end{array}irrational} \right)
\end{array} \right.\]試證明 $f$ 為 discontinuity of the second kind。

Proof:
讀者應可判斷此函數 $f$ 已為不連續函數，剩下的只需判斷是 first kind 或者 second kind。 故選任意點 $x$，注意到對任意點而言，$f(x+)$ 與 $f(x-)$ 皆不存在!(會在 $0,1$ 之間震盪) 故不滿足 first kind 不連續性，我們可推知其必為 discontinuity of the second kind。$\square$

Example 2: First Kind Discontinuous Function
考慮
\[f\left( x \right): = \left\{ \begin{array}{l}
x + 2,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( { - 3 < x <  - 2} \right)\\
 - x - 2,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( { - 2 \le x < 0} \right)\\
x + 2,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {0 \le x < 1} \right)
\end{array} \right.\]則如果我們繪製出函數圖形可看出

直覺檢驗 (NOT PROOF)：可發現函數在 $x=0$處 發稱間斷! (不連續在此點產生)；另外此函數在 $x \in (-3,1)$ 處均為連續函數 (因為此函數只有被折但沒有發生 "折斷"。)$\square$


Example 3: Second Kind Discontinuous Function
\[f\left( x \right): = \left\{ \begin{array}{l}
\sin \left( {\frac{1}{x}} \right),\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {x \ne 0} \right)\\
0,\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array}\left( {x = 0} \right)
\end{array} \right.\]
則如果我們繪製出函數圖形可看出

可以發現在 $x=0$ 處，圖形劇烈震盪。若我們檢驗其 $f(x+)$ 與 $f(x-)$ 可知其皆不存在。故函數在 $x=0$處為 second kind discontinuous，但 除了 $x=0$以外其餘點皆連續 (因為 $ \sin (\cdot)$ 函數為連續函數)。$\square$

我們現在將不連續
以下我們看個結果：

Theorem:
令 $f$ 為 $(a,b)$ 上 實數單調遞增函數 (monotonically increasing on $(a,b)$)，則對任意 $x \in (a,b)$ 其左右極限 $f(x+)$ 與 $f(x-)$ 存在。亦即
\[\mathop {\sup }\limits_{a < t < x} f\left( t \right) = f\left( {x - } \right) \le f\left( x \right) \le f\left( {x + } \right) = \mathop {\inf }\limits_{x < t < b} f\left( t \right)\]且若 $a < x < y < b$ 則
\[
f(x+) \le f(y-)
\]
Proof: omitted. see Rudin. Mathematical Analysis 3rd, Chapter 4.


Theorem: 令 $f$ 為 $(a,b)$ 上 實數單調遞增函數 (monotonically increasing on $(a,b)$)，則 $f$ 在 $(a,b)$ 中的不連續點 個數最多僅有 countably many。

Proof:
令 $f$ 為 $(a,b)$ 上 遞增函數 (increasing on $(a,b)$)且定義集合 $E$ 為所有 $(a,b)$區間上的點使 $f$ 不連續 所形成的集合
\[E: = \left\{ {x \in \left( {a,b} \right):f\begin{array}{*{20}{c}}
{}
\end{array}{\rm{is}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{discontinuous}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{at}}\begin{array}{*{20}{c}}
{}
\end{array}x} \right\}\]由 (前述 Theorem )可知 $f$ 為 $(a,b)$ 上 遞增函數 (increasing on $(a,b)$)，則對任意 $x \in (a,b)$ 其左右極限 $f(x+)$ 與 $f(x-)$ 存在 且下列關係成立
\[f\left( {x - } \right) \le f\left( y \right) \le f\left( {x + } \right)\]

現在對任意 $x \in E$，由於 $f(x) $ 為實數函數，利用 實數稠密性質，我們可指派 有理數 $ r(x) $ 使得
\[f\left( {x - } \right) \le r\left( x \right) \le f\left( {x + } \right) \ \ \ \ (*)
\]利用遞增性質 可知 $x_1< x_2 \Rightarrow f(x_1) < f(x_2)$ 故再利用前述 Theorem 可知
\[\begin{array}{l}
{x_1} < {x_2} \Rightarrow f({x_1}) < f({x_2})\\
 \Rightarrow f({x_1} + ) \le f({x_2} - ) \ \ \ \ (**)
\end{array}\] 現在比較 $(*)$ 與 $(**)$ 可推知
\[{x_1} \ne {x_2} \Rightarrow r\left( {{x_1}} \right) \ne r\left( {{x_2}} \right)\]上式表示我們建構了 集合 $E$ 與 $\mathbb{Q}$ 之間為 one-to-one (by definition)。故可知 $E$中 不連續點 最多 countably many 個。 $\square$

[微積分] 隱函數

現在考慮 單變數函數 $f(x)$，則我們可以將函數可以寫成如下形式：
$$y = f(x)
$$比如說 $y = \sqrt{x^2+1}$ 或者 $y=x \sin (x)$

但有時我們也會遇到一些函數比如說
\[
x^2 + y^2 = 25\;\; \text{ or }\;\; x^3+ y^3 = 6xy
\] 觀察上述兩個例子，讀者可發現函數的關係被隱藏在上述等式之中，或者說上述等式利用 變數 "$x,y$ 之間關係 來定義，我們將此類函數稱作 隱函數 ( implicit function )，一般記做 $F(x,y) = 0$ (此時 $y$ 被隱藏在一個 $F(x,y)$之中)
\[\left\{ \begin{array}{l}
{x^2} + {y^2} = 25 \Rightarrow \underbrace {{x^2} + {y^2} - 25}_{: = F\left( {x,y} \right)} = 0\\
{x^3} + {y^3} = 6xy \Rightarrow \underbrace {{x^3} + {y^3} - 6xy}_{: = G\left( {x,y} \right)} = 0
\end{array} \right.
\]那麼我們的問題很顯然的是，是否可以把上述 隱函數 $F(x,y)=0$ 轉換回原本的 $y = f(x)$?

答案是：只有在一些特定情況才可以求解隱函數 並透過將 $y$ 表示成 $x$ ，那麼這些所謂的特定情況是什麼？ 這個問題將留待 之後我們介紹 隱含數定理的時候才會介紹。這邊只是先給出一些較為直覺的想法：

以下我們看個例子：

Example
考慮隱含數 $F(x,y) = x^2 + y^2 = 25$，試將其改寫回 $y=f(x)$ 的形式。

Solution
\[\begin{array}{l}
F\left( {x,y} \right) = 0\\
 \Rightarrow {x^2} + {y^2} - 25 = 0\\
 \Rightarrow y =  \pm \sqrt {25 - {x^2}}
\end{array}\]且此時 $y := f(x)$ 且我們可繪製如下圖

Exercise
試仿照前例，考慮隱含數 $x^3+ y^3 = 6xy$ 試將其改寫回 $y = f(x)$ 的形式

[微積分] 雙變數函數的極限

以下討論均考慮 雙變數情況
============
Definition: Limit of function with two variables
令 $f :D \subset  \mathbb{R}^2 \to \mathbb{R}$ 且 點 $(a,b) \in D$，則我們說 $f(x,y)$ 在點 $ (a,b)$ 的 Limit  $L$ 記做 $f(x,y) \to L$ as $(x,y) \to (a,b)$ 或者
\[
\lim_{(x,y) \to (a,b)}f(x,y) =L
\]若下列條件成立：
對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對任意 $(x,y) \in D$，
\[
\sqrt{(x-a)^2+(y-b)^2} < \delta \Rightarrow |f(x,y) - L| < \varepsilon
\]============

Comments:
事實上上述定義可直接推廣到 $n$ 變數的情況，但為免以下分析過於複雜我們在此僅討論雙變數的情況。以下我們看個例子。


Example
試證 $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2}$ 存在 且 其極限值為 $0$。

Proof:
要證明   $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2}$ 存在，由定義出發：給定  $\varepsilon >0$，要證明 存在 $\delta >0$ 使得 對任意 $(x,y) \in \mathbb{R}^2$，
\[
\sqrt{(x-0)^2+(y-0)^2} < \delta \Rightarrow |f(x,y) - 0| < \varepsilon
\]
首先觀察
\[|f(x,y) - 0| = |\frac{{3{x^2}y}}{{{x^2} + {y^2}}}| = \frac{{3{x^2}\left| y \right|}}{{{x^2} + {y^2}}} \le 3\left| y \right| = 3\sqrt {{y^2}}  \le 3\sqrt {{y^2} + {x^2}}
\]故若我們取 $\delta := \varepsilon/3 >0$ 則對任意 $(x,y) \in \mathbb{R}$，我們可得
\[\sqrt {{{(x - 0)}^2} + {{(y - 0)}^2}}  < \delta  \Rightarrow |f(x,y) - 0| \le 3\underbrace {\sqrt {{y^2} + {x^2}} }_{ < \delta  = \varepsilon /3} < 3\left( {\frac{\varepsilon }{3}} \right) < \varepsilon \]故 $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2} =0$ $\square$


Comment:
在單變數函數的情況中，我們知道極限存在 等價 左右極限相等 (從左方逼近 = 右方逼近)，但是如果情況推廣到雙變數，則情況將不再這麼單純，所謂的極限存在必須對 "任意" 的逼近方向其極限都必須相等。


============
FACT:
若 $f(x,y) \to L_1 \text{ as } (x,y) \to (a,b)$ 沿著某路徑 $C_1$ 逼近 且 $f(x,y) \to L_2 \text{ as } (x,y) \to (a,b)$  沿著某路徑 $C_2$ 逼近 且 $L_1 \neq L_2$ 則 $\lim_{(x,y) \to (a,b)}f(x,y) =L$ 不存在。
============


Example:
考慮 $\displaystyle \lim_{(x,y) \to (0,0)} \frac{x^2-y^2}{x^2 + y^2}$ ，試問其極限是否存在?

Solution
令 \[
f(x,y):=\frac{x^2-y^2}{x^2 + y^2}
\]首先考慮沿著 $x$ 軸 逼近 $(0,0)$ 的情況：
由於我們沿著 $x$ 軸，故此時 $y=0$ 我們可先計算
\[f(x,0): = \frac{{{x^2}}}{{{x^2}}} = 1,\;\; \forall x \neq 0 \]故我們可知
\[
f(x,y) \to 1 \; \text{ as }\;(x,y) \to (0,0) \;\; \text{ along x-axis}
\]
接著我們考慮沿著 $y$ 軸 逼近 $(0,0)$ 的情況
同理，由於我們沿著 $y$ 軸，故此時 $x=0$ 我們可先計算
\[f(0,y): = \frac{{ - {y^2}}}{{{y^2}}} =  - 1,\;\; \forall y \neq 0\]故我們可知
\[
f(x,y) \to -1\; \text{ as }\; (x,y) \to (0,0)\;\; \text{ along y-axis}
\]注意到此時沿著路徑 $y$ 軸的極限 不等於 沿著 $x$ 軸的極限，故我們說 $\lim_{(x,y) \to (a,b)} \frac{x^2-y^2}{x^2 + y^2}$  不存在 (by FACT)。$\square$


Comment: 注意到，上述例子也許會給出一個錯誤的印象：認為只要檢驗兩軸即可。但若讀者回憶我們前面討論的內容即可發現，對於雙變數函數的情況，極限存在的條件是對 "任意"方向逼近都必須要正確 (任意方向泛指除了單軸逼近，任意直線逼近，任意線段逼近都要正確!!)；現在我們看個例子


Example 2
考慮 $f(x,y) = \frac{xy}{x^2 + y^2}$ 試問極限 $\displaystyle \lim_{(x,y) \to (0,0)} f(x,y)$ 是否存在?

Solution
考慮 $y:=mx$ 且 $m$ 為任意斜率；則此為過 $(0,0)$ 的任意斜直線，我們可用此方程幫助我們檢驗沿著任意直線方向逼近 $(0,0)$ 的極限是否相等 (NOTE: 除了沿著 $y$ 軸逼近 $(0,0)$ 之外 (why? 因為垂直線段斜率沒有定義!) )  ：

且看
\[f(x,mx) = \frac{{xy}}{{{x^2} + {y^2}}} = \frac{{x\left( {mx} \right)}}{{{x^2} + {{\left( {mx} \right)}^2}}} = \frac{{m{x^2}}}{{{x^2} + {m^2}{x^2}}} = \frac{m}{{1 + {m^2}}},\forall x \ne 0\]亦即
\[\mathop {\lim }\limits_{(x,y) \to (0,0)} f(x,y) = \frac{m}{{1 + {m^2}}}
\]上式顯示了若改變 $m$ 值 (由不同斜線逼近 $(0,0)$)，則 $f(x,y)$ 會得到不同的極限，故 $\displaystyle \lim_{(x,y) \to (0,0)} f(x,y)$ 不存在 (by FACT)。$\square$

EXERCISE: 讀者可嘗試重做上述題目但此次改成用 $x = my$ 檢驗。


Comment: Again! 上述例子也許會給出一個錯誤的印象：認為只要檢驗任意直線方向逼近即可。但若讀者回憶我們前面討論的內容即可發現，對於雙變數函數的情況，極限存在的條件是對 "任意"方向逼近都必須要正確 (任意方向泛指任意 "線段" (不只有直線) 逼近都要正確!!)；現在我們看個例子


Example 3
考慮 $f(x,y)=\frac{xy^2}{x^2 + y ^4}$ 試問其在 $(0,0)$ 處極限是否存在

Solution:
直接考慮 $y=mx$ (檢驗沿著任意方向斜直線逼近 $(0,0)$)
\[f(x,mx) = \frac{{x{{\left( {mx} \right)}^2}}}{{{x^2} + {{\left( {mx} \right)}^4}}} = \frac{{x{m^2}{x^2}}}{{{x^2} + {m^4}{x^4}}} = \frac{{x{m^2}}}{{1 + {m^4}{x^2}}},\forall x \ne 0\]故
\[f(x,mx) = \frac{{x{m^2}}}{{1 + {m^4}{x^2}}} \to 0 \text{ as } \; (x,y) \to (0,0)\]儘管我們得到了一致的極限，這並不代表極限存在，我們必須再度檢驗其他情況：

現在試著用 $y:=x^2$ (檢驗沿著二次曲線逼近 $(0,0)$)：
\[f(x,{x^2}) = \frac{{x{{\left( {{x^2}} \right)}^2}}}{{{x^2} + {{\left( {{x^2}} \right)}^4}}} = \frac{{x{x^2}}}{{1 + {x^2}{x^2}{x^2}}} \to 0 \; \text{ as } \; (x,y) \to (0,0)
\]與 $x:=y^2$，但此時
\[f({y^2},y) = \frac{{{y^2}{y^2}}}{{{{\left( {{y^2}} \right)}^2} + {y^4}}} = \frac{1}{2}\]若取極限沿著 $x=y^2$ 亦為 $1/2 \neq 0$ 故  $f(x,y)=\frac{xy^2}{x^2 + y ^4}$ 在 $(0,0)$ 處極限不存在!! (by FACT) $\square$

[微積分] Little-oh 的性質 與 其對應的 函數可導定義

======================
Definition: $f$ is Little-Oh of $x$
我們說 當 $x \to 0$ 時， $f(x) = o (x)$ 若下列條件成立：
對任意 $\varepsilon>0$ 存在 $\delta > 0$ 使得
\[ |x - 0| < \delta \Rightarrow \frac{f(x)}{|x|} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x} \frac{f(x)}{|x|} = 0$
======================

上述定義可進一步推廣如下：

======================
Definition: $f$ is Little-Oh of $g$
我們說 當 $x \to x_0$ 時， $f(x) = o (g(x))$ 若下列條件成立：
對任意 $\varepsilon>0$ 存在 $\delta > 0$ 與 正數 $c>0$ 使得
\[ |x - x_0| < \delta \Rightarrow \frac{f(x)}{g(x)} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x_0} \frac{f(x)}{g(x)} = 0$
======================

以下我們先看個定理，此定理描述了 $o(x)$ 的一些常用性質：

======================
Theorem:
令 $f, g : I \to \mathbb{R}$ 為兩函數 且 $0 \in I$。若 $f(x) = o(x)$ 且 $g(x) =o(x)$ 則下列三個性質成立
\[\begin{array}{l}
1. \; f\left( x \right) + g\left( x \right) = o\left( x \right)\\
2. \; \alpha f\left( x \right) = o\left( x \right),\begin{array}{*{20}{c}}
{}&{}
\end{array}\forall \alpha  \in \mathbb{R}\\
3. \; f\left( x \right)g\left( x \right) = o\left( x \right)
\end{array}\]======================

Proof: (1)
觀察
\[\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right) + g\left( x \right)}}{{\left| x \right|}}} \right) = \mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}} + \frac{{g\left( x \right)}}{{\left| x \right|}}} \right)
\]由於 $f(x) = o(x)$ 且 $g(x) =o (x)$ 故
\[\begin{array}{l}
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right) = 0;\\
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0
\end{array}\]因此
\[\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right) + g\left( x \right)}}{{\left| x \right|}}} \right) = \mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}} + \frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0 + 0 = 0\]亦即
\[
 f(x) + g(x) = o(x)
\]

Proof: (2)
給定任意 $\alpha \in \mathbb{R}$，觀察
\[\mathop {\lim }\limits_{x \to 0} \frac{{\alpha f\left( x \right)}}{{\left| x \right|}} = \alpha \mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)}}{{\left| x \right|}} = 0\]亦即
\[
\alpha f(x) = o(x)
\]
Proof: (3)

觀察

\[\mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|}} = \mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|\left| x \right|}}\left| x \right| = \mathop {\lim }\limits_{x \to 0} \left( {\left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right)\left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right)\left| x \right|} \right)\]由於 $f(x) = o(x)$ 且 $g(x) =o (x)$ 故

\[\begin{array}{l}
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right) = 0;\\
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0
\end{array}\]且 $\lim_{x \to 0}|x| =0$因此
\[\mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|}} = \mathop {\lim }\limits_{x \to 0} \left( {\left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right)\left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right)\left| x \right|} \right) = 0 \cdot 0 \cdot 0 = 0\]

Comment:
上述證明 $(3)$ 亦可採用以下性質來證明：
FACT: 若 $f: I \to \mathbb{R}$ 為函數 且 $0 \in I$，若 $f(x) = o(x)$ 則 $\lim_{x \to 0} f(x) = 0$
讀者可自行嘗試。

以下定理將 little oh 與 函數可微 的定義做連結。

======================
Theorem:
考慮 $f: I \to \mathbb{R}$，則下列敘述等價
\[
1.\;\mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right)}}{h} = f'\left( x \right)\]
\[
2. \;\mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h}}{h} = 0
\]
\[
3.  \; \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h}}{{\left| h \right|}} = 0
\]
\[
4.  \; f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h = o\left( h \right)
\]
\[
5. \; f\left( {x + h} \right) - f\left( x \right) = f'\left( x \right)h + o\left( h \right)
\]======================

Comment:
上述定理中的 1. 為標準的可導定義，表示 割線極限存在。

現在我們可以引入另一種 函數可導 的定義，此定義在某種意義上扮演承先啟後的角色，因為透過此定義將可允許我們把單變數函數可導的定義推廣到多變數函數之上。現在我們將原本割線極限 的定義改寫成以下定義：


======================
Definition: 令 $f: I \to \mathbb{R}$ 為函數，我們說 $f$ 在點 $x$ 可導若下列條件成立：若存在唯一常數，記作 $f'(x)$，使得
\[
f(x+h) - f(x) = f'(x) h + o(h)
\] 成立
======================

Comments: 
1. 上述導數唯一的結果來自極限值的唯一性質。
2. 讀者也許感到疑惑明明我們對於函數可導的定義已經透過割線極限來定義，為何還要再重新定一個新的定義？因為上述定義將允許我們將原本單變數 $f$ 推廣到 多變數函數。

[微積分] Little-oh 與 Big-oh 符號

一般數學分析中或者演算法分析經常會用到 $O$符號 或者 $o$符號。以下我們先引入定義。

======================
Definition: $f$ is Big-Oh of $g$
令 $f, g$ 為任意函數在 $x = x_0$ 附近可定義。我們說當 $x \to x_0$ 時， $f(x) = O(g(x))$) 若下列條件成立：
存在 $\delta > 0$ 與 正數 $c > 0$ 使得\[
|x - x_0| < \delta \Rightarrow |f(x)| \le c |g(x)| \]======================

離散情況的Big-Oh之定義:

上述定義在離散情況也可以，亦即 $f(n)=O(g(n))$若且唯若 存在 $N \in \mathbb{N}$ 與 正數 $c>0$ 使得 對任意 $n \geq N$ 而言，$|f(n)|\leq cf(n)$。

Example: 比如說線性搜尋演算法最大執行步驟數為 $f_L(n):=4n+5$ 則不難得證 $f_L(n) = O(n)$。(hint: 取 $N=5$ 與 $C=5$即可)

Exercises: 試證 

1. $n=O(n)$, 

2. $1000n = O(n)$, 

3. $2n^3+n = O(n^3)$，

4. $0.001n^{100} = O(n^{100})$。

5. 令 $f(n) = (-1)^n$ 試證明 $f(n) = O(1)$。

Comments: $f(n) = O(1)$ 意指存在 整數 $N\in \mathbb{N}$ 與 正數 $c>0$ 使得對任意 $n\geq N$我們有 $|f(n)|\leq c \cdot 1$。此表明函數 $f$ 有上界(但不一定收斂，請看上述 exercise 5)。

======================
Definition: $f$ is Little-Oh of $g$
我們說 當 $x \to x_0$ 時， $f(x) = o (g(x))$ 若下列條件成立：
對任意 $\varepsilon>0$ 存在 $\delta > 0$  使得
\[ |x - x_0| < \delta \Rightarrow \frac{f(x)}{g(x)} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x_0} \frac{f(x)}{g(x)} = 0$
======================

Comments:
1. $o(g(x))$ (要求收斂) 條件比 $O(g(x))$ (僅要求有界) 條件強烈。

2. 我們說某函數 $f$ 在 $x_0$ 處連續亦可以用此 little-oh 符號表達：
\[
f(x) - f(x_0) = o(1) \text{ as $ x \to x_0$}
\]
3. 一般而言，上述定義中的 函數 $g(x)$ 多半考慮為較 $f(x)$ 簡單的函數以用作比較函數 decay or growth rate ；以下我們看幾個例子

Example 1: 選 $g :=1$ 且考慮當 $x \to x_0$ 時，
(a) $f(x) = O(g(x) )= O(1)$ 試解釋其意義：
(b) $f(x) = o(g(x)) = o(1)$ 試解釋其意義：

Solution：
(a) 當 $x \to x_0$ 時，$f(x) = O(g(x) = O(1)$ 由定義可知：存在 $\delta >0$ 與 正數 $c>0$ 使得\[
|x - x_0| < \delta  \Rightarrow |f(x)| \le c |1|
\]亦即 $|f(x)|$ 在 $x= x_0$ 附近有界 (在此例中此界為 $c$)

(b) 當 $x \to x_0$ 時，$f(x) = o(g(x)) = o(1)$ 由定義可知：
\[\mathop {\lim }\limits_{x \to {x_0}} \frac{{f(x)}}{{g(x)}} = \mathop {\lim }\limits_{x \to {x_0}} f(x) = 0\]


Example 2
試證明 若 $f(x) = o(x)$ 則 $\lim_{x \to 0} f(x) = 0$

Proof:
觀察
\[\mathop {\lim }\limits_{x \to 0} f(x) = \mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{x} \cdot x \;\;\;\;\; (**)
\]接著由於 $f(x) = o(x)$ 由定義可知
\[\mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{{\left| x \right|}} = 0\]且又知道
\[
\lim_{x \to 0} x =0
\]故 $(**)$ 由極限四則運算關係可得
\[\mathop {\lim }\limits_{x \to 0} f(x) = \mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{x} \cdot x = 0\]

Example 3
考慮下列數列
$$z_n:= t + o(t/n)n$$ 其中 $o(\cdot)$ 為 little-oh；試求 $\lim_{n\to \infty} z_n =?$

Solution:
我們要計算
\[\mathop {\lim }\limits_{n \to \infty } {z_n} = \mathop {\lim }\limits_{n \to \infty } \left( {t + o\left( {\frac{t}{n}} \right)n} \right)\]
現在考慮任意 sequence $a_n \in o(t/n)$， 則由 little-oh 定義可知
\[\mathop {\lim }\limits_{n \to \infty } \frac{{{a_n}}}{{\frac{t}{n}}} = 0 \Rightarrow \mathop {\lim }\limits_{n \to \infty } \frac{{n{a_n}}}{t} = 0 \]
故現在令 $z_n:= t + n a_n$ 則
\[\mathop {\lim }\limits_{n \to \infty } {z_n} = \mathop {\lim }\limits_{n \to \infty } \left( {t + n{a_n}} \right) = \mathop {\lim }\limits_{n \to \infty } t\left( {1 + \frac{{n{a_n}}}{t}} \right) = t\left( {1 + \mathop {\lim }\limits_{n \to \infty } \frac{{n{a_n}}}{t}} \right) = t\]

控制理論中的類比

令 $e(t)$ 為誤差訊號。若 $e(t) = o(1)$ ，則表示誤差收斂到 $0$。若 $e(t) =O(1)$ 則表示有界，未必趨於 $0$。

令 $\int_0^T e(\tau) d\tau$ 為累積誤差訊號。若 $\int_0^T e(\tau) d\tau = o(T)$則表示 "平均誤差" $\frac{1}{T} \int_0^T e(\tau) d\tau$ 收斂到零。

我們也可以考慮隨機情況的oh符號:

Definition: 隨機序列 $X_T$ 為 $O_p(f(T))$ 若以下條件成立：對任意 $\varepsilon >0$ 存在常數 $C>0$ 與 $T_0$ 使得 $P(|X_T| > C f(T)) < \varepsilon$ 對所有 $T \geq T_0$

Example:

設 $e(t)$ 為均值 $\mathbb{E}[e(t)] :=0$ 且 共變異 ${\rm cov}(e(t), e(s)) = \mathbb{E}[e(t) e(s)]= \sigma^2 \delta(t-s)$ 的白噪音，其中 $\delta$ 為 Dirac delta，則對其積分可得到標準布朗運動

$$W(T) := \int_0^T e(\tau) d\tau$$ 且滿足 $\mathbb{E}[W(T)] = 0$，${\rm var}(W(T)) = \sigma^2 T$。且不難證明 $W(T) \sim \mathcal{N}(0, \sigma^2 T)$故

存在 $K>0$ 使得 $$P(|W(T)| > K \sqrt{T}) = 2 \exp (-\tfrac{K^2}{ 2\sigma^2})$$

現在取 $K = 1$ 則 $\frac{W(T)}{T} = O_p(\sqrt{T})$

若是 $\int_0^T e(\tau) d\tau = o(\sqrt{T})$ 可視為隨機擾動累積。 

[微積分] Taylor Expansion and Taylor Series

泰勒展開 (Taylor Expansion) 的目的：試圖將 (足夠平滑) 函數 透過 多項式近似
 NOTE: 在此我們說足夠平滑，意思是指 導數存在。

Comment:
讀者可能學過所謂的 Fourier Series ，其基本概念是試圖將函數透過 "三角函數" 近似。



Taylor Expansion (or Taylor Polynomial)
考慮某函數一階導數存在，則我們可以透過 一階多項式來近似 $f(x)$ 如下：
$$f(x) \approx a + bx$$ 則我們現在可觀察到在 $x =0$ 處， $f(0) = a$ 且其一階導數 $f'(0) = b$ 故事實上可寫
\[
f(x) \approx f(0) + f'(0) x
\]上式稱為 $f(x)$ 的 $1$ 階 Taylor Expansion

再者若此函數二階導數存在，且打算將其表為二階多項式如下： $$f(x) \approx a + bx + c x^2$$ 則同理，我們可觀察在 $x =0$ 處， $f(0) = a$ 且其一階導數 $f'(0) = b$ ， 二階導數 $f''(0) = 2c$故事實上可寫
\[\begin{array}{l}
f(x) \approx a + bx + c{x^2}\\
 \Rightarrow f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{2}{x^2}
\end{array}
\]上式稱為 $f(x)$ 的 $2$ 階 Taylor Expansion

接著我們再重複做一次上述近似，再者若此函數 三階導數存在 ，我們可將其表為三階多項式形式如下： $$f(x) \approx a + bx + c x^2 + d x^3
$$同理，觀察在 $x =0$ 處， $f(0) = a$ 且其一階導數 $f'(0) = b$ ， 二階導數 $f''(0) = 2c$；三階導數 $f'''(0) = 3 \cdot 2 d$ 故事實上可寫
\[\begin{array}{l}
f(x) \approx a + bx + c{x^2} + d{x^3}\\
 \Rightarrow f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{2}{x^2} + \frac{{f'''\left( 0 \right)}}{{3 \cdot 2}}{x^3}
\end{array}\]上式稱為 $f(x)$ 的 $3$ 階 Taylor Expansion

從上述分析，讀者不難發現若函數 $f(x)$ 的 $n$ 階導數存在，則 $n$ 階 Taylor Expansion 可表為下式
\[f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + \frac{{f'''\left( 0 \right)}}{{3!}}{x^3} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^n}\]

Example 1: 
考慮 $f(x) := e^x$， 試求 其 $3$ 階 Taylor 展開式。

Solution
$e^x$ 為平滑函數，任意階導數存在 且任意階導數相等，故前面三階導數
$$f(x) = f'(x) = f''(x) = f'''(x) = e^x
$$ 現在帶入 $x=0$ 可得 $f(0) = f'(0) = f''(0) = f'''(0) = 1$ 故其  $3$ 階 Taylor 展開式 為
\[\begin{array}{l}
f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + \frac{{f''\left( 0 \right)}}{{3!}}{x^3}\\
 \Rightarrow {e^x} \approx 1 + 1x + \frac{1}{{2!}}{x^2} + \frac{1}{{3!}}{x^3}
\end{array}\]亦即 我們用 $3$ 階多項式來 "近似" $e^x$。$\square$


Taylor Expansion 的誤差
那麼有了 Taylor 展開 近似 原函數之後，我們必然會想問 此展開 與 原函數差多少? 比如說考慮將 $f(x)$ 做 $n$ 階 Taylor 展開，則我們可寫
\[f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + \frac{{f'''\left( 0 \right)}}{{3!}}{x^3} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^n}\]現在我們引入  $n$ 階誤差項 稱作 $R_n(x) $， 則
 \[\begin{array}{l}
f(x) \approx f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^n}\\
 \Rightarrow f(x) = f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^n} + {R_n}\left( x \right)
\end{array}\]那麼誤差項 $R_n(x)$ 該如何估計? 我們可透過以下定理回答此問題

===============
Theorem: Taylor Theorem
考慮 $x \in [a,b]$ 且 $(0 \in [a,b])$，且 對函數 $f(x)$ 的 $n$ 階泰勒展開為
\[f(x) = f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^n} + {R_n}\left( x \right)\] 則存在某點 $c \in [a,b]$ 使得誤差項 \[
R_n(x) = \frac{f^{(n+1)}(c)}{(n+1)!} x^{(n+1)}
\]===============

Proof: omitted.

FACT: 由上述定理可知，誤差項有上界

\[
|R_n(x)| \le \frac{M |x|^{n+1}}{(n+1)!}
\]其中 $M:= \max\{|f^{(n+1)}(c)|\}, \forall c\in [a,b]$


Example
利用 $e^x$ 的三階泰勒展開 求 $e^{1/2}$ 的近似值 並估計誤差。

Solution
利用前例可知  $e^x$ 的三階泰勒展開 為
\[{{e^x} \approx 1 + 1x + \frac{1}{{2!}}{x^2} + \frac{1}{{3!}}{x^3}}\]我們可帶入 $x=1/2$ 即可求得所需的泰勒多項式
\[1 + 1\left( {\frac{1}{2}} \right) + \frac{1}{{2!}}{\left( {\frac{1}{2}} \right)^2} + \frac{1}{{3!}}{\left( {\frac{1}{2}} \right)^3}\] 此時泰勒多項式 與 $e^{1/2}$ 之間的 誤差項估計如下
\[\begin{array}{l}
|{R_n}(x)| \le \frac{{M|x{|^{n + 1}}}}{{(n + 1)!}}\\
 \Rightarrow |{R_3}(x)| \le \frac{{M|x{|^4}}}{{(4)!}}
\end{array}\]其中 $M:= \max\{|f^{(n+1)}(c)\}, \forall c\in [a,b]$ ，由於我們關心的是 $e^{1/2}$ 的近似值 與其誤差，故若取 $a=0, b=1/2$ 則 \[M: = \max \{ |{e^c}|\} ,\forall c \in [0,1/2] \Rightarrow M = {e^{1/2}}\] 將此 $M$ 帶回我們的誤差項可得
\[|{R_3}(x)| \le \frac{{{e^{1/2}}|1/2{|^4}}}{{(4)!}}\]注意到 上式需要 計算 $e^{1/2}$ 但我們正需要估計此數值，故需要再度放寬上界
\[|{R_3}(x)| \le \frac{{{e^{1/2}}|1/2{|^4}}}{{(4)!}} \le \frac{{\overbrace {{e^1}}^{ \approx 2.72}|1/2{|^4}}}{{(4)!}} \le \frac{{3 \cdot |1/2{|^4}}}{{(4)!}} \approx 0.008\]

Example
令 $x \in [-1,1]$，試求對 $e^x$ 而言，需要幾階 泰勒多項式 才可使其與原函數 $e^x$ 誤差小於 $0.005 ?$

Solution
回憶誤差項有上界為
\[|{R_n}(x)| \le \frac{M}{{\left( {n + 1} \right)!}}|x{|^{n + 1}}\]其中 $M:= \max\{|e^c|\}, \forall c\in [-1,1]$ 故 $M= e^1$ 亦即，
\[|{R_n}(x)| \le \frac{{{e^1}}}{{\left( {n + 1} \right)!}}|1{|^{n + 1}} = \frac{e}{{\left( {n + 1} \right)!}} \le \frac{3}{{\left( {n + 1} \right)!}}\]現在我們需要 其 小於 $0.005$ 故若取 $n=5$ 則
\[\frac{3}{{\left( {n + 1} \right)!}} \approx 0.004 \le 0.005\]


Taylor Series
那麼如果考慮如果函數  $f(x)$ 的 無窮 階導數存在 (亦即此函數為 平滑(smooth) 函數) 則我們可將在原點展開的 Taylor Expansion 寫成 無窮級數的形式 (若此級數收斂)，我們稱之為 Taylor Series ：
\[\begin{array}{l}
f(x) = f\left( 0 \right) + f'\left( 0 \right)x + \frac{{f''\left( 0 \right)}}{{2!}}{x^2} + ... + \frac{{{f^{\left( n \right)}}\left( 0 \right)}}{{n!}}{x^2} + ...\\
 \Rightarrow f(x) =\sum\limits_{k = 0}^\infty  {\frac{{{f^{\left( k \right)}}\left( 0 \right)}}{{k!}}{x^k}}
\end{array}
\] Comment:
若函數為平滑函數 (e.g., $e^x, \sin (x), \cos (x),...$)，且 Taylor Series 收斂，則 Taylor Series 收斂到原函數，不再是近似 (在此證明省略)


Example 2:
考慮 $f(x) := e^x$， 試求 其 Taylor Series。

Solution
$e^x$ 為平滑函數，任意階導數存在 且任意階導數相等；我們可將此 $e^x$ 用 Taylor Series 故對若取 $n \in \mathbb{N}$， $f^{(n)}(x) = e^x$，且在 $x=0$ 處 可得 $f^{(n)}(0)= 1$ 故其  Taylor Series 為
\[{f(x) = \sum\limits_{k = 0}^\infty  {\frac{{{f^{\left( k \right)}}\left( 0 \right)}}{{k!}}{x^k} \Rightarrow {e^x} = \sum\limits_{k = 0}^\infty  {\frac{1}{{k!}}{x^k}} } }\] (讀者可自行證明此Taylor Series 收斂，故等號確實成立。 )

Exercise:
(a) 試求 $f(x) = \sin (x)$ 的 Taylor Series。 ANS: $\sin \left( x \right) = \sum\limits_{k = 0}^\infty  {{{\left( { - 1} \right)}^k}\frac{{{x^{2k + 1}}}}{{\left( {2k + 1} \right)!}}} $
(b) 試求 $f(x) = \cos(x)$ 的 Taylor Series。 ANS: $\cos \left( x \right) = \sum\limits_{k = 0}^\infty  {{{\left( { - 1} \right)}^k}\frac{{{x^{2k}}}}{{\left( {2k} \right)!}}} $

(c) 令 $|x| <1$，試求 $f(x) = 1/(1-x)$ 的 Taylor Series。 ANS: $\frac{1}{{1 - x}} = \sum\limits_{k = 0}^\infty  {{x^k}} $