[分享] 控制理論領域的主要會議與期刊

控制理論的三大會議：

• IEEE Conference on Decision and Control, CDC
• 每年的12月舉辦，截稿日多在當年三月底

• IEEE American Control Conference, ACC
• 每年的五月中下旬舉辦，截稿日多在前一年七月

• IFAC World Congress, IFAC WC
• 由國際自動控制聯盟 (IFAC) 舉辦的大會，每三年召開一次，一般在10月底截稿，隔年七月舉辦

上述 IEEE CDC 與 IEEE ACC 會議由 IEEE Control Systems Society 的投稿內容可以在擴增修訂後續投其母期刊 IEEE Transactions on Automatic Control。另外 IFAC WC 會議的投稿內容可以在擴增修訂後續內容後投稿到 Automatica


另外還有幾個也非常不錯的控制理論相關的會議

• European Control Conference, ECC 
• 由 European Control Association (EUCA) 主辦，每兩年一次。

• Annual Allerton Conference on Communication, Control, and Computing
• 每年七月截稿，當年度九月舉辦。

機器人相關領域的主要會議，由 IEEE Robotics and Automation Society 主辦

• IEEE International Conference on Robotics and Automation, ICRA
• IEEE International Conference on Automation Science and Engineering, CASE
• IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS

[微積分] Little-oh 的性質 與 其對應的 函數可導定義

======================
Definition: $f$ is Little-Oh of $x$
我們說 當 $x \to 0$ 時， $f(x) = o (x)$ 若下列條件成立：
對任意 $\varepsilon>0$ 存在 $\delta > 0$ 使得
\[ |x - 0| < \delta \Rightarrow \frac{f(x)}{|x|} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x} \frac{f(x)}{|x|} = 0$
======================

上述定義可進一步推廣如下：

======================
Definition: $f$ is Little-Oh of $g$
我們說 當 $x \to x_0$ 時， $f(x) = o (g(x))$ 若下列條件成立：
對任意 $\varepsilon>0$ 存在 $\delta > 0$ 與 正數 $c>0$ 使得
\[ |x - x_0| < \delta \Rightarrow \frac{f(x)}{g(x)} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x_0} \frac{f(x)}{g(x)} = 0$
======================

以下我們先看個定理，此定理描述了 $o(x)$ 的一些常用性質：

======================
Theorem:
令 $f, g : I \to \mathbb{R}$ 為兩函數 且 $0 \in I$。若 $f(x) = o(x)$ 且 $g(x) =o(x)$ 則下列三個性質成立
\[\begin{array}{l}
1. \; f\left( x \right) + g\left( x \right) = o\left( x \right)\\
2. \; \alpha f\left( x \right) = o\left( x \right),\begin{array}{*{20}{c}}
{}&{}
\end{array}\forall \alpha  \in \mathbb{R}\\
3. \; f\left( x \right)g\left( x \right) = o\left( x \right)
\end{array}\]======================

Proof: (1)
觀察
\[\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right) + g\left( x \right)}}{{\left| x \right|}}} \right) = \mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}} + \frac{{g\left( x \right)}}{{\left| x \right|}}} \right)
\]由於 $f(x) = o(x)$ 且 $g(x) =o (x)$ 故
\[\begin{array}{l}
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right) = 0;\\
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0
\end{array}\]因此
\[\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right) + g\left( x \right)}}{{\left| x \right|}}} \right) = \mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}} + \frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0 + 0 = 0\]亦即
\[
 f(x) + g(x) = o(x)
\]

Proof: (2)
給定任意 $\alpha \in \mathbb{R}$，觀察
\[\mathop {\lim }\limits_{x \to 0} \frac{{\alpha f\left( x \right)}}{{\left| x \right|}} = \alpha \mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)}}{{\left| x \right|}} = 0\]亦即
\[
\alpha f(x) = o(x)
\]
Proof: (3)

觀察

\[\mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|}} = \mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|\left| x \right|}}\left| x \right| = \mathop {\lim }\limits_{x \to 0} \left( {\left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right)\left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right)\left| x \right|} \right)\]由於 $f(x) = o(x)$ 且 $g(x) =o (x)$ 故

\[\begin{array}{l}
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right) = 0;\\
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0
\end{array}\]且 $\lim_{x \to 0}|x| =0$因此
\[\mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|}} = \mathop {\lim }\limits_{x \to 0} \left( {\left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right)\left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right)\left| x \right|} \right) = 0 \cdot 0 \cdot 0 = 0\]

Comment:
上述證明 $(3)$ 亦可採用以下性質來證明：
FACT: 若 $f: I \to \mathbb{R}$ 為函數 且 $0 \in I$，若 $f(x) = o(x)$ 則 $\lim_{x \to 0} f(x) = 0$
讀者可自行嘗試。

以下定理將 little oh 與 函數可微 的定義做連結。

======================
Theorem:
考慮 $f: I \to \mathbb{R}$，則下列敘述等價
\[
1.\;\mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right)}}{h} = f'\left( x \right)\]
\[
2. \;\mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h}}{h} = 0
\]
\[
3.  \; \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h}}{{\left| h \right|}} = 0
\]
\[
4.  \; f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h = o\left( h \right)
\]
\[
5. \; f\left( {x + h} \right) - f\left( x \right) = f'\left( x \right)h + o\left( h \right)
\]======================

Comment:
上述定理中的 1. 為標準的可導定義，表示 割線極限存在。

現在我們可以引入另一種 函數可導 的定義，此定義在某種意義上扮演承先啟後的角色，因為透過此定義將可允許我們把單變數函數可導的定義推廣到多變數函數之上。現在我們將原本割線極限 的定義改寫成以下定義：


======================
Definition: 令 $f: I \to \mathbb{R}$ 為函數，我們說 $f$ 在點 $x$ 可導若下列條件成立：若存在唯一常數，記作 $f'(x)$，使得
\[
f(x+h) - f(x) = f'(x) h + o(h)
\] 成立
======================

Comments: 
1. 上述導數唯一的結果來自極限值的唯一性質。
2. 讀者也許感到疑惑明明我們對於函數可導的定義已經透過割線極限來定義，為何還要再重新定一個新的定義？因為上述定義將允許我們將原本單變數 $f$ 推廣到 多變數函數。

[數學分析] Fourier Series 的 L^2 收斂 與 Parseval's Theorem

首先回憶一些 Fourier Series 重要的結果

FACT: 任意週期為 $2 \pi$ 之連續函數 $f$ 必存在一組 trigonometric polynomial $P:=\sum\limits_{ - N}^N {{c_n}{e^{inx}}} $ 使得 對任意 $x \in \mathbb{R}$ 而言，
\[
|P(x) - f(x)| < \varepsilon
\]

但是上述定理無法告訴我們何時週期函數可以被表示成 Fourier Series，故下面的定理尤為重要，通常用此定理判斷某週期函數是否可以表示成 Fourier Series (Pointwise sense)。

================
Theorem 0: Pointwise Convergence of Fourier Series
若 對某些 $x \in [-\pi, \pi]$ 而言， 存在 $\delta >0$ 與 $M>0$ 使得 對任意 $t \in (-\delta, \delta)$
\[
|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|
\]則 $ \displaystyle \lim_{N \rightarrow \infty}S_N(f;x) = f(x)$
===============

接著我們介紹另一個相對於 逐點收斂的重要的結果，稱作 L^2 收斂，亦即 Fourier Series 在 convergence in L^2。

================
Theorem 1: Fourier Series Converges in L^2
假設 $f, g$ 為 週期 $2 \pi$ 之 週期連續函數，且
\[
f(x) \sim \sum_{-\infty}^\infty c_n e^{inx}; \;\; g(x) \sim \sum_{-\infty}^\infty \gamma_n e^{inx}
\] 則
\[\mathop {\lim }\limits_{N \to \infty } \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{{\left| {f\left( x \right) - {S_N}\left( {f;x} \right)} \right|}^2}} dx = \mathop {\lim }\limits_{N \to \infty } \left\| {f - {S_N}} \right\|_2^2 = 0\]其中 ${S_N}\left( {f;x} \right): = \sum\limits_{ - N}^N {{c_n}{e^{inx}}} $
================
Proof:
令 $\varepsilon >0$，目標要證明 $||f - S_N(f)||_2 < \varepsilon $。由於 $f$ 為週期 $2 \pi$ 之 週期連續函數，由 FACT 可知必存在一組 trigonometric polynomial $P $ 使得 對任意 $x \in \mathbb{R}$ 而言，
\[
|P(x) - f(x)| < \varepsilon \Rightarrow ||P - f||_2 < \varepsilon
\]若 $P$ 有階數為 $N_0$ 階，則由於 $S_N(f) $ 為最佳近似 $f$ (請參閱先前BLOG文章 或者 Rudin Theorem8.11) ，對 $N \ge N_0$，
\[
||f - S_N(f)||_2 \le ||f - P||_2 < \varepsilon \ \ \ \ \square
\]


我們有以下的 Parseval's identity：

=================
Theorem 2: Parseval's Theorem
假設 $f, g$ 為 週期 $2 \pi$ 之 週期連續函數，且
\[
f(x) \sim \sum_{-\infty}^\infty c_n e^{inx}; \;\; g(x) \sim \sum_{-\infty}^\infty \gamma_n e^{inx}
\] 則
\[\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){g^*}\left( x \right)} dx = \sum\limits_{ - \infty }^\infty  {{c_n}\gamma _n^*} \]=================

Proof:

首先觀察
\[\begin{array}{l} \frac{1}{{2\pi }}\int_{ - \pi }^\pi {{S_N}\left( f \right){g^*}\left( x \right)} dx = \frac{1}{{2\pi }}\int_{ - \pi }^\pi {\sum\limits_{ - N}^N {{c_n}} {e^{inx}}{g^*}\left( x \right)} dx\\ \begin{array}{*{20}{c}} {}&{}&{}&{}&{}&{}&{}&{} \end{array} = \frac{1}{{2\pi }}\sum\limits_{ - N}^N {{c_n}} \underbrace {\int_{ - \pi }^\pi {{e^{inx}}{g^*}\left( x \right)} dx}_{ = \gamma _n^*2\pi } = \sum\limits_{ - N}^N {{c_n}} \gamma _n^* \end{array}
\]接著我們檢驗
\[\begin{array}{l}
\left| {\int_{ - \pi }^\pi  {f\left( x \right){g^*}\left( x \right)} dx - \int_{ - \pi }^\pi  {{S_N}\left( f \right){g^*}\left( x \right)} dx} \right| = \left| {\int_{ - \pi }^\pi  {\left[ {f\left( x \right) - {S_N}\left( f \right)} \right]{g^*}\left( x \right)} dx} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} \le \int_{ - \pi }^\pi  {\left| {\left[ {f\left( x \right) - {S_N}\left( f \right)} \right]{g^*}\left( x \right)} \right|} dx\\
{\rm{by}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{Schwarz}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{inequality}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} \le {\left( {\int_{ - \pi }^\pi  {{{\left| {f\left( x \right) - {S_N}\left( f \right)} \right|}^2}} dx \cdot \int_{ - \pi }^\pi  {{{\left| {{g^*}\left( x \right)} \right|}^2}} dx} \right)^{\frac{1}{2}}} \to 0
\end{array}\]當 $N \rightarrow \infty$。注意到上式收斂成立是因為我們 $\int |g|^2$ 有界 且 $\int |f - S_N| \rightarrow 0$ 當 $N \rightarrow \infty$ (由前面的 Theorem 1) $\square$

Comment:
一般而言，Parseval's Thoerem 泛指下式：令 前述 Parseval's Theorem $g(x) := f(x)$，則
\[\begin{array}{l}
\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){f^*}\left( x \right)} dx = \sum\limits_{n =  - \infty }^\infty  {{c_n}c_n^*} \\
 \Rightarrow \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{{\left| {f\left( x \right)} \right|}^2}} dx = \sum\limits_{n =  - \infty }^\infty  {{{\left| {{c_n}} \right|}^2}}
\end{array}\]


現在我們看個例子 說明 Parseval Theorem 怎麼使用。

Example：Application of the Parseval Theorem/ Pointwise Convergence Theorem
假設 $0 < \delta < \pi$，
\[f\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left| x \right| < \delta \\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\delta  < \left| x \right| \le \pi
\end{array} \right.\]且對任意 $x \in \mathbb{R}$， $f(x+2 \pi) = f(x)$
(a) 試求 Fourier Series Coefficient
(b) 試證 $\sum\limits_{n = 1}^\infty  {\frac{{{{\sin }^2}\left( {n\delta } \right)}}{{{n^2}\delta }}}  = \frac{{\pi  - \delta }}{2}$

Solution
在求解之前我們先確認 $f(x)$ 具有 Fourier Series，首先注意到 $f$ 為週期函數 (週期為 $2 \pi$) 接著我們檢驗其是否滿足我們的 逐點收斂 (Theorem 0) 條件：
給定 $x =0$ ，我們取題目中給定的 $\delta >0$ 檢驗對任意 $t \in (-\delta, \delta)$ ，觀察
\[\begin{array}{l}
\left| {f\left( {x + t} \right) - f\left( x \right)} \right| = \left| {f\left( t \right) - f\left( 0 \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \left| {1 - 1} \right| = 0 \le M\left| t \right|
\end{array}\]故我們知道其滿足 Theorem 0，亦即 $f$ 有 Fourier Series 且 $f(x) = \sum_{-\infty}^\infty c_n e^{inx}$ 現在我們可以開始解題：
(a) 首先針對 $c_0$ 可知
\[{c_0}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right)dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1dx}  = \frac{\delta }{\pi }\]
另外對 $n \neq 0$
\[\begin{array}{l}
{c_n}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){e^{inx}}dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1{e^{inx}}dx} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{n\pi }}\frac{{{e^{in\delta }} - {e^{ - in\delta }}}}{{2i}} = \frac{1}{{n\pi }}\sin \left( {n\delta } \right)
\end{array}\]注意到上述結果暗示了
\[f\left( x \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}{e^{inx}}} \]
(b) 我們要證明  $\sum\limits_{n = 1}^\infty  {\frac{{{{\sin }^2}\left( {n\delta } \right)}}{{{n^2}\delta }}}  = \frac{{\pi  - \delta }}{2}$ 注意到 part (a) 求出的 Fourier Series coefficient 的平方 出現在等號左方，暗示了我們可使用 Parserval's Theorem 亦即
\[\begin{array}{l}
\sum\limits_{n =  - \infty }^\infty  {{c_n}^2}  = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{{\left| {f\left( x \right)} \right|}^2}} dx\\
 \Rightarrow {c_0}^2 + 2\sum\limits_{n = 1}^\infty  {{c_n}^2}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  1 dx\\
 \Rightarrow {\left( {\frac{\delta }{\pi }} \right)^2} + 2\sum\limits_{n = 1}^\infty  {{{\left( {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \right)}^2}}  = \frac{\delta }{\pi }\\
 \Rightarrow \sum\limits_{n = 1}^\infty  {\left( {\frac{{{{\sin }^2}\left( {n\delta } \right)}}{{{n^2}\delta }}} \right)}  = \frac{{\pi  - \delta }}{2}
\end{array}\]

[微積分] Little-oh 與 Big-oh 符號

一般數學分析中或者演算法分析經常會用到 $O$符號 或者 $o$符號。以下我們先引入定義。

======================
Definition: $f$ is Big-Oh of $g$
令 $f, g$ 為任意函數在 $x = x_0$ 附近可定義。我們說 當 $x \to x_0$ 時， $f(x) = O(g(x))$) 若下列條件成立：
存在 $\delta >0$ 與 正數 $c>0$ 使得\[
|x - x_0| < \delta  \Rightarrow |f(x)| \le c |g(x)|
\]======================

離散情況的Big-Oh之定義:

上述定義在離散情況也可以，亦即 $f(n)=O(g(n))$若且唯若 存在 $N \in \mathbb{N}$ 與 正數 $c>0$ 使得 對任意 $n \geq N$ 而言，$|f(n)|\leq cf(n)$。

Example: 比如說線性搜尋演算法最大執行步驟數為 $f_L(n):=4n+5$ 則不難得證 $f_L(n) = O(n)$。(hint: 取 $N=5$ 與 $C=5$即可)

Exercises: 試證 

1. $n=O(n)$, 

2. $1000n = O(n)$, 

3. $2n^3+n = O(n^3)$，

4. $0.001n^{100} = O(n^{100})$。

5. 令 $f(n) = (-1)^n$ 試證明 $f(n) = O(1)$。

Comments: $f(n) = O(1)$ 意指存在 整數 $N\in \mathbb{N}$ 與 正數 $c>0$ 使得對任意 $n\geq N$我們有 $|f(n)|\leq c \cdot 1$。此表明函數 $f$ 有上界(但不一定收斂，請看上述 exercise 5)。

======================
Definition: $f$ is Little-Oh of $g$
我們說 當 $x \to x_0$ 時， $f(x) = o (g(x))$ 若下列條件成立：
對任意 $\varepsilon>0$ 存在 $\delta > 0$  使得
\[ |x - x_0| < \delta \Rightarrow \frac{f(x)}{g(x)} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x_0} \frac{f(x)}{g(x)} = 0$
======================

Comments:
1. $o(g(x))$ (要求收斂) 條件比 $O(g(x))$ (僅要求有界) 條件強烈。

2. 我們說某函數 $f$ 在 $x_0$ 處連續亦可以用此 little-oh 符號表達：
\[
f(x) - f(x_0) = o(1) \text{ as $ x \to x_0$}
\]
3. 一般而言，上述定義中的 函數 $g(x)$ 多半考慮為較 $f(x)$ 簡單的函數以用作比較函數 decay or growth rate ；以下我們看幾個例子

Example 1: 選 $g :=1$ 且考慮當 $x \to x_0$ 時，
(a) $f(x) = O(g(x) )= O(1)$ 試解釋其意義：
(b) $f(x) = o(g(x)) = o(1)$ 試解釋其意義：

Solution：
(a) 當 $x \to x_0$ 時，$f(x) = O(g(x) = O(1)$ 由定義可知：存在 $\delta >0$ 與 正數 $c>0$ 使得\[
|x - x_0| < \delta  \Rightarrow |f(x)| \le c |1|
\]亦即 $|f(x)|$ 在 $x= x_0$ 附近有界 (在此例中此界為 $c$)

(b) 當 $x \to x_0$ 時，$f(x) = o(g(x)) = o(1)$ 由定義可知：
\[\mathop {\lim }\limits_{x \to {x_0}} \frac{{f(x)}}{{g(x)}} = \mathop {\lim }\limits_{x \to {x_0}} f(x) = 0\]


Example 2
試證明 若 $f(x) = o(x)$ 則 $\lim_{x \to 0} f(x) = 0$

Proof:
觀察
\[\mathop {\lim }\limits_{x \to 0} f(x) = \mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{x} \cdot x \;\;\;\;\; (**)
\]接著由於 $f(x) = o(x)$ 由定義可知
\[\mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{{\left| x \right|}} = 0\]且又知道
\[
\lim_{x \to 0} x =0
\]故 $(**)$ 由極限四則運算關係可得
\[\mathop {\lim }\limits_{x \to 0} f(x) = \mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{x} \cdot x = 0\]

Example 3
考慮下列數列
$$z_n:= t + o(t/n)n$$ 其中 $o(\cdot)$ 為 little-oh；試求 $\lim_{n\to \infty} z_n =?$

Solution:
我們要計算
\[\mathop {\lim }\limits_{n \to \infty } {z_n} = \mathop {\lim }\limits_{n \to \infty } \left( {t + o\left( {\frac{t}{n}} \right)n} \right)\]
現在考慮任意 sequence $a_n \in o(t/n)$， 則由 little-oh 定義可知
\[\mathop {\lim }\limits_{n \to \infty } \frac{{{a_n}}}{{\frac{t}{n}}} = 0 \Rightarrow \mathop {\lim }\limits_{n \to \infty } \frac{{n{a_n}}}{t} = 0 \]
故現在令 $z_n:= t + n a_n$ 則
\[\mathop {\lim }\limits_{n \to \infty } {z_n} = \mathop {\lim }\limits_{n \to \infty } \left( {t + n{a_n}} \right) = \mathop {\lim }\limits_{n \to \infty } t\left( {1 + \frac{{n{a_n}}}{t}} \right) = t\left( {1 + \mathop {\lim }\limits_{n \to \infty } \frac{{n{a_n}}}{t}} \right) = t\]