[訊號與系統] LTI系統輸入輸出關係由 Convolution 決定 - 從離散時間觀點

以下我們討論 為何 線性非時變 (Linear Time-Invariant, LTI) 系統 輸入與輸出關係 由 所謂的 convolution 表示。為了避免過多繁雜的數學，以下僅討論離散時間的情況。首先我們需要一些定義的幫助：

========================
Definition: Unit Impulse Function in Discrete-Time (Kronecker Delta)
我們說函數 $\delta: \mathbb{N} \to \{0,1\}$ 為 unit impulse function in discrete-time time 若 $\delta$ 滿足
\[\delta \left[ n \right] = \left\{ \begin{gathered}
  1,\;\;\;\;n = 0 \hfill \\
  0,\;\;\;\; o.w. \hfill \\
\end{gathered}  \right.
\]========================

========================
Definition: Impulse Response
給定任意系統配備輸入 $x[n]$ 與輸出 $y[n]$ 關係為 $y[n] = T\{x[n]\}$其中 $T$ 視為 operator (定義在某函數空間)，若輸入為 $x[n]=\delta[n]$ 則 輸出
\[
h[n] := y[n] = T\{\delta[n]\}
\]稱為系統 $T$ 的 脈衝響應 (impulse response)
========================


========================
FACT: 任意離散訊號 $x[n]$ 可由 $\delta$ 做組合疊加，亦即
\[
x[n] = \sum_{k=-\infty}^{\infty}x[i] \delta[n-k]
\]========================
Proof: 證明顯然，在此不做贅述。$\square$



========================
Definition: Linear System
給定系統 $T$ 滿足以下輸入與輸出關係： $y_1[n]=T\{x_1[n]\}$ 且 $y_2[n] = T\{x_2[n]\}$。現在定義 $x[n] =ax_1[n] + bx_2[n]$ 其中 $a,b \in \mathbb{R}$則我們說系統 $T$ 為 linear 若下列條件成立
\[
y[n] = T\{x[n]\}
\]且 $y[n] = a y_1[n] + b y_2[n]$
========================

Remarks:
上述 系統 $T$  其實可看按作 泛函分析中的 operator。故線性系統 就是 泛函分析中的 線性算子 (linear operator)。



========================
Definition: Time-Invariant System
給定系統 $T$ 滿足以下輸入與輸出關係： $y[n]=T\{x[n]\}$。現在定義 $x[n] :=x[n-d]$  其中 $d \in \mathbb{N}$ 則我們說 $T$ 為 time-invariant 若下列條件成立
\[
y[n-d] = T\{x[n-d]\}
\]========================


有了以上定義的幫助，我們現在有辦法給出以下為何 LTI 系統的輸入輸出關係確實為 convolution。


========================
Theorem: LTI input-output Relationship is Governed by Convolution
給定 線性非時變 (LTI)系統 $L$ 滿足
\[
y[n] = L\{x[n]\}
\]其中 $L$ 為 linear operator，則
\[
y[n] = \sum_k h[k] x[n-k]
\]========================
Proof:
由於 任意 輸入 $x[n]$ 皆可被表為 脈衝函數的 組合：
\[
x[n] = \sum_{k = -\infty}^\infty x[k] \delta[n-k]
\]現在將此訊號作為LTI系統 $L$ 的輸入，則由於 $L$ 為 linear operator 我們有
\begin{align*}
  y[n] &= L\left\{ {x\left[ n \right]} \right\} \\
&= L\left\{ {\sum\limits_{k =  - \infty }^\infty  x [k]\delta [n - k]} \right\} \hfill \\
   &= \sum\limits_{k =  - \infty }^\infty  x[k] L\left\{ \delta [n - k] \right\}  \;\;\;\; (*)
\end{align*} 接著因為 $L$ 為 time-invariant 我們可進一步改寫
\[L\left\{ {\delta [n - k]} \right\} = h\left[ {n - k} \right] \;\;\;\; (**)
\]故由 $(*)$ 與 $(**)$ 可得
\[y[n] = \sum\limits_{k =  - \infty }^\infty  {x[k]h\left[ {n - k} \right]} \]即為所求。$\square$

Comments:
上述 \[
y[n] = \sum\limits_{k =  - \infty }^\infty  {x[k]h\left[ {n - k} \right]}
\]一般又稱作 $x[n]$ 與 $h[n]$ convolution sum。記作
\[
y[n] = x[n] * h[n]
\]

[控制理論] 具有負實部特徵值之 LTV系統 並不保證系統穩定

考慮線性非時變 (Linear Time-Invariant, LTI)系統利用狀態空間表示：
\[
{\bf \dot x} = A {\bf x} + B {\bf u}
\] 回憶在大學部自動控制課程中，我們知道 LTI 系統穩定 的 充分必要條件 為系統矩陣 $A$ 之特徵值具有負實部 （或者等價論述為 極點 pole 落在 複數平面的左半面）。現在我們想問若 系統為 線性時變 (Linear Time-Varying, LTV)系統是否此條件依然成立？

答案是否定的，以下為一個極為出色的反例：考慮線性時變系統 ${\bf \dot x} = A(t) {\bf x} $ 其中
\[A\left( t \right): = \left[ {\begin{array}{*{20}{c}}
{ - 1}&{{e^{2t}}}\\
0&{ - 1}
\end{array}} \right]
\] 且給定初始狀態為 $x_1(0) = x_2(0)=1$ 則由於此系統 $A(t)$ 矩陣為三角矩陣，其特徵值為對角線元素，亦即 $\lambda_{1,2} = -1$，具有負實部。然而，若我們求解此 LTV 系統，亦即觀察
\[{\bf{\dot x}}\left( t \right) = \left[ {\begin{array}{*{20}{c}}
{ - 1}&{{e^{2t}}}\\
0&{ - 1}
\end{array}} \right]\left[ \begin{array}{l}
{x_1}\left( t \right)\\
{x_2}\left( t \right)
\end{array} \right] = \left[ \begin{array}{l}
 - {x_1}\left( t \right) + {e^{2t}}{x_2}\left( t \right)\\
 - {x_2}\left( t \right)
\end{array} \right]\]故我們可首先解得
\[\begin{array}{*{20}{l}}
{{{\dot x}_2}\left( t \right) =  - {x_2}\left( t \right)}\\
\begin{array}{l}
 \Rightarrow {x_2}\left( t \right) = {e^{ - t}}{x_2}\left( 0 \right)\\
 \Rightarrow {x_2}\left( t \right) = {e^{ - t}}
\end{array}
\end{array}
\]再將此 $x_2(t)$ 帶回 $\dot x_1(t)$ 式中，可求解 $x_1$ 如下
\[\begin{array}{*{20}{l}}
{{{\dot x}_1}\left( t \right) =  - {x_1}\left( t \right) + {e^{2t}}{x_2}\left( t \right)}\\
{ \Rightarrow {{\dot x}_1}\left( t \right) =  - {x_1}\left( t \right) + {e^{2t}}{e^{ - t}}}\\
{ \Rightarrow {x_1}\left( t \right) = {e^{ - t}}{x_1}\left( 0 \right) + \int_0^t {{e^{ - \left( {t - \tau } \right)}}{e^\tau }d\tau } }\\
{ \Rightarrow {x_1}\left( t \right) = {e^{ - t}} + {e^{ - \left( t \right)}}\int_0^t {{e^{2\tau }}d\tau } }\\
{ \Rightarrow {x_1}\left( t \right) = \frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}}
\end{array}\]故系統之解為
\[{{\bf{x}}\left( t \right) = \left[ \begin{array}{l}
{e^{ - t}}\\
\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}
\end{array} \right]}\]但注意到若我們計算上述之狀態的 2-norm 且取極限 $t \to \infty$ 會發現
\[\begin{array}{l}
\mathop {\lim }\limits_{t \to \infty } \left\| {{\bf{x}}\left( t \right)} \right\| = \mathop {\lim }\limits_{t \to \infty } \left\| {\left[ \begin{array}{l}
{e^{ - t}}\\
\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}
\end{array} \right]} \right\|\\
 = \mathop {\lim }\limits_{t \to \infty } {\left( {\left[ {\begin{array}{*{20}{c}}
{{e^{ - t}}}&{\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}}
\end{array}} \right]\left[ \begin{array}{l}
{e^{ - t}}\\
\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}
\end{array} \right]} \right)^{1/2}}\\
 = \mathop {\lim }\limits_{t \to \infty } {\left( {{e^{ - 2t}} + {{\left( {\frac{1}{2}{e^t} + \frac{1}{2}{e^{ - \left( t \right)}}} \right)}^2}} \right)^{1/2}} = \infty
\end{array}\]亦即系統狀態發散。

上述結果闡釋了對於 LTV 系統而言，負實部特徵值 (左半面極點) 不保證系統穩定。

[投資理論] 數學能擊敗金融市場嗎？

以下為個人在 University of Wisconsin-Madison 臺灣學生會 2016年 第一場學術沙龍中 分享的簡報：

數學能擊敗金融市場嗎？-從控制理論觀點 （2016, 02. 16)

講者：謝宗翰
講題：數學是否能擊敗金融市場？-從控制理論觀點
簡介：此講題將試圖回答一個基本問題：是否存在一種「必勝法」，使得投資績效具備恆正報酬？我們將從現代投資理論出發，最終止於財務工程與控制理論，過程中，我們將逐步揭示何時可以透過數學幫助我們建構一組可行的「最佳」交易策略。


關於 UW-Madison 臺灣學生會 連結
https://sites.google.com/site/satuwmadison/

[自動控制] 穩態誤差與特性方程反求 轉移函數問題

考慮單位回授控制系統如下圖

現在假設
1. 閉迴路系統對 單位步階訊號 的穩態誤差為零：
2. 閉迴路轉移函數 $Y(s)/R(s)$ 的特性方程式為 $s^3 + 4s^2 + 6s +4$

試決定 $G(s)$

Solution:
首先決定誤差轉移函數 $E(s)$ 並將其以 $G(s)$ 與 $R(s)$ 表示：由於 $Y(s) = G(s)E(s)$ 且 $E(s) = R(s) - Y(s)$ 我們可推得
\[
E(s) = R(s) - Y(s) = R(s) - G(s) E(s)
\]故
\[
E(s) = \frac{R(s)}{1 + G(s)}
\]
現在令 $G(s) := \frac{n(s)}{d(s)}$ 則
\[E(s) = \frac{{R(s)}}{{1 + G(s)}} = \frac{{R(s)}}{{1 + \frac{{n\left( s \right)}}{{d\left( s \right)}}}} = \frac{{d\left( s \right)}}{{d\left( s \right) + n\left( s \right)}}R(s)
\]故由條件 2 可知
\[
d(s) + n(s) = s^3 + 4s^2 + 6s +4
\]
接著由條件1可知此閉迴路系統對 單位步階訊號 的穩態誤差為零：亦即 $\mathop {\lim }\limits_{s \to 0} sE(s) = 0$，故取 $R(s) = 1/s$ 為單位步階訊號，我們有
\[\mathop {\lim }\limits_{s \to 0} s\frac{{d\left( s \right)}}{{d\left( s \right) + n\left( s \right)}}\frac{1}{s} = \mathop {\lim }\limits_{s \to 0} \frac{{d\left( s \right)}}{{d\left( s \right) + n\left( s \right)}} = 0\]或者
\[\mathop {\lim }\limits_{s \to 0} \frac{{d\left( s \right)}}{{{s^3} + 4{s^2} + 6s + 4}} = 0
\]且注意到轉移函數必須為真分形式 亦即至少分母階數要大於或等於分子階數，故我們可取
\[
d(s) = s^3 + 4s^2 + 6s
\]作為其中一種選擇。至此我們已經決定 $d(s)$ 又因為 $d(s) + n(s) = s^3 + 4s^2 + 6s + 4$，以上例而言，$n(s) = 4$。故我們得到
\[
G(s) = \frac{n(s)}{d(s)} =  \frac{4}{s^3 + 4s^2 + 6s}
\]