謝宗翰的隨筆

回憶先前我們曾定義對於 (nonrandom) simple function 的 Wiener integral，亦即對時間 $t$ 做有限個數區間內做分割 且對 $t_i < t \le t_{i+1}$， $g(\tau) = g_i$，反之則 $g(\tau) = 0$。

則我們定義 Wiener integral 為
\[\int_0^\infty  {g\left( \tau  \right)d{W_\tau }} : = \sum\limits_i^{} {{g_i}\left( {{W_{{t_{i + 1}}}} - {W_{{t_i}}}} \right)}
\]且由於此積分為對一組 independent, zero mean Gaussian random variable 做 summation，故此積分必為 zero mean Gaussian random variable 且 variance 為
\[E\left[ {{{\left( {\int_0^\infty  {g\left( \tau  \right)d{W_\tau }} } \right)}^2}} \right] = {\sigma ^2}\sum\limits_i^{} {{g_i}^2\left( {{t_{i + 1}} - {t_i}} \right)}  = {\sigma ^2}\int_0^\infty  {{g^2}\left( \tau  \right)d\tau } \]

現在我們要拓展 Wiener integral 到對任意函數 $g$ 。為了拓展到更廣的函數 $g$ 需要一些限制，我們要求 $g$ 必須滿足平方可積條件亦即
\[
\int_0^\infty g^2(\tau) d\tau < \infty
\]
現在我們看個結果：
===================
FACT: (Dense property) 若 $g$ 為平方可積 (亦即 $\int_0^\infty g^2(\tau) d\tau < \infty$)，則必定存在一 piecewise-constant 函數 sequence $g_n$ 且此 $g_n \rightarrow g$ in $L^2$
\[\mathop {\lim }\limit…

在分析中，有幾類重要的 函數空間 經常在實際問題中被使用，以下我們給出 隨機變數 (可測函數) 的  $L^p$ 空間之定義 ：

=====================
Definition: $L^p$ Space of Random Variable
令 $0<p<\infty$，我們稱 $L^p$ space 為由所有隨機變數 $X$ 所組成的集合且滿足 $
E[|X|^p] < \infty $ 所成的集合，亦即
\[
L^p := \{X: E[|X|^p] < \infty \}
\] 且對任意 $X \in L^p$，我們定義其上的 norm 為
\[
||X||_p := E[|X|^p]^{1/p}
\]=====================

Comment: 1. 上述提及的 $|| \cdot ||_p$ 為 $L^p$ space 的 norm 且滿足下列三個條件 $||X||_p \ge 0$, 且 $||X||_p =0 \Rightarrow X$ 為 零隨機變數 (亦即 機率 $P(X = 0) \; \text{almost surely}$)對 $a \in \mathbb{R}$，$||aX|| = |a| \cdot ||X||$對任意 $X, Y \in L^p$，滿足三角不等式(triangle inequality)
\[||X+Y||_p \le ||X||_p + ||Y||_p\]  讀者可自行驗證我們 norm 的定法，亦即 $||X||_p := E[|X|^p]^{1/p}$ 確實滿足上述三個條件。(第三個條件可由 Minkowski's inequality 直接證得。)

2. $L^p$ space 是一個 function space 。


另外我們說 $L^p$ space 確實為一 向量空間。亦即可以在上面定義 向量加法 與 純量乘法 以及其線性組合：

=====================
Fact 1: $L^p$ space 為向量空間 (Vector space)
=====================

Proof:
由 Vector space 定義可知其為具有 加法 與乘法的集合且滿足線性組合規則。故給定 $X,Y \in L^p$ 且  $a,b \…

在介紹之前，建議讀者須具備 Brownian motion (or Wiener process)的基本定義與相關性質。

事實上，Brownian motion $W_t$ 的行為可被視為是對 White noise 隨機過程 積分；也就是說 如果我們令 $X_t$ 為一 White noise 隨機過程 ，則 Brownian motion 可視為是 將此 White noise 送入 一組 積分器 (integrator) ，且其對應的輸出隨機過程 $Y_t$可表示成
\[
Y_t := \int_0^t X_{\tau} d\tau = W_t
\]

Comment:
1. White noise 為( Wide-sense stationary, WSS )隨機過程
2. WSS 隨機過程訊號輸入 LTI系統 必得到輸出亦為 WSS，且輸入輸出互為 Jointly-WSS。關ˊ於 jointly-WSS 的部分有興趣的讀者請參閱：[系統理論] (弱)平穩隨機過程特性 與 線性非時變系統 (2)- Jointly wide-sense stationary and Frequency domain property

現在如果將 White noise 送入一個具有脈衝響應為 $h(t)$的 relaxed LTI 系統 (relaxed 意指在初始時間為 $0$之前系統為靜止狀態 )，那麼其輸出仍可寫為 convolution integral 形式如下：
\[\int_0^\infty  {h\left( {t - \tau } \right){X_\tau }} d\tau  = \int_0^\infty  {h\left( \tau  \right){X_{t - \tau }}} d\tau \]或者我們令 $g(\tau) := h(t- \tau)$可改寫上式如下
\[\int_0^\infty  {g\left( \tau  \right){X_\tau }} d\tau  \ \ \ \ (*)
\]那麼上述對 "White noise" 的積分是否可以定義??

現在我們令 $g(\tau)$ 為在 (被分割 partitioned)區間 $(t_i, t_{i+1}]$上取值為 $g_i$ 的分段常數(piecewise…

回憶對於 具有脈衝響應為 $h(t)$ 的 LTI 系統 而言，若輸入 $X_t$ 為 WSS 隨機過程，則輸出 $Y_t$ 必定也為一 WSS 隨機過程，且 $Y_t$ 與 $X_t$ 的輸入輸出關係為 convolution integral：
\[{Y_t} = \int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau  = \int_{ - \infty }^\infty  {{X_{t - \tau }}h} (\tau )d\tau
\]且其 輸出隨機過程 $Y_t$ 的 mean function $m_Y(t)$ 與 autocorrelation function $R_Y(\tau)$為
\[\begin{array}{l}
{m_Y}\left( t\right) = E[{Y_t}] = E[\int_{ - \infty }^\infty  {{X_{t - \theta }}h} (\theta )d\theta ]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\underbrace {E[{X_{t - \theta }}]}_{ = {m_X}\left( {t - \theta } \right)}h} (\theta )d\theta \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {{m_X}\left( {t - \theta } \right)h} (\theta )d\theta
\end{array}\]與
\[\begin{array}{l}
{R_Y}\left( \tau  \right) = E[{Y_{t + \tau }}{Y_t}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {\int_{ - \infty }^\infty  {{X_{t + \tau  - \beta }}h} (\b…

以下將專注在幾類比較特別的隨機過程，首先是嚴格平穩過程(也就是這一類的 隨機過程 可被稱為 "嚴格平穩")

============================
Definition: (Stationary Processes)
嚴格平穩過程 (Strict-sense stationary (SSS) or Strictly stationary process)
1. 隨機過程 $X_t$ 被稱為 nth-order strictly stationary 若下列條件成立：
給定任意 $n$ 個 時間集合 $\{t_1, ..., t_n \}$ 與時間平移量 $\Delta t$， 其對應的  $X_{t1 + \Delta t}, ..., X_{t_n + \Delta t}$ 之 聯合機率分布(joint probabilities) 與其 時間平移量 $\Delta t$ 無關。亦即 對任意 $n$ 維 集合 $B$，
\[
P((X_{t_1 + \Delta t},...,X_{t_n + \Delta t}) \in B)
\]與 $\Delta t$無關。

2. 考慮一隨機過程 $X_t$，若其對任意 正有限整數 $n$ ，都為 n-th order strictly stationary，則我們稱此隨機過程為 strictly stationary。
==============================
Comment:
1.  "平穩 (stationary)" 一詞 概念上表示 對抗 時間平移的能力也就是 Time invariant 的能力。

2. 若隨機過程為 1st-order strictly stationary，則對任意 $t_1$，其對應於 $P(X_{t_1 + \Delta t})$ 與時間平移量 $\Delta t$ 無關，(亦即其機率分布與 $P(X_{t_1})$ 相等 )

3. Strict stationary 是一個非常強的條件。e.g., 如 comment 1，1st-order strictly stationary 由於要求對任意 $t$ 與 $\Delta t$ 機率分布都相同，故期望值必定也要相同，且取函數之後的期望值亦同，亦即我們有以下結果：
對…

這次要介紹一些基本的 Functional

我們首先定義 Continuous Functional

給定一個 normed linear space $X$
============================
Definition:  Continuous Functional
考慮 一個 functional $J: X \rightarrow \mathbb{R}$, 令 $y \in X$，我們說 $J[y]$ 被稱作 在點 $\hat y \in X$ continuous 若下列條件成立 對任意 $\varepsilon >0$, 存在 $\delta >0$ 使得 \[||y- \hat y|| < \delta  \Rightarrow |J[y] - J[\hat y]| < \varepsilon
\]============================

Comment
上述連續性等價為
\[
||y(x) - \hat y(x)|| \rightarrow 0 \Rightarrow |f(y(x)) - f(\hat{y}(x))| \rightarrow 0
\]

============================
Definition:  Linear Functional
給定一個 normed linear space $X$，且 $y \in X$ 的元素，現在定義 $J[y] : X \rightarrow \mathbb{R}$ 為在 $X$ 上的 functional ，則我們說 $J[y]$ 為 linear functional 若下列條件成立
1. 對任意 $y\in X$ 與 $ \alpha \in \mathbb{R}$，$J[\alpha y] = \alpha J[y]$
2. 對任意 $y_1, y_2 \in X$，$J[y_1 + y_2] = J[y_1] + J[y_2]$
============================

Comment:
上述定義的兩個條件可簡化為
對任意  $y_1, y_2 \in X$ 與 $ \alpha, \beta \in \mathbb{R}$
\[
J[\alpha y_1 + \beta y_2] =\alpha  J[y…

這次要介紹函數極限( Limit of Function)。我們首先給出定義如下

===========================
Definition: Limit of Function
令 $X$ 與 $Y$ 為 metric spaces，設 $E \subset X$ 且 考慮函數 $f : E \rightarrow Y$ 與點 $p$ 為 limit point of $E$，則我們將函數的極限 記作 $f(x) \rightarrow p$ 當 $x \rightarrow p$ 或者
\[
\lim_{x \rightarrow p} f(x) =q
\]若 存在一點 $q \in Y$ 滿足下列條件：
對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對所有的 $x \in E$，若 $ 0 < d_X(x,p) < \delta$，則
\[
d_Y(f(x),q) < \varepsilon
\]===========================

上述 $d_X$ 與 $d_Y$ 表示 metric in $X$ 與 metric in $Y$

Comment:
1. 上述定義從直覺上可以看出想表達我們可以透過讓 $x$ 足夠的接近 $p$ 來使得 $f(x)$ 可以被任意接近 $q$。
2. 關於上述定義提及的 Metric Space 可直接簡單視為 $\mathbb{R}^n$ Euclidean 空間，若對 Metric Space 定義有興趣讀者請參考
[數學分析] 淺談 Metric Space and Topology
3. 上述定義可等價用 limits of sequences 表示，我們將其記做下面重要的定理

===========================
Theorem:  Equivalence of Limit of Functions and Limit of Sequences 
令 $X,Y,E,f,p$ 同上述定義，則
\[
\lim_{x \rightarrow p} f(x) =q
\]若且唯若 對任意 sequence $\{p_n \}$ in $E$ 滿足 $p_n \neq q$ 且使得
\[
\lim_{n \rightarro…