跳到主要內容

發表文章

目前顯示的是 8月, 2013的文章

[隨機過程] Wiener Integral (2) - arbitrary function

回憶先前我們曾定義對於 (nonrandom) simple function 的 Wiener integral,亦即對時間 $t$ 做有限個數區間內做分割 且對 $t_i < t \le t_{i+1}$, $g(\tau) = g_i$,反之則 $g(\tau) = 0$。 則我們定義 Wiener integral 為 \[\int_0^\infty  {g\left( \tau  \right)d{W_\tau }} : = \sum\limits_i^{} {{g_i}\left( {{W_{{t_{i + 1}}}} - {W_{{t_i}}}} \right)} \]且由於此積分為對一組 independent, zero mean Gaussian random variable 做 summation,故此積分必為 zero mean Gaussian random variable 且 variance 為 \[E\left[ {{{\left( {\int_0^\infty  {g\left( \tau  \right)d{W_\tau }} } \right)}^2}} \right] = {\sigma ^2}\sum\limits_i^{} {{g_i}^2\left( {{t_{i + 1}} - {t_i}} \right)}  = {\sigma ^2}\int_0^\infty  {{g^2}\left( \tau  \right)d\tau } \] 現在我們要拓展 Wiener integral 到對任意函數 $g$ 。為了拓展到更廣的函數 $g$ 需要一些限制,我們要求 $g$ 必須滿足平方可積條件亦即 \[ \int_0^\infty g^2(\tau) d\tau < \infty \] 現在我們看個結果: =================== FACT: (Dense property)  若 $g$ 為平方可積 (亦即 $\int_0^\infty g^2(\tau) d\tau < \infty$),則必定存在一 piecewise-constant 函數 sequence $g_n$ 且此 $g_n \rightarrow g$ in $L^2$ \[\matho

[隨機過程] 隨機變數 的 賦範向量空間 (Normed Vector Space of random variables)

在分析中,有幾類重要的 函數空間 經常在實際問題中被使用,以下我們給出 隨機變數 (可測函數) 的  $L^p$ 空間之定義 : ===================== Definition: $L^p$  Space of Random Variable 令 $0<p<\infty$,我們稱 $L^p$ space 為由所有隨機變數 $X$ 所組成的集合且滿足 $ E[|X|^p] < \infty $ 所成的集合,亦即 \[ L^p := \{X: E[|X|^p] < \infty \} \] 且對任意 $X \in L^p$,我們定義其上的 norm 為 \[ ||X||_p := E[|X|^p]^{1/p} \]===================== Comment: 1. 上述提及的 $|| \cdot ||_p$ 為 $L^p$ space 的 norm 且滿足下列三個條件 $||X||_p \ge 0$, 且 $||X||_p =0 \Rightarrow X$ 為 零 隨機變數 (亦即 機率 $P(X = 0) \; \text{almost surely}$) 對 $a \in \mathbb{R}$,$||aX|| = |a| \cdot ||X||$ 對任意 $X, Y \in L^p$,滿足三角不等式(triangle inequality) \[||X+Y||_p \le ||X||_p + ||Y||_p\]  讀者可自行驗證我們 norm 的定法,亦即 $||X||_p := E[|X|^p]^{1/p}$ 確實滿足上述三個條件。(第三個條件可由 Minkowski's inequality 直接證得。) 2. $L^p$ space 是一個 function space 。 另外我們說 $L^p$ space 確實為一 向量空間。亦即可以在上面定義 向量加法 與 純量乘法 以及其線性組合: ===================== Fact 1: $L^p$ space 為向量空間 (Vector space) ===================== Proof: 由 Vector space 定義可知其為

[隨機過程] Wiener Integral (1) - simple function

在介紹之前,建議讀者須具備 Brownian motion (or Wiener process)的基本定義與相關性質。 事實上,Brownian motion $W_t$ 的行為可被視為是對 White noise 隨機過程 積分;也就是說 如果我們令 $X_t$ 為一 White noise 隨機過程 ,則 Brownian motion 可視為是 將此 White noise 送入 一組 積分器 (integrator) ,且其對應的輸出隨機過程 $Y_t$可表示成 \[ Y_t := \int_0^t X_{\tau} d\tau = W_t \] Comment: 1. White noise 為( Wide-sense stationary, WSS )隨機過程 2. WSS 隨機過程訊號輸入 LTI系統 必得到輸出亦為 WSS,且輸入輸出互為 Jointly-WSS。關ˊ於 jointly-WSS 的部分有興趣的讀者請參閱: [系統理論] (弱)平穩隨機過程特性 與 線性非時變系統 (2)- Jointly wide-sense stationary and Frequency domain property 現在如果將 White noise 送入一個具有脈衝響應為 $h(t)$的 relaxed LTI 系統 (relaxed 意指在初始時間為 $0$之前系統為靜止狀態 ),那麼其輸出仍可寫為 convolution integral 形式如下: \[\int_0^\infty  {h\left( {t - \tau } \right){X_\tau }} d\tau  = \int_0^\infty  {h\left( \tau  \right){X_{t - \tau }}} d\tau \]或者我們令 $g(\tau) := h(t- \tau)$可改寫上式如下 \[\int_0^\infty  {g\left( \tau  \right){X_\tau }} d\tau  \ \ \ \ (*) \]那麼上述對 "White noise" 的積分是否可以定義?? 現在我們令 $g(\tau)$ 為在 (被分割 partitioned)區間 $(t_i, t_{i+1}]$上取值為 $g_i

[系統理論] (弱)平穩隨機過程特性 與 線性非時變系統 (2)- Jointly wide-sense stationary and Frequency domain property

回憶對於 具有脈衝響應為 $h(t)$ 的 LTI 系統 而言,若輸入 $X_t$ 為 WSS 隨機過程,則輸出 $Y_t$ 必定也為一 WSS 隨機過程,且 $Y_t$ 與 $X_t$ 的輸入輸出關係為 convolution integral: \[{Y_t} = \int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau  = \int_{ - \infty }^\infty  {{X_{t - \tau }}h} (\tau )d\tau \]且其 輸出隨機過程 $Y_t$ 的 mean function $m_Y(t)$ 與 autocorrelation function $R_Y(\tau)$為 \[\begin{array}{l} {m_Y}\left( t\right) = E[{Y_t}] = E[\int_{ - \infty }^\infty  {{X_{t - \theta }}h} (\theta )d\theta ]\\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} = \int_{ - \infty }^\infty  {\underbrace {E[{X_{t - \theta }}]}_{ = {m_X}\left( {t - \theta } \right)}h} (\theta )d\theta \\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} = \int_{ - \infty }^\infty  {{m_X}\left( {t - \theta } \right)h} (\theta )d\theta \end{array}\]與 \[\begin{array}{l} {R_Y}\left( \tau  \right) = E[{Y_{t + \tau }}{Y_t}]\\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} = E\left[ {\int_{ - \infty }^\infty  {{X_{t + \tau  -

[系統理論] (弱)平穩隨機過程特性 與 線性非時變系統 (1) -Time domain property

以下將專注在幾類比較特別的隨機過程,首先是嚴格平穩過程(也就是這一類的 隨機過程 可被稱為 "嚴格平穩") ============================ Definition:  (Stationary Processes) 嚴格平穩過程 (Strict-sense stationary (SSS) or Strictly stationary process) 1. 隨機過程 $X_t$ 被稱為 nth-order strictly stationary 若下列條件成立: 給定任意 $n$ 個 時間集合 $\{t_1, ..., t_n \}$ 與時間平移量 $\Delta t$, 其對應的  $X_{t1 + \Delta t}, ..., X_{t_n + \Delta t}$ 之 聯合機率分布(joint probabilities) 與其 時間平移量 $\Delta t$ 無關。亦即 對任意 $n$ 維 集合 $B$, \[ P((X_{t_1 + \Delta t},...,X_{t_n + \Delta t}) \in B) \]與 $\Delta t$無關。 2. 考慮一隨機過程 $X_t$,若其對任意 正有限整數 $n$ ,都為 n-th order strictly stationary,則我們稱此隨機過程為 strictly stationary。 ============================== Comment: 1.  "平穩 (stationary)" 一詞 概念上表示 對抗 時間平移的能力也就是 Time invariant 的能力。 2. 若隨機過程為 1st-order strictly stationary,則對任意 $t_1$,其對應於 $P(X_{t_1 + \Delta t})$ 與時間平移量 $\Delta t$ 無關,(亦即其機率分布與 $P(X_{t_1})$ 相等 ) 3. Strict stationary 是一個非常強的條件。e.g., 如 comment 1,1st-order strictly stationary 由於要求對任意 $t$ 與 $\Delta t$ 機率分布都相同,故期望值必定也要相同,且取

[變分法] 淺論 線性泛函

這次要介紹一些基本的 Functional 我們首先定義 Continuous Functional 給定一個 normed linear space $X$ ============================ Definition:  Continuous Functional 考慮 一個 functional $J: X \rightarrow \mathbb{R}$, 令 $y \in X$,我們說 $J[y]$ 被稱作 在點 $\hat y \in X$ continuous 若下列條件成立 對任意 $\varepsilon >0$, 存在 $\delta >0$ 使得 \[||y- \hat y|| < \delta  \Rightarrow |J[y] - J[\hat y]| < \varepsilon \]============================ Comment 上述連續性等價為 \[ ||y(x) - \hat y(x)|| \rightarrow 0 \Rightarrow |f(y(x)) - f(\hat{y}(x))| \rightarrow 0 \] ============================ Definition:  Linear Functional 給定一個 normed linear space $X$,且 $y \in X$ 的元素,現在定義 $J[y] : X \rightarrow \mathbb{R}$ 為在 $X$ 上的 functional ,則我們說 $J[y]$ 為 linear functional 若下列條件成立 1. 對任意 $y\in X$ 與 $ \alpha \in \mathbb{R}$,$J[\alpha y] = \alpha J[y]$ 2. 對任意 $y_1, y_2 \in X$,$J[y_1 + y_2] = J[y_1] + J[y_2]$ ============================ Comment: 上述定義的兩個條件可簡化為 對任意  $y_1, y_2 \in X$ 與 $ \alpha, \beta \in \mathbb{R}$ \[ J[

[數學分析] 函數的極限

這次要介紹函數極限( Limit of Function)。我們首先給出定義如下 =========================== Definition: Limit of Function 令 $X$ 與 $Y$ 為 metric spaces,設 $E \subset X$ 且 考慮函數 $f : E \rightarrow Y$ 與點 $p$ 為 limit point of $E$,則我們將函數的極限 記作 $f(x) \rightarrow p$ 當 $x \rightarrow p$ 或者 \[ \lim_{x \rightarrow p} f(x) =q \]若 存在一點 $q \in Y$ 滿足下列條件: 對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對所有的 $x \in E$,若 $ 0 < d_X(x,p) < \delta$,則 \[ d_Y(f(x),q) < \varepsilon \]=========================== 上述 $d_X$ 與 $d_Y$ 表示 metric in $X$ 與 metric in $Y$ Comment: 1. 上述定義從直覺上可以看出想表達我們可以透過讓 $x$ 足夠的接近 $p$ 來使得 $f(x)$ 可以被任意接近 $q$。 2. 關於上述定義提及的 Metric Space 可直接簡單視為 $\mathbb{R}^n$ Euclidean 空間,若對 Metric Space 定義有興趣讀者請參考 [數學分析] 淺談 Metric Space and Topology 3. 上述定義可等價用 limits of sequences 表示,我們將其記做下面重要的定理 =========================== Theorem:  Equivalence of Limit of Functions and Limit of Sequences  令 $X,Y,E,f,p$ 同上述定義,則 \[ \lim_{x \rightarrow p} f(x) =q \]若且唯若 對任意 sequence $\{p_n \}$ in $E$ 滿足 $p_n \neq