跳到主要內容

發表文章

目前顯示的是 5月, 2009的文章

[動態規劃] 淺談 離散時間動態規劃 (1) - Bellman equation in Infinite Horizon

這次要介紹 無窮時間的 Bellman Equation,亦即我們的 Cost function 為 branch cost 加到無窮大的情況: \[ J(u) := \displaystyle \sum_{k=0}^{\infty} J(x(k), u(k)) + \Phi(x(N)) \] 那麼現在問題變成 儘管我們手上有 有限時間的 Bellman Equation (請參考前篇文章),但對於此類無窮時間的問題該如何處理?? 亦即如果今天我們 cost function 的 $N \rightarrow \infty$ 該怎麼處理? 我們稱這一類問題叫做 Steady State Dynamic Programming 或稱 Dynamic Programming in Infinite Horizon。 無窮時間的動態規劃問題 (Dynamic Programming Problem in Infinite Horizon): 考慮 Performance index (cost function) \[ J(u) := \displaystyle \sum_{k=0}^{\infty} J(x(k), u(k)) + \Phi(x(N)) \]狀態方程( state equation) \[ x(k+1) = f(x(k), u(k)), \ x(0) \ \text{is given} \\ \]其中 $x(k)$ 為系統在第 $k$ 時刻的 狀態,$f:\mathbb{R}^n \times \mathbb{R}^m \rightarrow \mathbb{R}^n$, 與控制力拘束條件 \[ u(k) \in \Omega \]其中$\Omega$ 為拘束條件 此時對應的 Bellman Equation (or Dynamic Programming Equation) 寫為如下的 functional form \[ I(x) = \min_{u \in \Omega} \{ J(x,u) + I(f(x,u)) \} \]亦即與 $N$ 無關 上式稱為 Steady State Bellman Equation 或者 Bellman Equation in Infinite Horizon。