Processing math: 100%

10/07/2019

[機器學習] 回歸問題應用例:Dow Jones 指數的 回歸模型估計

考慮歷史 Dow Jones 指數如下圖所示


v(t) 表示 從1795年到 2019年每年的 Dow Jones 指數其中 t=1,1,,Tt=1表示 1795年,t=T表示至今 (上圖為2019年,但任意年皆可)。由上圖,我們假設 vt 可由以下 指數函數 近似:亦即  v:NR 滿足
v(t):=eat+b其中  t=1,...,Ta,b 為 待估計參數。我們想問是否能找出 a,b 使得我們可以用此模型來預估未來 Dow Jones 指數的走向:

上述問題可化簡為回歸問題。首先對 vt 等式兩邊同取 log,我們可得
logv(t)=at+b故對任意 t=1,...,T我們有
[logv(1)logv(2)logv(T)]=[112131T1][ab]
令  x=[ab]Tb=[logv(1)logv(2)logv(T)]TA:=[112131T1]RT×2 則我們得到 Ax=b 。由於 T>>2,方程 Ax=b無解 (參閱 comment 2),但我們可問是否有近似解。為此, 欲求解 x 一種常見的手段是採用最小平方法:考慮以下無拘束最小平方最佳化問題
minxR2Axb22讀者不難驗證上述問題之解必定滿足以下 normal equation
ATAx=ATb由於 A矩陣之 columns 為線性獨立,ATA為 positive definite 其反矩陣存在,故可得解
ˆx:=(ATA)1ATb

Comments:
1. 讀者可進一步分析
ATA=[12T111][112131T1]=[Tt=1t2Tt=1tTt=1tT]=[T(T+1)(2T+1)6T(T+1)2T(T+1)2T]故其反矩陣
(ATA)1=1T2(T+1)(2T+1)6(T(T+1)2)2[TT(T+1)2T(T+1)2T(T+1)(2T+1)6]


2. 令 ARm×nbRmxRn。考慮 Ax=b為一線性系統方程。我們說此系統有解 若且唯若
rank(A)=rank([A|b])在上述 Dow Jones 指數的例子中,讀者不難驗證 rank(A)=2 但是 rank([A|b])=3。故原方程 Ax=b無解。












沒有留言:

張貼留言

[人工智慧] 本地端 DeepSeek R1 快速安裝:以 Macbook Pro M4 Chip為例

最近火熱的 DeepSeek R1 模型由於採用了 distill 技術,可以大幅降低計算成本,使得一般人有機會在自家筆電上跑性能逼近 Open AI ChatGPT o1的大語言模型。本文簡單介紹一步安裝在 Macbook Pro 的方法以及使用方法,以下測試採用 Macboo...