謝宗翰的隨筆

考慮歷史 Dow Jones 指數如下圖所示 令 $v(t)$ 表示 從1795年到 2019年每年的 Dow Jones 指數其中 $t=1,1,\ldots,T$ 且 $t=1$表示 1795年，$t=T$表示至今 (上圖為2019年，但任意年皆可)。由上圖，我們假設 $v_t$ 可由以下 指數函數 近似：亦即  $v: \mathbb{N} \to \mathbb{R}$ 滿足 \[ v(t):= e^{at+b} \]其中  $t=1,...,T$，$a,b$ 為 待估計參數。我們想問是否能找出 $a,b$ 使得我們可以用此模型來預估未來 Dow Jones 指數的走向： 上述問題可化簡為回歸問題。首先對 $v_t$ 等式兩邊同取 $\log$，我們可得 \[ \log v(t) = at+b \]故對任意 $t=1,...,T$我們有 \[ \begin{bmatrix}\log v(1)\\\log v(2)\\ \vdots \\ \log v(T) \end{bmatrix} = \begin{bmatrix}1 & 1 \\ 2 & 1 \\ 3 & 1\\ \vdots & \vdots \\ T & 1  \end{bmatrix} \begin{bmatrix} a\\b\end{bmatrix} \] 令  ${\bf x}=[a \;\; b]^T$，${\bf b}=\begin{bmatrix}\log v(1) & \log v(2) & \vdots \log v(T) \end{bmatrix}^T$ 且 $$A:=\begin{bmatrix}1 & 1 \\ 2 & 1 \\ 3 & 1\\ \vdots & \vdots \\ T & 1  \end{bmatrix} \in \mathbb{R}^{T \times 2} $$ 則我們得到 $ A{\bf x} = {\bf b} $ 。由於 $T>>2$，方程 $A{\bf x} = {\bf b}$無解 (參閱 comment 2)，但我們可問是否有近似解。為此， 欲求解 ${\bf x}$ 一種常見的手段是採用最小平方法：

首先回憶 正定 (positive definite) 矩陣 定義: Definition: 令 $Q \in \mathbb{R}^{n\times n}$且 $Q^T=Q$。我們說 $Q$ 為 positive definite 若下列條件成立: 對任意 ${\bf x} \in \mathbb{R}^n$ 且 ${\bf x} \neq {\bf 0}$, $$ {\bf x}^TQ{\bf x}>0 $$ 我們想問是否有可能構造出一正定矩陣其部分元素取值為負。答案是肯定的。請看以下例子: ============== Example:  令 $Q = \begin{bmatrix}2 & -1 \\ -1 & 2 \end{bmatrix}$。試証 $Q$ 為 positive definite。 ================ Proof: 首先注意到 $Q^T=Q$ 為顯然。故我們僅需証明 對任意 ${\bf x} \neq 0$, ${\bf x}^TQ{\bf x}>0。$為此，取${\bf x}=[x_1\;\;x_2]^T$ 且 $x_1,x_2$不全為零， 觀察 $$ {\bf x}^TQ{\bf x} = [x_1 \;\; x_2]  \begin{bmatrix}2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix}x_1\\x_2 \end{bmatrix} = 2x_1^2+2x_2^2-2x_1x_2$$上述稱為 矩陣二次式(quadratic form)。 以下我們分幾個情況討論： Case 1: 若 $x_2 \neq 0$ 且 $x_1 \neq 0$： 若 $x_1\geq x_2$ ，則 $2x_1^2+2x_2^2-2x_1x_2 \geq 2x_2^2>0$ 若 $x_2 \geq x_1$，則 $2x_1^2+2x_2^2-2x_1x_2 \geq 2x_1^2>0$ Case 2: 若 $x_2 \neq 0$ 且 $x_1 = 0$：則我們有 $$  2x_1^2+2x_2^2-2x_1x_2 = 2x_2^2 > 0 $$ Case 3: 若 $x_