2017年3月23日 星期四

[投資組合理論] Markowitz 最小變異 投資組合 之解

此文將討論 Markowitz 在1952年針對單期 報酬-風險 投資策略所建構的最小變異投資組合理論,簡而言之就是以期望報酬為報酬,風險變異(或者標準差)為風險,試問如何建構一組投資組合並對各資產給定適當的權重使得風險變異被最小化。推導過程會用到一些必要的最佳化與線性代數的知識。


Markowitz 的單期投資組合的描述:
假設在期初手上有 $V(0)>0$ 資產,現在我們打算在期初時購入 $n$ 種 互為相關 的風險資產 (correlated risky asset) 用以建構投資組合,其個別資產之隨機報酬 表為 $r_1,r_2,....,r_n$ 且對應的 期望報酬 為 $E[r_1], E[r_2],...,E[r_n]$ 與 風險變異 $Var(r_1), Var(r_2),...,Var(r_n)$ 且 資產之間的共變異 為 $ Cov(r_i,r_j),\;\; \forall \;  i,j=1,2,...,n$。

Comments:
為求分析簡便在以下分析中,我們建構的投資組合不考慮無風險資產 (risk-free asset),亦即 $Var(r) = 0$ 的資產我們不考慮。


投資策略: 
對於第 $i$ 資產之投資策略為對 $i=1,2,...,n$,令在期初之投資策略為 $I(0)$ 滿足
$$I_i(0) = K_i V(0)$$ 其中我們要求 $\sum_{i=1}^n K_i = 1$ (但允許 $K_i$ 為負值,亦即我們允許賣空)。

Comments:
一般投資書籍在討論上述投資策略或者廣義的資產配置問題時,多半僅稱呼 $K_i$ 為權重,且對於整體投資策略不多著墨。不過事實上,此類問題可以透過引入 控制理論 觀點,將投資策略視為標準回授控制 $I=KV$。


單期資產動態模型:
則我們打算持有單期 (比如說 一年) 則期末資產為
\[
V(1) = V(0) + \sum_{i=1}^n K_i r_i V(0)
\]則不難得知我們投資組合的期末報酬,記作 $r_p$ 可由上式推得為
\[{r_p}: = \frac{{V(1) - V(0)}}{{V(0)}} = \sum\limits_{i = 1}^n {{K_i}} {r_i}\]
並且回憶投資組合的期望收益率為
\[
E[{r_p}]  =  \sum\limits_{i = 1}^n {{K_i}} E[{r_i}]\]且對應的變異可表為
\begin{align*}
  Var[{r_p}] = \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{K_i}{K_j}Cov\left( {{r_i},{r_j}} \right)} }
\end{align*}


Markowitz 最小變異投資組合 的等價 最佳化問題:
為求取 Markowitz 最小變異投資組合,我們首先給定任意投資組合之期望報酬 $\widehat{r}$,並接著建構以下最佳化問題:
\begin{align*}
  &\min \frac{1}{2}Var\left( {{r_p}} \right) \hfill \\
  &s.t. \hfill \\
  &E\left[ {{r_p}} \right] = \widehat r\;\;; \hfill \\
  &\sum\limits_{i = 1}^n {{K_i}}  = 1 \hfill \\
\end{align*}
利用前面推得的 $E[r_p], Var(r_p)$ ,我們知道上述最佳化問題等價為
\begin{align*}
 & \min \frac{1}{2}\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{K_i}{K_j}Cov\left( {{r_i},{r_j}} \right)} }  \hfill \\
  &s.t. \hfill \\
 & \sum\limits_{i = 1}^n {{K_i}} E[{r_i}] = \widehat{r}\;\;\;; \hfill \\
  &\sum\limits_{i = 1}^n {{K_i}}  = 1 \hfill \\
\end{align*}
注意到上述問題為具有等式拘束的最佳化問題。常用的工具為透過 Lagrange Multiplier 來求解必要條件。

Comments:
熟習線性代數與最佳化的讀者,應不難看出上述最佳化問題可被化約為二次規劃 (Quadratic Programming)問題,亦即目標函數為二次函數,且具有線性拘束的最佳化問題:
\[\begin{gathered}
  \min {K^T}CK \hfill \\
  s.t. \;\; AK = b \hfill \\
\end{gathered} \]其中 $K:= [K_1,K_2,...,K_n]$ 且 $C$ 為共變異矩陣其中第 $ij$ 個元素為 $Cov(r_i,r_j)$ 且拘束條件為
\[\underbrace {\left[ {\begin{array}{*{20}{c}}
  {E[{r_1}]}&{E[{r_2}]}& \cdots &{E[{r_2}]}&{E[{r_2}]} \\
  1&1& \cdots &1&1
\end{array}} \right]}_A\underbrace {\left[ \begin{gathered}
  {K_1} \hfill \\
  {K_2} \hfill \\
   \vdots  \hfill \\
  {K_n} \hfill \\
\end{gathered}  \right]}_K = \underbrace {\left[ \begin{gathered}
  {\hat r} \hfill \\
  1 \hfill \\
\end{gathered}  \right]}_b\]注意到上述討論中, $A$ 矩陣的變數比方程多,這一類特殊問題又稱 minimum norm problem,(亦即我們將 $min K^TCK := min ||K||_C^2 $) 。若 $rank(A) = 2$ 且共變異矩陣為正定矩陣 則有立刻的唯一解滿足拘束 $AK=b$ 且最小化 $K^TCK$ ,記作 $K^*$,如下
\[{K^*} = {C^{ - 1}}{A^T}{(A{C^{ - 1}}{A^T})^{ - 1}}b\]有興趣讀者可以自行驗證。以下我們將採用 Lagrange Muliplier 方式來求解此問題。


求解最小變異投資組合 (利用 Lagrange Multiplier):
因為我們有兩條等式拘束,故可取 $\lambda, \mu$ 為 Lagrange Multiplier 並建構 Largangian 函數 $L$ 如下:
\[L: = \frac{1}{2}\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{K_i}{K_j}Cov\left( {{r_i},{r_j}} \right)} }  - \lambda \left( {\sum\limits_{i = 1}^n {{K_i}} E[{r_i}] - \widehat r} \right) - \mu \left( {\sum\limits_{i = 1}^n {{K_i}}  - 1} \right)\]
欲求最佳解的必要條件,我們對求 $L$ 每一個 $K_k$ ($k=1,2,...,n$) 之偏導數並令其為零,注意到在此我們須對雙重加總求導,一般常用的結果為以下 FACT:

==========
FACT: 有限雙重加總的求導
$$
\frac{\partial}{\partial x_k} \sum_{i, j} a_{i j} x_i x_j
   = \sum_{i, j} a_{i j}
             \left( \frac{\partial x_i}{\partial x_k} x_j
                      + x_i \frac{\partial x_j}{\partial x_k} \right)
   = \sum_j a_{k j} x_j + \sum_i a_{i k} x_i
$$==========

故利用上述 FACT ,我們首先對 Lagragian $L$ 的第一項雙重加總取導可得
\begin{align*} \frac{\partial }{{\partial {K_k}}}\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{K_i}{K_j}Cov\left( {{r_i},{r_j}} \right)} } &= \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {Cov\left( {{r_i},{r_j}} \right)\left( {\frac{\partial }{{\partial {K_k}}}{K_i}{K_j}} \right)} } \hfill \\ &= \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {Cov\left( {{r_i},{r_j}} \right)\left( {\frac{{\partial {K_i}}}{{\partial {K_k}}}{K_j} + {K_i}\frac{{\partial {K_j}}}{{\partial {K_k}}}} \right)} } \hfill \\ &= \sum\limits_{j = 1}^n {Cov\left( {{r_k},{r_j}} \right){K_j}} + \sum\limits_{i = 1}^n {Cov\left( {{r_i},{r_k}} \right){K_i}} \hfill \\ \end{align*}
利用 $Cov(r_i, r_j) = Cov(r_j, r_i)$ 的對稱性,我們可以計算出對 Lagragian  $L$ 的求導:
\[\begin{gathered}
  \frac{\partial }{{\partial {K_k}}}L = \frac{1}{2}\left( {\sum\limits_{j = 1}^n {Cov\left( {{r_k},{r_j}} \right){K_j}}  + \sum\limits_{i = 1}^n {Cov\left( {{r_i},{r_k}} \right){K_i}} } \right) - \lambda E[{r_k}] - \mu  \hfill \\
   = \sum\limits_{i = 1}^n {Cov\left( {{r_k},{r_i}} \right){K_i}}  - \lambda E[{r_k}] - \mu  \hfill \\
\end{gathered} \]令此式為零可得 $n$ 條等式:
\[\frac{\partial }{{\partial {K_k}}}L = \sum\limits_{i = 1}^n {Cov\left( {{r_k},{r_i}} \right){K_i}}  - \lambda E[{r_k}] - \mu : = 0, k=1,2,...,n\]
現在總結以上討論,我們得到以下結果:


給定期望報酬 $\widehat{r}$ 對各項資產之權重 $K_i$ $(i=1,2,..,n)$ 組成之投資組合可達成最小化變異的必要條件為 $K_i, \lambda, \mu$ 同時滿足下列 $n+2$ 條等式:
\[\left\{ \begin{align*}
  & \sum\limits_{i = 1}^n {Cov\left( {{r_k},{r_i}} \right){K_i}}  - \lambda E[{r_k}] - \mu  = 0,\;\;\; k=1,2,...,n \hfill \\
 & \sum\limits_{i = 1}^n {{K_i}} E[{r_i}] = \hat r \hfill \\
 & \sum\limits_{i = 1}^n {{K_i}}  = 1 \hfill \\
\end{align*}  \right.\]
一般而言,我們有 $n+2$ 條等式與 $n+2$ 個變數,依照線性代數基本定理可知若這些式子滿足 full row & colum rank條件,則上述方程組有解 $\{(K_1,K_2,...,K_n), \lambda, \mu\}$ 且此組解為唯一解。


Example: 不相關資產的例子:
假設有三種互不相關的資產,且假設
$$E[r_1] = 1, E[r_2] = 2, E[r_3] = 3
$$與
$$Var(r_1) = Var(r_2) = Var(r_3) = 1$$
且因為互不相關,各資產之間共變異為 $Cov(r_i,r_j) =0, \; \forall i,j=1,2,3, i \neq j$。

(a) 試求投資組合的風險變異 $Var[r_p]$ 與期望報酬 $E[r_p]$
(b) 現在給定任意 $\widehat{r}$ 試求出 $K_1^*,K_2^*,K_3^*$ 使得我們達成最小變異投資組合且滿足 $\sum_{i=1}^3 K_i = 1$ 且 $E[r_p] = \widehat{r}$。
(c) 利用part(b) 之解,試問最小變異之值為何?

Solution (a)
計算投資組合的期望報酬與變異如下:\[\begin{array}{l}
E[{r_p}] = {K_1}E[{r_1}] + {K_1}E[{r_1}] + {K_1}E[{r_1}]\\
 = {K_1} + 2{K_1} + 3{K_1}
\end{array}\]
同理
\[\begin{array}{l}
Var[{r_p}] = \sum\limits_{i = 1}^3 {\sum\limits_{j = 1}^3 {{K_i}{K_j}Cov\left( {{r_i},{r_j}} \right)} } \\
 = {K_1}{K_1}Cov\left( {{r_1},{r_1}} \right) + {K_2}{K_2}Cov\left( {{r_2},{r_2}} \right) + {K_3}{K_3}Cov\left( {{r_3},{r_3}} \right)\\
 = {K_1}^2 + {K_2}^2 + {K_3}^2
\end{array}\]

Solution (b)
定義 Lagrange Multiplier $\mu,\lambda$ ,並使用前述討論的結果
\[\begin{array}{l}
\left\{ \begin{array}{l}
\sum\limits_{i = 1}^n {Cov\left( {{r_k},{r_i}} \right){K_i}}  - \lambda E[{r_k}] - \mu  = 0,\;\;\;k = 1,2,...,n\\
\sum\limits_{i = 1}^n {{K_i}} E[{r_i}] = \hat r\\
\sum\limits_{i = 1}^n {{K_i}}  = 1
\end{array} \right.\\
 \Rightarrow \left\{ \begin{array}{l}
Cov\left( {{r_1},{r_1}} \right){K_1} - \lambda E[{r_1}] - \mu  = 0\\
Cov\left( {{r_2},{r_2}} \right){K_2} - \lambda E[{r_2}] - \mu  = 0\\
Cov\left( {{r_3},{r_3}} \right){K_3} - \lambda E[{r_3}] - \mu  = 0\\
{K_1}E[{r_1}] + {K_2}E[{r_2}] + {K_3}E[{r_3}] = \hat r\\
{K_1} + {K_2} + {K_3} = 1
\end{array} \right.\\
 \Rightarrow \left\{ \begin{array}{l}
{K_1} - \lambda  - \mu  = 0\\
{K_2} - 2\lambda  - \mu  = 0\\
{K_3} - 3\lambda  - \mu  = 0\\
{K_1} + 2{K_2} + 3{K_3} = \hat r\\
{K_1} + {K_2} + {K_3} = 1
\end{array} \right.
\end{array}\]上式可改寫為矩陣形式如下
\[\left\{ \begin{array}{l}
{K_1} - \lambda  - \mu  = 0\\
{K_2} - 2\lambda  - \mu  = 0\\
{K_3} - 3\lambda  - \mu  = 0\\
{K_1} + 2{K_2} + 3{K_3} = \hat r\\
{K_1} + {K_2} + {K_3} = 1
\end{array} \right. \Rightarrow \left[ {\begin{array}{*{20}{c}}
1&0&0&{ - 1}&{ - 1}\\
0&1&0&{ - 2}&{ - 1}\\
0&0&1&{ - 3}&{ - 1}\\
1&2&3&0&0\\
1&1&1&0&0
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{K_1}}\\
{{K_2}}\\
{{K_3}}\\
\lambda \\
\mu
\end{array}} \right] = \left[ \begin{array}{l}
0\\
0\\
0\\
{\hat r}\\
1
\end{array} \right]\]上述等式左方之矩陣為 full rank 反矩陣存在,故
\[\begin{array}{l}
\left[ {\begin{array}{*{20}{c}}
{{K_1}}\\
{{K_2}}\\
{{K_3}}\\
\lambda \\
\mu
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{1/6}&{ - 1/3}&{1/6}&{ - 1/2}&{4/3}\\
{ - 1/3}&{2/3}&{ - 1/3}&0&{1/3}\\
{1/6}&{ - 1/3}&{1/6}&{1/2}&{ - 2/3}\\
{1/2}&0&{ - 1/2}&{1/2}&{ - 1}\\
{ - 4/3}&{ - 1/3}&{2/3}&{ - 1}&{7/3}
\end{array}} \right]\left[ \begin{array}{l}
0\\
0\\
0\\
{\hat r}\\
1
\end{array} \right]\\
 \Rightarrow \left\{ \begin{array}{l}
{K_1}^* =  - \hat r/2 + 4/3\\
{K_2}^* = 1/3\\
{K_3}^* = \hat r/2 - 2/3
\end{array} \right.
\end{array}\]上述 $K_1,K_2,K_3$ 即為最佳解 (最小變異解)

Solution (c)
將 par(b) 的最佳解結果代回組合變異:
\[\begin{array}{l}
Var[{r_p}] = {K_1}^2 + {K_2}^2 + {K_3}^2\\
 \Rightarrow Var{[{r_p}]^*} = {\left( {\frac{{ - \hat r}}{2} + \frac{4}{3}} \right)^2} + {\left( {\frac{1}{3}} \right)^2} + {\left( {\frac{{\hat r}}{2} - \frac{2}{3}} \right)^2} = \frac{1}{2}(\hat r - 4)\hat r + \frac{7}{3}
\end{array}\]我們可進一步繪製 $\bar{r}$ vs $\sigma$ 如下圖所示 (這裡我們取標準差 $\sigma := \sqrt{Var(\cdot)}$ )

觀察上圖可以發現當 $\widehat{r} = 2$,我們可得到最小變異。

Comments:
一般金融文獻或者投資學文獻通常不繪製上圖,他們會將 x 軸定為風險 (亦即 $\sigma$) 並將 $y$ 軸定為 報酬。亦即一般繪製成類似 "子彈" 的形狀如下:


注意到此曲線的上半部稱為 efficient frontier,亦即給定任意報酬 $\widehat{r}$,上半部可得到較小風險。

2017年3月21日 星期二

[投資理論] 分散化投資有副作用嗎? - 以互不相關資產組合為例

假設今天我們考慮買入並持有僅僅某單一股票直到明年在賣出,那麼若明年股票大跌,則我們很容易血本無歸。一個避免血本無歸的說法為:不如我們改持有多個不同種類的股票來"分散化風險",來試圖達到降低這種遭受大跌打擊的危險。傳統西方諺語說: Do not put all your eggs in one basket 可以說是上述思想的最佳寫照,那麼我們想問以下兩個問題:

1. 分散化策略在數學上的建模為何?
2. 如果分散化確實能降低風險,是否有任何副作用?代價是什麼?

上述第一個問題在 [投資組合理論] 投資組合的 期望報酬 與 風險變異 已作出討論,以下本文試圖回答上述第二個問題,首先回憶投資組合理論中簡單的 Markowitz 單期投資問題

基本 Markowtiz's 的單期 投資問題:
令 $V(0)$ 為初始帳戶金額,現在我們試圖建構一組由 $n$ 個資產組成投資組合,並打算持有一年 (or 單期)後賣出,其中任意第 $i$ 個 資產之收益率記為 $r_i$ 。為了分析投資組合的報酬與變異,我們必需先建構投資策略,再進行審視此投資組合之報酬率與變異:亦即,在期初時,我們對第 $i$ 個資產的投資策略定為
$$
I_i(0) := K_i V(0)
$$ 其中 $\sum_{i=1}^n K_i = 1$ 。 則 一年後 (單期過後) 的帳戶金額 $V(1)$ 可以表為
\begin{align*}
  V(1) &= V(0) + \sum\limits_{i = 1}^n {{I_i}} (0){r_i} \hfill \\
   &= \left( {1 + \sum\limits_{i = 1}^n {{K_i}} {r_i}} \right)V(0)
\end{align*} 也就是說 一年後 (單期過後) 投資組合之報酬為
\[{r_p}: = \frac{{V(1) - V\left( 0 \right)}}{{V(0)}} = \sum\limits_{i = 1}^n {{K_i}} {r_i} \]則投資組合的期望收益率為
\[
E[{r_p}] : = E\left[ {\sum\limits_{i = 1}^n {{K_i}} {r_i}} \right] = \sum\limits_{i = 1}^n {{K_i}} E[{r_i}]\]其中 $r_i$ 表示第 $i$ 個資產的收益率。且對應的變異可表為
\begin{align*}
  Var[{r_p}] &= E\left[ {{{\left( {\sum\limits_{i = 1}^n {{K_i}} {r_i} - E\left[ {\sum\limits_{i = 1}^n {{K_i}} {r_i}} \right]} \right)}^2}} \right] \hfill \\
   &= E\left[ {{{\left( {\sum\limits_{i = 1}^n {{K_i}} {r_i} - \sum\limits_{i = 1}^n {{K_i}} E\left[ {{r_i}} \right]} \right)}^2}} \right] \hfill \\
   &= E\left[ {{{\left( {\sum\limits_{i = 1}^n {{K_i}\left( {{r_i} - E\left[ {{r_i}} \right]} \right)} } \right)}^2}} \right] \hfill \\
   &= E\left[ {\left( {\sum\limits_{i = 1}^n {{K_i}\left( {{r_i} - E\left[ {{r_i}} \right]} \right)} } \right)\left( {\sum\limits_{j = 1}^n {{K_j}\left( {{r_j} - E\left[ {{r_j}} \right]} \right)} } \right)} \right] \hfill \\
   &= E\left[ {\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{K_i}{K_j}\left( {{r_i} - E\left[ {{r_i}} \right]} \right)} } \left( {{r_j} - E\left[ {{r_j}} \right]} \right)} \right] \hfill \\
   &= \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{K_i}{K_j}E\left[ {\left( {{r_i} - E\left[ {{r_i}} \right]} \right)\left( {{r_j} - E\left[ {{r_j}} \right]} \right)} \right]} }  \hfill \\
   &= \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{K_i}{K_j}Cov\left( {{r_i},{r_j}} \right)} }
\end{align*} 其中 $Cov(r_i,r_j)$ 表示 $r_i, r_j$ 之共變異。



為了分析簡便,我們首先針對一類特殊的投資組合進行討論:

簡化的理想世界:投資組合內資產互不相關:
若上述投資組合為由 $n$ 個 彼此互不相關 (uncorrelated) 資產 組成。(在此互不相關表示任意兩組資產其共變異為零。) 並且我們假設投資組合中對每一個資產給予相同權重,亦即我們取
\[
K_i := \frac{1}{n},\;\;\;\; \forall \; i=1,2,...,n
\] 也就是說,在期初時,我們對第 $i$ 個資產的投資策略為
$$I_i(0) = K_i V(0) = \frac{1}{n} V(0)$$ 則一年後投資組合之報酬為
\[{r_p}: = \frac{{V(1) - V\left( 0 \right)}}{{V(0)}} = \frac{1}{n}\sum\limits_{i = 1}^n {{r_i}} \]則投資組合的期望收益率為
\[
E[r_p] := \frac{1}{n} \sum_{i=1}^n E[r_i]
\]且對應的變異可利用 變異數 互不相關性質 $Var (\sum_i X_i) = \sum_i Var(X_i) $ 得到如下結果:
\begin{align*}
  Var({r_p}) &= Var\left( {\sum\limits_{i = 1}^n {\frac{1}{n}} {r_i}} \right) \hfill \\
   &= \sum\limits_{i = 1}^n {Var\left( {\frac{1}{n}{r_i}} \right)}  \hfill \\
   &=  \frac{1}{{{n^2}}}\sum\limits_{i = 1}^n {Var\left( {{r_i}} \right)}
\end{align*}

Comments:
1. 上述結果告訴我們,當投資組合由 $n$ 個不同彼此互不相關 (uncorrelated) 資產組成且我們的投資策略為固定比率分配 $1/n$,則我們有
\[\left\{ \begin{gathered}
  E\left[ {{r_p}} \right] = \frac{1}{n}\sum\limits_{i = 1}^n {E\left[ {{r_i}} \right]}  \hfill \\
  Var\left( {{r_p}} \right) = \frac{1}{{{n^2}}}\sum\limits_{i = 1}^n {Var\left( {{r_i}} \right)}  \hfill \\
\end{gathered}  \right.\]
當 $n$ 越大的時候 (投資組合越分散),則我們可以讓 組合變異越小甚至趨於零。亦即無風險狀態。故似乎暗示著投資人應著手進行分散風險把 $n$ 加到很大,但是注意到當 $n$ 變大的時候 (越分散化),所得的報酬也會隨之降低。亦即在此例子中顯示分散化確實可降低風險變異,但亦會降低期望報酬。或許我們可以說 "盲目" 的分散化風險似乎對投資人沒有太多益處。注意到對於上述分析為針對互不相關的例子,也許有讀者會認為這與真實股票市場脫節,因為股票市場中多隻股票可能彼此互為正相關或者負相關,但事實上若考慮資產彼此相關的情況,則讀者可猜測 分散化投資將不一定能完全讓風險消失。

2. 上述討論指出了 降低風險 與 提高報酬之間明顯的 權宜問題,Markowitz 在 1952 試圖透過一套系統性的最佳化方法來給出一種解答: 亦即我們將先給定一組目標報酬,並在這組目標報酬之下求得 一組最佳投資策略的權重 $K_i, \; i=1,2,...,n$ 使得 風險變異 最小化。這一套理論稱之為 Mean-Variance Portfolio Theory 其對應的最佳解稱之為 efficient froniter,在此不做贅述 。


[基礎機率論] 兩隨機變數的 共變異 與 相關性

在機率論的討論中,很多時候我們需要考慮多個隨機變數,一種情況是這些多個隨機變數彼此互為獨立,那麼其相關的數學運算可以被大幅簡化。但是若多個隨機變數彼此之間有一定程度的相關性,是否有一種合適的量化方法來衡量呢?以下我們給出所謂共變異的概念:


==============
Definition: 令 $X,Y$ 為兩隨機變數各自具備 有限期望值 $E[X],E[Y]$ 與有限變異數 $\sigma_X, \sigma_Y$ ,則我們可定義此組隨機變數 之共變異 (covariance),記作 $\sigma_{XY}$,表為:
\[
\sigma_{XY} := E[(X-E[X])(Y-E[Y])]
\]==============

Comments:
1. [對稱性質]: 由上述定義,讀者應不難看出 $\sigma_{XY} = \sigma_{YX}$

2. [共變異數不必恆為正] :由上述定義,透過簡單的運算可得到
\[{\sigma _{XY}} = E\left[ {XY} \right] - E\left[ X \right]E\left[ Y \right]\]注意到此式為兩項相減,故暗示了 共變異數 可能為正值 亦可能為負值。

3. 上述對於 $X,Y$ 具有有限期望值與有限變異之條件可簡寫為 $X,Y \in L^2$ 其中 $L^2$ 為由所有隨機變數滿足 $E[X^2]<\infty$ 所組成之函數空間。為求簡便起見,以下我們討論涉及 $L^2$ 之處皆以 有限期望值 與有限變異 做為等價之論述。有興趣讀者請參閱 本 Blog 其他相關文章或者查閱相關機率論/隨機過程之教材。

4. 有部分文獻之作者習慣將共變異數 用符號 $Cov(X,Y)$ 取代 $\sigma_{XY}$,端看個人習慣與喜好。

5. 一但兩隨機變數之共變異被定義,那麼給定多個隨機變數,比如說 $X_1,X_2,...,X_n$。我們亦可求其兩兩成對之共變異,舉例而言,若欲求 $X_i, X_j$ 之共變異 (其中 $i,j \in \{1,2,...,n\}$ ) 即為
$$
\sigma_{ij} :=  E[ (X_i- E[X_i]) (X_j = E[X_j])]
$$
另外當 $i =j$ 讀者可自行驗證上述共變異退化為變異數。



一旦定義了共變異,我們可接著引入所謂 相關性(correlation) 的概念:
==============
Definition:
當 $\sigma_{XY} = 0$ 我們說 隨機變數 $X,Y$ 彼此之間互 不相關
當 $\sigma_{XY}>0$ 我們說 隨機變數 $X,Y$ 彼此之間為 正相關
當 $\sigma_{XY} <0$ 我們說 隨機變數 $X,Y$ 彼此之間為 負相關
==============


一但有了共變異,第一個立即的問題便是此共變異與原本各自變異之間的關係是什麼?以下 FACT 對此問題給出回答:

=============
FACT: 對任意 $X,Y \in L^2$,其共變異數之上界可表為
$$
|\sigma_{XY}| \leq \sigma_X \sigma_Y
$$=============
Proof: 首先觀察
\[{\sigma _{XY}} = E\left[ {\left( {X - E\left[ X \right]} \right)\left( {Y - E\left[ Y \right]} \right)} \right]\]現在回憶 Cauchy-Schwarz Inequality :對任意 $U,V \in L^2$ 之隨機變數, \[\left| {E\left[ {UV} \right]} \right| \leqslant \sqrt {E\left[ {{U^2}} \right]} \sqrt {E\left[ {{V^2}} \right]} \]故若我們令 $U:= X-E[X]$ 且 $V:= Y-E[Y]$ 則應用上述 Cauchy-Schwarz Inequality 立刻得到
\begin{align*}
  \left| {{\sigma _{XY}}} \right| &= \left| {E\left[ {\left( {X - E\left[ X \right]} \right)\left( {Y - E\left[ Y \right]} \right)} \right]} \right| \hfill \\
   & \leq \sqrt {E\left[ {{{\left( {X - E\left[ X \right]} \right)}^2}} \right]} \sqrt {E\left[ {{{\left( {X - E\left[ X \right]} \right)}^2}} \right]}  \hfill \\
  & = {\sigma _X}{\sigma _Y}. \;\;\;\;\;\;\; \square
\end{align*}

Comments:
一般而言,若 $\sigma_{XY} = \sigma_X \sigma_Y$ 我們稱 $X,Y$ 為 完全相關 (perfectly correlated),反之若  $\sigma_{XY} = - \sigma_X \sigma_Y$ 則稱 $X,Y$ 為完全負相關(perfectly negative correlated)。


在統計學中常用與指出相關性的指標稱作 相關係數 (correlation coefficient) ,此係數可以由前述的共變異數與變異數直接定義如下:

=================
Definition: Correlation Coefficient of $X$ and $Y$
Correlation Coefficient of $X$ and $Y$, 記作 $\rho_{XY}$, 滿足
\[{\rho _{XY}}: = \frac{{{\sigma _{XY}}}}{{{\sigma _X}{\sigma _Y}}}
\]=================

Comment: 注意到由前述 FACT 可知 $-\sigma_X \sigma_Y \leq \sigma_{XY} \leq \sigma_X \sigma_Y$ 故
\[
-1 \leq \rho_{XY} \leq 1
\]



----附註---
與上述的相關係數有關的內容,有時候會定義所謂 相關函數 (correlation function):

Definition: 令 $X,Y$ 為兩隨機變數,則我們定義 Correlation function between $X$ and $Y$  為  $E[XY]$

Comment:
1. correlation 決定了兩隨機變數何時具有線性相關。
2. 上述 correlation 事實上可視為 $L^2$ 空間之內積運算,在此不贅述。


Example: 
令 $X$ 為具有 mean $=0$ 與 variance $=1$ 的隨機變數,現在令 $Y := 2X$,試求  correlation between $X$ and $Y$
Solution
由定義出發,我們計算 $E[XY] = E[X 2X] = 2E[X^2]$。因為 $X$ 具有 unit variance 由 variance 定義可知 $Var(X) = E[X^2] - (E[X])^2$ 亦即
\[\begin{array}{l}
Var(X) = E[{X^2}] - {(E[X])^2}\\
 \Rightarrow 1 = E[{X^2}] - 0\\
 \Rightarrow E[{X^2}] = 1
\end{array}\]
故 $E[XY]  = 2E[X^2] =2$