機率與統計 · 相關性

相關性

相關係數r衡量兩個都有變動的量之間,線性關聯的方向與強度。本頁以每個點和資料中心圍成矩形,邊長以標準差為單位,r則把這些帶符號的面積加總。

從圖中看相關性

成對資料的相關係數rr,又稱皮爾森相關係數,衡量各點貼近同一條直線的程度。它介於−1與1之間;當xx與yy傾向一起增加時為正。本頁以每個點和資料中心圍成矩形,邊長以標準差為單位,rr就是這些帶符號面積的總和除以n−1n-1。你可以拖曳、新增、刪除點,載入安斯康姆的四組資料或依指定rr產生的點雲,也能看見將rr限制在−1與1之間的正方形。

標準單位,以及由矩形算出的r
zx=x−xˉsx,zy=y−yˉsy,r=1n−1∑zxzyz_x = \frac{x - \bar x}{s_x}, \quad z_y = \frac{y - \bar y}{s_y}, \qquad r = \frac{1}{n-1}\sum z_x z_y

rr衡量的是什麼?換成標準單位後,zxz_x表示一個點位於xx的平均數右方幾個標準差,zyz_y表示它位於yy的平均數上方幾個標準差。點與中心圍成的矩形面積為∣zxzy∣|z_x z_y|;在右上與左下,兩個座標位於各自平均數的同一側,算正;在另外兩個角落算負。由於邊長以標準差計算,改變單位或交換xx與yy都不會改變rr。圖形也採用相同方式:兩軸上一個標準差的長度相等,因此虛線框是正方形,其右上四分之一的面積就是1。

為什麼rr不會超出±1?畫出通過中心的直線zy=zxz_y = z_x。一個點到此線的距離平方為(zy−zx)2/2(z_y - z_x)^2/2,把這些平方加總再除以n−1n-1,恰好得到1−r1 - r,因為zx2z_x^2與zy2z_y^2各自的總和都是n−1n-1。改用另一條對角線zy=−zxz_y = -z_x,以相同方式計算便得到1+r1 + r。平方不可能為負,因此−1≤r≤1-1 \le r \le 1;而r=1r = 1只在所有點到zy=zxz_y = z_x的距離平方都為0時成立,也就是所有點都落在同一條上升直線上。

為什麼完全不同的圖形會有相同的rr?rr只把矩形面積加總,不看形狀。統計學家Francis Anscombe在1973年建立四組資料,rr、平均數與擬合直線都幾乎相同:一組是直線狀的帶,一組是平滑曲線,一組除了一個離群值以外幾乎共線,最後一組則由單一點貢獻大部分帶符號總和。矩形面積隨點到中心的兩個方向距離之乘積增加,因此一個遠點就能占去大部分總面積。即使點全都落在拋物線上,只要左右對稱排列,也可能有r=0r = 0:一側每個矩形都被另一側的鏡像抵消。rr只衡量線性關聯。

為什麼要用標準單位看?眼睛會依點雲看起來多細長來判斷相關性,而這取決於座標軸:拉長其中一軸,同樣的點就會顯得更細長或更圓。在Cleveland、Diaconis與McGill於1982年的實驗中,當周圍的座標範圍擴大,人們會認為同一張散佈圖的相關性更強。標準單位讓兩軸可以比較:兩軸上一個標準差一樣長;在這種圖裡,點雲沿垂直於兩條對角線方向的分散程度,正是rr所衡量的。但這無法讓目測變得可靠:縮小視圖後,同一團點仍然顯得更緊密。

值得注意

  • 強相關不代表一個變數導致另一個變數變動:兩者可能都受第三個變數影響。
  • rr是中心化資料向量(xi−xˉ)(x_i - \bar x)與(yi−yˉ)(y_i - \bar y)夾角的餘弦。
  • 依rr產生的點雲是刻意構造的,相關係數恰好等於指定值;隨機抽樣的結果則會在它附近變動。

操作

  • 移動一個點可能改變整團點的中心與標準差,因此即使沒碰到的點,也可能在畫面上換位置。

相關概念