線性迴歸

簡單線性迴歸由$x$預測$y$，使用的最小平方法直線$\hat y = a + bx$是殘差平方和最小的直線。一個點的殘差$e = y - \hat y$表示它在直線上方多高（在下方則為負）。點不多時，每個殘差都配上一個正方形，平方和就成了看得見的面積。你可以平移、轉動自己的直線來尋找最小值，也可以將擬合直線與由1000個點組成的模擬點雲比較。

直線為什麼通過中心$(\bar x, \bar y)$？將任意直線寫成$y = h + b(x - \bar x)$，其中$h$是它在$\bar x$處的高度。它的殘差和為$n(\bar y - h)$，平方和可分成兩部分：

其中$S_{xx}$、$S_{yy}$與$S_{xy}$是各座標偏離平均值的平方和及乘積和。第一項只取決於高度，第二項只取決於斜率，因此不論斜率為何，最佳高度都是$\bar y$：最佳直線通過中心，殘差和為0。繞中心轉動時，平方和沿著拋物線$P(b)$變化。只要$x$值不全相同，唯一的最低點就在$b = S_{xy}/S_{xx}$。

$R^2$衡量什麼？水平線$y = \bar y$對應拋物線上斜率為0的位置，其平方和就是總變異$\mathrm{SST} = S_{yy}$。擬合直線留下$\mathrm{SSE}$；當$y$值不全相同時，$R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$就是它所解釋的$y$變異比例。兩個座標都有變化時，$R^2 = r^2$，所以相關係數0.5只解釋四分之一。這裡的解釋是擬合，不代表因果。

直線為什麼比點雲平緩？在標準單位下，它的預測值為$\hat z_y = r\,z_x$。因此當$|r| < 1$時，一個偏離$\bar x$的點，其預測值偏離$\bar y$的標準差個數，比它本身偏離$\bar x$的少。在模擬點雲這樣的橢圓形點雲中，斜率為$\pm s_y/s_x$的標準差線沿著視覺上的點雲走向，迴歸線則更平緩。沒有什麼力量把資料拉回來：任何這樣的資料都有此效應。反過來由$y$預測$x$也會看到同樣的效應，得到另一條通過中心、在圖上更陡的直線。在這樣的點雲中，於$x$的窄直條內計算$y$的平均，也能看見此效應：平均值靠近迴歸線，但不恰好落在線上。迴歸的名稱來自法蘭西斯・高爾頓1886年的身高研究：父母特別高或特別矮的子女，平均而言沒有那麼極端。

直線何時可能誤導？將一個點上移1，它自己的擬合值就上移其槓桿值$h = 1/n + (x - \bar x)^2/S_{xx}$；這個值隨著離$\bar x$的距離增大而增大。在$x$方向遠離其他點的孤立點，槓桿值可能接近1：直線跟著它走，即使它與其他所有點都不一致，自身殘差仍可能看起來很小；即使在很大的點雲裡，這樣一個點也能轉動直線。此外，$r$可能接近1，殘差卻兩端為正、中間為負，排成任何直線都無法跟隨的曲線。