線形回帰

単回帰は、最小二乗直線$\hat y = a + bx$を使って$x$から$y$を予測します。残差の平方和が最も小さい直線です。点の残差$e = y - \hat y$は、点が直線よりどれだけ上にあるかを表し、下なら負です。点が少ないときは各残差に正方形がつくので、和が目に見える面積になります。自分の直線を移動・回転させて最小値を探し、当てはめた直線を1000個の点からなる模擬点群と比べられます。

なぜ直線は中心$(\bar x, \bar y)$を通るのでしょうか。任意の直線を$y = h + b(x - \bar x)$と書き、$h$を$\bar x$での高さとします。残差の和は$n(\bar y - h)$となり、平方和は2つに分かれます。

ここで$S_{xx}$、$S_{yy}$、$S_{xy}$は、平均からのずれの平方和と積和です。最初の部分は高さだけ、次の部分は傾きだけで決まるので、どの傾きでも最適な高さは$\bar y$です。つまり最適な直線は中心を通り、残差の和は0になります。中心の周りで回すと、和は放物線$P(b)$に沿って変わります。$x$の値がすべて同じでなければ、唯一の最小点は$b = S_{xy}/S_{xx}$にあります。

$R^2$は何を測るのでしょうか。水平線$y = \bar y$は放物線の傾き0の位置に対応し、その平方和が全変動$\mathrm{SST} = S_{yy}$です。当てはめた直線は$\mathrm{SSE}$を残します。$y$の値にばらつきがあるとき、$R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$は$y$の変動のうち直線が説明する割合です。両方の座標にばらつきがあれば$R^2 = r^2$なので、相関0.5が説明するのは4分の1だけです。説明するとは当てはめることで、原因を示すことではありません。

なぜ直線は点群より緩やかなのでしょうか。標準化した単位での予測は$\hat z_y = r\,z_x$です。そのため$|r| < 1$なら、$\bar x$から離れた点に対する予測値は、$\bar y$からの距離を標準偏差で測ると、元の点の$\bar x$からの距離より小さくなります。模擬点群のような楕円形の点群では、傾き$\pm s_y/s_x$の標準偏差直線が見た目の点群の向きに沿い、回帰直線はそれより緩やかです。データを引き戻す力があるわけではありません。この効果はこのようなデータならどれでも成り立ちます。逆に$y$から$x$を予測しても同じ効果が見られ、中心を通るもう1本の直線は図ではより急になります。このような点群で$x$の狭い帯ごとに$y$の平均を取ると、効果が見えます。平均は回帰直線に近いものの、ぴったり重なるわけではありません。回帰という名前はフランシス・ゴルトンによる1886年の身長の研究に由来します。非常に背が高い親や低い親の子どもは、平均するとそれほど極端ではありませんでした。

直線はどんなときに誤解を招くのでしょうか。1個の点を1上げると、その点自身の当てはめ値はてこ比$h = 1/n + (x - \bar x)^2/S_{xx}$だけ上がります。てこ比は$\bar x$から離れるほど大きくなります。$x$方向に遠く離れて孤立した点では、てこ比が1に近くなることがあります。直線がその点について動くため、他のどの点とも合わなくても、自身の残差は小さく見えます。大きな点群でも、そのような1点が直線を回転させることがあります。また$r$が1に近くても、残差は両端で正、中央で負となり、どんな直線でもたどれない曲線を描くことがあります。