Линейная регрессия

Простая линейная регрессия предсказывает $y$ по $x$ с помощью прямой наименьших квадратов $\hat y = a + bx$ — прямой с наименьшей суммой квадратов остатков. Остаток точки $e = y - \hat y$ показывает, насколько она выше прямой; ниже прямой он отрицателен. Когда точек мало, каждому остатку соответствует квадрат, и сумма становится видимой площадью. Можно сдвигать и поворачивать свою прямую в поисках минимума и сравнивать подобранную прямую со смоделированным облаком из 1000 точек.

Почему прямая проходит через центр $(\bar x, \bar y)$? Запишем любую прямую как $y = h + b(x - \bar x)$, где $h$ — её высота при $\bar x$. Сумма её остатков равна $n(\bar y - h)$, а сумма квадратов делится на две части:

Здесь $S_{xx}$, $S_{yy}$ и $S_{xy}$ — суммы квадратов и произведений отклонений от средних. Первая часть зависит только от высоты, вторая — только от наклона. Поэтому при любом наклоне лучшая высота — $\bar y$: наилучшая прямая проходит через центр, а сумма её остатков равна 0. При повороте вокруг центра сумма следует параболе $P(b)$. Если значения $x$ не все одинаковы, её единственный минимум достигается при $b = S_{xy}/S_{xx}$.

Что измеряет $R^2$? Горизонтальная прямая $y = \bar y$ соответствует точке параболы при наклоне 0, а сумма её квадратов равна общей вариации $\mathrm{SST} = S_{yy}$. Подобранная прямая оставляет $\mathrm{SSE}$; если значения $y$ меняются, то $R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$ — доля вариации $y$, которую она объясняет. Когда меняются обе координаты, $R^2 = r^2$, поэтому корреляция 0.5 объясняет лишь четверть. «Объясняет» здесь означает «описывает подгонкой», а не «вызывает».

Почему прямая более пологая, чем облако? В стандартизованных единицах её предсказания равны $\hat z_y = r\,z_x$. Поэтому при $|r| < 1$ для точки вдали от $\bar x$ предсказание находится на меньшем числе стандартных отклонений от $\bar y$, чем сама точка от $\bar x$. В овальном облаке, подобном смоделированному, прямая стандартных отклонений с наклоном $\pm s_y/s_x$ идёт вдоль видимого направления облака, а прямая регрессии более пологая. Ничто не тянет данные назад: эффект верен для любых таких данных. Предсказание $x$ по $y$ показывает его в обратном направлении и даёт вторую прямую через центр, более крутую на графике. В таком облаке средние $y$ в узких полосах $x$ показывают этот эффект: они близки к прямой регрессии, но не лежат точно на ней. Название происходит от исследования роста, проведённого Фрэнсисом Гальтоном в 1886 году: дети очень высоких или очень низких родителей в среднем были ближе к среднему росту.

Когда прямая может ввести в заблуждение? Если поднять точку на 1, её собственное предсказанное значение вырастет на её рычаг $h = 1/n + (x - \bar x)^2/S_{xx}$, который увеличивается с расстоянием от $\bar x$. У отдельной точки, далеко отстоящей по $x$, рычаг может быть близок к 1: прямая следует за ней. Даже если точка противоречит всем остальным, её собственный остаток может выглядеть небольшим; даже в большом облаке такая точка может повернуть прямую. И $r$ может быть близко к 1, хотя остатки положительны по обоим краям и отрицательны посередине: получается кривая, которой не следует никакая прямая.