Doğrusal regresyon

Basit doğrusal regresyon, $x$ üzerinden $y$ tahmini için en küçük kareler doğrusu $\hat y = a + bx$ kullanır. Bu, artıkların kareleri toplamı en küçük olan doğrudur. Bir noktanın artığı $e = y - \hat y$, doğrunun ne kadar üstünde olduğunu gösterir; altında ise negatiftir. Az sayıda nokta olduğunda her artığa bir kare eşlik eder, böylece toplam görülebilen bir alana dönüşür. Kendi doğrunuzu öteleyip döndürerek en küçük değeri arayabilir ve uydurulan doğruyu 1000 noktalık bir benzetim bulutuyla karşılaştırabilirsiniz.

Doğru neden $(\bar x, \bar y)$ merkezinden geçer? Herhangi bir doğruyu $y = h + b(x - \bar x)$ olarak yazın; burada $h$, doğrunun $\bar x$ konumundaki yüksekliğidir. Artıkların toplamı $n(\bar y - h)$ olur ve kareler toplamı iki parçaya ayrılır:

Burada $S_{xx}$, $S_{yy}$ ve $S_{xy}$, ortalamalardan sapmaların kareleri ve çarpımları toplamlarıdır. İlk parça yalnızca yüksekliğe, ikinci parça yalnızca eğime bağlıdır. Bu yüzden her eğim için en iyi yükseklik $\bar y$ olur: en iyi doğru merkezden geçer ve artıklarının toplamı 0 olur. Merkez etrafında döndürüldüğünde toplam, $P(b)$ parabolünü izler. $x$ değerlerinin tümü aynı değilse tek en alçak noktası $b = S_{xy}/S_{xx}$ konumundadır.

$R^2$ neyi ölçer? Yatay $y = \bar y$ doğrusu, parabolün eğim 0 olan noktasına karşılık gelir; kareler toplamı, toplam değişkenlik $\mathrm{SST} = S_{yy}$ olur. Uydurulan doğru geriye $\mathrm{SSE}$ bırakır. $y$ değerleri değişiyorsa $R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$, $y$ değişkenliğinin bu doğrunun açıkladığı payıdır. İki koordinat da değişiyorsa $R^2 = r^2$ olur; dolayısıyla 0.5 korelasyon yalnızca dörtte birini açıklar. Açıklamak burada uyum sağlamak demektir, neden olmak değil.

Doğru neden buluttan daha yatıktır? Standart birimlerde tahminleri $\hat z_y = r\,z_x$ biçimindedir. Bu yüzden $|r| < 1$ olduğunda, $\bar x$ konumundan uzaktaki bir noktanın tahmini, $\bar y$ konumundan standart sapma cinsinden, noktanın $\bar x$ konumundan olduğundan daha az uzaktadır. Benzetimdeki gibi oval bir bulutta, eğimi $\pm s_y/s_x$ olan standart sapma doğrusu bulutun görünen yönünü izler; regresyon doğrusu daha yatıktır. Verileri geri çeken bir şey yoktur: etki, bu tür her veri kümesi için geçerlidir. $y$ üzerinden $x$ tahmini yapmak etkiyi ters yönde gösterir ve merkezden geçen, grafikte daha dik görünen ikinci bir doğru verir. Böyle bir bulutta, dar $x$ şeritlerinde $y$ ortalamaları bu etkiyi gösterir: regresyon doğrusuna yakındırlar ama tam üzerinde değildirler. Ad, Francis Galton’ın 1886 tarihli boy araştırmasından gelir: çok uzun veya çok kısa ebeveynlerin çocukları ortalamada daha az uçtaydı.

Doğru ne zaman yanıltabilir? Bir noktayı 1 yükseltmek, kendi uydurulan değerini kaldıraç değeri $h = 1/n + (x - \bar x)^2/S_{xx}$ kadar artırır. Bu değer, $\bar x$ konumundan uzaklaştıkça büyür. $x$ yönünde tek başına çok uzakta olan bir noktanın kaldıraç değeri 1’e yakın olabilir: doğru onu izler. Diğer bütün noktalarla çelişse bile kendi artığı küçük görünebilir; büyük bir bulutta bile böyle bir nokta doğruyu döndürebilir. Ayrıca $r$ değeri 1’e yakınken artıklar iki uçta pozitif, ortada negatif olabilir; hiçbir doğrunun izleyemeyeceği bir eğri oluştururlar.