En küçük kareler

Üç nokta nadiren aynı doğru üzerinde yer alır; dolayısıyla herhangi bir doğru bu noktaların bazılarını ıskalar. Solda noktalar, en iyi doğru ve onun artıkları var. Artıklar, karelerinin toplamı SSE olan düşey farklardır. Sağda aynı üç yükseklik uzayda tek bir vektör oluşturur ve en iyi doğruyu bulmak, bu vektörü bir düzleme izdüşürmek anlamına gelir. Noktaları taşıyabilir, kendi doğrunu deneyebilir ve daha basit iki modeli karşılaştırabilirsin.

Veriler neden tek bir nokta? Üç yüksekliği tek bir $\vec b = (y_1, y_2, y_3)$ vektörü olarak yaz. Sağdaki mavi ok budur; her eksen bir yüksekliği ölçtüğünden eksenlerin adları $y_1, y_2, y_3$ olur. Bir doğru, üç $x_i$ konumunda $c + m x_i$ değerlerini alır. Bu, $\mathbf 1 = (1, 1, 1)$ olmak üzere $c\,\mathbf 1 + m\,\vec x$ vektörüdür. Genel model $y = c + mx$ için, $x_i$ değerlerinin hepsi aynı değilse, $c$ ve $m$ değiştikçe bu vektörler $\mathbf 1$ ve $\vec x$ üzerinden geçen saydam düzlemi doldurur. Yani solda çizebileceğin her doğru, bu düzlemin bir noktasıdır.

Herhangi bir doğru seç. Artıkları, $\vec b$ vektörünün koordinatlarından düzlemdeki karşılık gelen noktanın koordinatlarını çıkarınca bulunur; dolayısıyla SSE bu ikisi arasındaki uzaklığın karesidir. Bu nedenle en iyi doğru, düzlemde $\vec b$ vektörüne en yakın $\vec p$ noktasına, yani dik izdüşüme karşılık gelir. Artık vektörü $\vec r = \vec b - \vec p$ düzleme diktir; dolayısıyla hem $\mathbf 1$ hem de $\vec x$ vektörüne diktir. Bu iki dik açının denklemlerle ifadesi normal denklemlerdir:

Dik açılar ve denge açılınca artıklar aynı yay sabitine sahip düşey yaylara dönüşür. Net kuvvetleri $\sum r_i$ ile, orijine göre torkları ise $\sum x_i r_i$ ile orantılıdır. Genel modeldeki en iyi uyum ikisini de sıfırlar. Sabit modelde yalnızca net kuvvetin, orijinden geçen doğru modelinde ise yalnızca torkun sıfır olması yeterlidir.

Kırmızı çizilen senin doğrun her zaman geçerli modele aittir; bu yüzden ona karşılık gelen $\vec q$ noktası, $\vec p$ ile aynı düzlemde veya doğru üzerindedir. $\vec p$ noktasından $\vec q$ noktasına uzanan yer değiştirme de bu uzaydadır; $\vec r$ ise ona diktir. Böylece Pisagor teoremi hatanı tam olarak iki parçaya ayırır. SSE değerin ancak ve ancak $\vec q = \vec p$ olduğunda en küçük değerine ulaşır.

İki küçük modelin her biri tek bir sütunu tutar. $y = c$ modelini uydurmak, $\vec b$ vektörünü $\mathbf 1$ üzerinden geçen doğruya izdüşürür ve $c$ yüksekliklerin ortalaması olur. $y = mx$ modelini uydurmak ise $\vec x$ üzerinden geçen doğruya, bütün $x_i$ değerleri 0 ise yalnızca orijine izdüşürür. $x_i$ değerlerinin hepsi aynı olmadığında bunlar düzlemdeki iki farklı doğrudur. Modellerin hiçbiri diğerini içermez ve genel doğru her ikisi kadar, hatta daha iyi uyum sağlayabilir. Doğrusal regresyonun temelinde de aynı izdüşüm vardır.