Kuadrat terkecil

Tiga titik jarang terletak pada satu garis, sehingga setiap garis akan meleset dari sebagian titik. Di kiri ada titik-titik, garis terbaik, dan residunya, yaitu selisih vertikal yang kuadratnya dijumlahkan menjadi SSE. Di kanan, tiga ketinggian yang sama membentuk satu vektor dalam ruang. Mencari garis terbaik berarti memproyeksikan vektor tersebut ke sebuah bidang. Anda dapat memindahkan titik, mencoba garis sendiri, dan membandingkan dua model yang lebih sederhana.

Mengapa data menjadi satu titik? Tulis tiga ketinggian sebagai satu vektor $\vec b = (y_1, y_2, y_3)$. Itulah panah biru di kanan. Sumbu-sumbunya bernama $y_1, y_2, y_3$ karena setiap sumbu mengukur satu ketinggian. Sebuah garis mengambil nilai $c + m x_i$ pada ketiga $x_i$, sehingga menghasilkan vektor $c\,\mathbf 1 + m\,\vec x$ dengan $\mathbf 1 = (1, 1, 1)$. Dalam model umum $y = c + mx$, jika nilai-nilai $x_i$ tidak semuanya sama, vektor-vektor ini mengisi bidang transparan yang melalui $\mathbf 1$ dan $\vec x$ saat $c$ dan $m$ berubah. Jadi setiap garis yang dapat Anda gambar di kiri merupakan satu titik pada bidang itu.

Pilih sembarang garis. Residunya adalah koordinat $\vec b$ dikurangi koordinat titik yang mewakili garis itu pada bidang. Jadi SSE-nya adalah kuadrat jarak di antara keduanya. Karena itu, garis terbaik berada pada titik $\vec p$ di bidang yang paling dekat dengan $\vec b$, yaitu proyeksi ortogonal. Vektor residu $\vec r = \vec b - \vec p$ tegak lurus terhadap bidang, sehingga juga tegak lurus terhadap $\mathbf 1$ maupun $\vec x$. Jika ditulis sebagai persamaan, kedua sudut siku-siku itu menjadi persamaan normal:

Saat Sudut siku-siku dan keseimbangan diaktifkan, residu menjadi pegas vertikal dengan kekakuan yang sama. Gaya totalnya sebanding dengan $\sum r_i$, dan torsinya terhadap titik asal sebanding dengan $\sum x_i r_i$. Pencocokan model umum membuat keduanya nol. Model konstanta hanya memerlukan gaya total nol, sedangkan garis melalui titik asal hanya memerlukan torsi nol.

Garis Anda, yang digambar merah, selalu termasuk dalam model saat ini. Maka titiknya $\vec q$ terletak pada bidang atau garis yang sama dengan $\vec p$. Perpindahan dari $\vec p$ ke $\vec q$ juga berada di sana, sedangkan $\vec r$ tegak lurus terhadap ruang itu. Teorema Pythagoras pun menguraikan galat Anda secara eksak. SSE Anda mencapai minimum jika dan hanya jika $\vec q = \vec p$.

Dua model yang lebih kecil masing-masing mempertahankan satu kolom. Mencocokkan $y = c$ memproyeksikan $\vec b$ ke garis melalui $\mathbf 1$, dan $c$ menjadi rata-rata ketinggian. Mencocokkan $y = mx$ memproyeksikan ke garis melalui $\vec x$, atau hanya ke titik asal jika setiap $x_i$ bernilai 0. Saat nilai-nilai $x_i$ tidak semuanya sama, keduanya merupakan dua garis berbeda pada bidang. Tidak satu pun model memuat yang lain, dan garis umum memberikan kecocokan setidaknya sebaik keduanya. Proyeksi yang sama juga menjadi inti regresi linear.