Regresi linear

Regresi linear sederhana memprediksi $y$ dari $x$ dengan garis kuadrat terkecil $\hat y = a + bx$: garis dengan jumlah kuadrat residual paling kecil. Residual titik $e = y - \hat y$ menyatakan seberapa jauh titik itu berada di atas garis; nilainya negatif jika di bawah. Dengan sedikit titik, setiap residual disertai persegi, sehingga jumlahnya menjadi luas yang terlihat. Kamu dapat menggeser dan memutar garismu sendiri untuk mencari minimum, lalu membandingkan garis hasil pencocokan dengan awan simulasi berisi 1000 titik.

Mengapa garis melewati pusat $(\bar x, \bar y)$? Tulis sembarang garis sebagai $y = h + b(x - \bar x)$, dengan $h$ sebagai tingginya pada $\bar x$. Jumlah residualnya adalah $n(\bar y - h)$, dan jumlah kuadratnya terbagi dua:

Di sini $S_{xx}$, $S_{yy}$, dan $S_{xy}$ adalah jumlah kuadrat serta hasil kali simpangan dari rata-rata. Bagian pertama hanya bergantung pada tinggi, bagian kedua hanya pada kemiringan. Jadi, untuk setiap kemiringan, tinggi terbaik adalah $\bar y$: garis terbaik melewati pusat dan jumlah residualnya 0. Ketika diputar mengelilingi pusat, jumlah itu mengikuti parabola $P(b)$. Jika nilai $x$ tidak semuanya sama, satu-satunya titik terendah ada pada $b = S_{xy}/S_{xx}$.

Apa yang diukur $R^2$? Garis mendatar $y = \bar y$ bersesuaian dengan titik parabola pada kemiringan 0, dan jumlah kuadratnya adalah variasi total $\mathrm{SST} = S_{yy}$. Garis hasil pencocokan menyisakan $\mathrm{SSE}$; jika nilai $y$ bervariasi, $R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$ adalah bagian variasi $y$ yang dijelaskannya. Jika kedua koordinat bervariasi, $R^2 = r^2$, sehingga korelasi 0.5 hanya menjelaskan seperempat. Menjelaskan berarti mencocokkan, bukan menyebabkan.

Mengapa garis lebih landai daripada awan? Dalam satuan baku, prediksinya adalah $\hat z_y = r\,z_x$. Jadi, ketika $|r| < 1$, titik yang jauh dari $\bar x$ mendapat prediksi yang berjarak lebih sedikit simpangan baku dari $\bar y$ daripada jarak titik itu dari $\bar x$. Pada awan oval seperti yang disimulasikan, garis simpangan baku dengan kemiringan $\pm s_y/s_x$ mengikuti arah awan yang terlihat, sedangkan garis regresi lebih landai. Tidak ada yang menarik data kembali: efek ini berlaku pada semua data semacam itu. Memprediksi $x$ dari $y$ memperlihatkannya dalam arah sebaliknya, dengan garis kedua melalui pusat yang lebih curam pada grafik. Pada awan semacam ini, rata-rata $y$ dalam pita-pita sempit $x$ menunjukkan efek tersebut: dekat dengan garis regresi, tetapi tidak persis di atasnya. Nama ini berasal dari studi tinggi badan Francis Galton pada 1886: anak dari orang tua yang sangat tinggi atau sangat pendek rata-rata tidak seekstrem orang tuanya.

Kapan garis bisa menyesatkan? Menaikkan satu titik sebesar 1 menaikkan nilai hasil pencocokannya sendiri sebesar leverage $h = 1/n + (x - \bar x)^2/S_{xx}$, yang bertambah seiring jarak dari $\bar x$. Titik yang sendirian jauh dalam arah $x$ dapat memiliki leverage mendekati 1: garis mengikutinya. Sekalipun tidak sesuai dengan semua titik lain, residualnya sendiri bisa tampak kecil; bahkan dalam awan besar, titik seperti itu dapat memutar garis. Dan $r$ bisa mendekati 1 sementara residual positif di kedua ujung dan negatif di tengah, membentuk kurva yang tidak bisa diikuti garis lurus mana pun.