Proyeksi ortogonal

Proyeksi ortogonal mencari titik dalam suatu subruang yang paling dekat dengan vektor yang diberikan. Di sini, subruang $S$ adalah bidang atau garis melalui titik asal O, dan vektornya adalah $\vec b$. Proyeksinya $\vec p$ berada dalam $S$, sedangkan galat $\vec e = \vec b - \vec p$ tegak lurus $S$. Anda dapat menggerakkan $\vec b$ dan mengubah $S$, membandingkan $\vec p$ dengan titik lain mana pun dalam $S$, serta melihat kapan jumlah bayangan $\vec b$ pada dua sumbu sama dengan $\vec p$.

Mengapa sudut siku-siku memberikan titik terdekat? Ambil titik lain $q$ dalam $S$. Ruas dari $q$ ke $\vec p$ berada dalam $S$, sehingga tegak lurus $\vec e$. Titik $\vec b$, $\vec p$, dan $q$ membentuk segitiga siku-siku dengan sudut siku-siku di $\vec p$. Teorema Pythagoras memberikan

Jadi, jarak $\vec b$ ke $q$ lebih besar daripada ke $\vec p$, kecuali jika $q$ adalah $\vec p$ itu sendiri. Kebalikannya juga berlaku. Jika $\vec e$ condong ke suatu arah dalam $S$, menggeser $\vec p$ sedikit ke arah itu akan mendekatkannya ke $\vec b$. Maka, pada bidang, titik terdekat adalah titik tempat $\vec e$ tegak lurus baik terhadap $\vec u$ maupun $\vec w$. Pada garis, cukup tegak lurus $\vec u$.

Mencari $\vec p$ berarti menyelesaikan syarat-syarat siku-siku ini. Pada garis, $\vec p$ adalah kelipatan $\vec u$, dan syarat $\vec e\cdot\vec u = 0$ menentukan faktor pengalinya:

Pada bidang, tuliskan $\vec p = c_1\vec u + c_2\vec w$. Dua syarat $\vec e\cdot\vec u = 0$ dan $\vec e\cdot\vec w = 0$ menjadi dua persamaan linear untuk $c_1$ dan $c_2$, yang disebut persamaan normal:

Tampilan nilai menyatakan $\vec p$ dalam koordinat dan sebagai kombinasi $\vec u$ dan $\vec w$. Seret $\vec u$ dan $\vec w$ di dalam bidang yang sama: koefisiennya berubah, tetapi $\vec p$ tidak. Proyeksi hanya bergantung pada subruang, bukan pada vektor-vektor yang dipakai untuk menyatakannya.

Jika $\vec u$ dan $\vec w$ tegak lurus, kedua persamaan tidak lagi saling terkait. Setiap koefisien hanya bergantung pada satu sumbu, dan $\vec p$ cukup diperoleh dengan menjumlahkan bayangan $\vec b$ pada kedua sumbu:

Pada sumbu yang tidak tegak lurus, jalan pintas ini biasanya gagal. Setiap bayangan dihitung seolah-olah sumbu lainnya tidak ada, sehingga jumlahnya $s$ biasanya tidak berimpit dengan $\vec p$. Saat itu terjadi, tampilan nilai menunjukkan bahwa $\vec b - s$ tidak memenuhi setidaknya satu dari dua syarat siku-siku. Buat w tegak lurus u mengganti $\vec w$ dengan komponennya yang tegak lurus $\vec u$, satu langkah dalam proses Gram–Schmidt. Bidangnya tetap sama, tetapi kedua sumbu kini tegak lurus, dan jumlah bayangannya sama dengan $\vec p$ untuk setiap $\vec b$.

Garis diagonal melalui $(1, 1, 1)$ memberikan contoh yang akrab. Memproyeksikan $\vec b$ pada garis ini mengganti setiap komponen $\vec b$ dengan rata-rata semua komponennya, dan $|\vec e|^2$ adalah jumlah kuadrat simpangan dari rata-rata itu. Regresi kuadrat terkecil menggunakan jenis proyeksi yang sama.