Aljabar Linear · Analisis komponen utama

Analisis komponen utama

Analisis komponen utama mencari arah sebaran terbesar data. Untuk dua variabel, arah utama pertama adalah arah satuan yang memaksimumkan varians proyeksi: vektor eigen matriks kovarians untuk nilai eigen terbesar, yang sama dengan varians tersebut. Sumbu utama pertama melewati rata-rata dalam arah itu.

Analisis komponen utama pada visualisasi ini

Tarik garis melalui rata-rata data, lalu proyeksikan setiap titik ke garis itu. Untuk arah uu varians sampel proyeksinya adalah uTCuu^{\mathsf T} C u. Matriks kovarians sampel C=(sx2sxysxysy2)C = \begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix} memuat varians pada diagonal dan kovarians di luar diagonal (jumlah dibagi n−1n - 1). Analisis komponen utama memilih arah dengan varians terbesar. Garis melalui rata-rata dalam arah itu adalah PC1; PC2 tegak lurus padanya. Garis merah adalah uu, tanda kuning adalah proyeksi, dan batang kuning tebal membentang satu simpangan baku ke tiap sisi rata-rata.

Jumlah varians sejajar dan tegak lurus tetap

Menurut Pythagoras, kuadrat jarak titik dari rata-rata terurai menjadi bagian sejajar dan tegak lurus uu. Setelah dijumlahkan, varians sepanjang uu ditambah varians tegak lurusnya sama dengan varians total sx2+sy2=tr⁡Cs_x^2 + s_y^2 = \operatorname{tr} C untuk arah uu apa pun. Memaksimumkan yang pertama meminimumkan yang kedua. Di antara garis yang melalui rata-rata, PC1 meminimumkan jumlah kuadrat jarak tegak lurus. Garis regresi yy terhadap xx meminimumkan jumlah kuadrat residu vertikal. Pada awan renggang kedua arah dapat sangat berbeda.

Mengapa solusinya berupa vektor eigen?

Matriks simetris CC memiliki dua vektor eigen tegak lurus dengan nilai eigen λ1≥λ2\lambda_1 \ge \lambda_2. Jika uu dinyatakan dalam basis itu, uTCuu^{\mathsf T} C u merupakan rata-rata tertimbang λ1\lambda_1 dan λ2\lambda_2, maksimum pada vektor pertama dan minimum pada yang kedua. PC1 dan PC2 mengikuti arah eigen CC, dengan varians λ1\lambda_1 dan λ2\lambda_2. PC1 menyimpan bagian λ1/(λ1+λ2)\lambda_1/(\lambda_1 + \lambda_2) dari total. Dalam praktiknya dekomposisi nilai singular dari matriks data yang dipusatkan menghasilkan arah yang sama.

Satuan mengubah hasil

Varians bergantung pada satuan. Untuk tinggi dalam meter dan berat dalam kilogram, nilai berat lebih bervariasi secara numerik. Itu saja membuat PC1 hampir sejajar sumbu berat. Variabel dengan satuan berbeda biasanya dibakukan dengan mengurangi rata-rata dan membagi dengan simpangan baku. Maka CC menjadi matriks korelasi (1rr1)\begin{pmatrix} 1 & r \\ r & 1 \end{pmatrix}. Untuk dua variabel PC1 berada pada 45° (−45° bila r<0r < 0), dengan λ=1±∣r∣\lambda = 1 \pm |r|. Jika r=0r = 0, tidak ada arah istimewa.

Hal yang perlu diperhatikan

  • Sumbu utama adalah garis. Arahnya hanya ditentukan sampai pada pilihan tanda.
  • Untuk banyak variabel, beberapa arah dapat memuat sebagian besar varians sehingga data bisa digambarkan dengan lebih sedikit angka.

Kontrol

  • Seret pegangan merah atau putar kenop untuk memutar garis. Saat pegangan difokuskan, tombol panah memutar garis sebesar 1°.

Terkait