Rantai Markov dalam visualisasi ini
Dalam rantai Markov, peluang keadaan berikutnya hanya bergantung pada keadaan sekarang. Di sini keadaannya cerah, mendung, dan hujan. Baris pada matriks transisi memuat peluang besok jika keadaan hari ini . Tiap baris adalah vektor peluang. Jika distribusi hari ini vektor baris , besok distribusinya dan setelah hari . Untuk tiga keadaan, setiap distribusi adalah titik dalam segitiga. Satu sudut berarti satu keadaan pasti, dan peluangnya adalah bobot ketiga sudut. Titik gelap mewakili baris , titik biru distribusi awal, dan lintasan merah menghubungkan .
Apa yang terjadi dalam satu langkah?
Satu langkah memetakan tiap sudut ke barisnya: setelah hari yang pasti cerah, distribusinya adalah baris pertama. Distribusi lain adalah rata-rata berbobot dari sudut, jadi adalah rata-rata baris dengan bobot yang sama. Seluruh segitiga masuk ke segitiga yang direntang baris-baris itu; setelah dua langkah masuk ke segitiga baris . Bila suatu pangkat memiliki semua entri positif, segitiga bersarang ini menyusut ke satu titik, yaitu distribusi stasioner .
Mengapa π vektor eigen dan seberapa cepat pₙ mendekatinya?
Titik tetap memenuhi : adalah vektor eigen untuk nilai eigen 1, tepatnya vektor eigen kiri (dalam bentuk kolom, ). Jumlah entri selisih adalah 0. Pada subruang itu, memiliki dua nilai eigen lainnya, . Satu langkah mengalikan vektor di setiap arah eigen dengan nilai eigennya. Bila kedua modulus kurang dari 1, mendekati dan modulus terbesar menentukan laju. Untuk rantai cuaca, . Saat besar, tersisa sedikit kurang dari separuh jarak per langkah jika ada komponen awal searah . Dengan nilai eigen kompleks, lintasan juga berputar saat menyusut.
Kapan distribusi tidak konvergen?
Dalam siklus, cerah, mendung, dan hujan berulang. Kedua nilai eigen lainnya bermodulus 1 dan terus berputar kecuali dimulai di . Dengan dua keadaan penyerap, cerah dan hujan masing-masing bertahan. Nilai eigen 1 muncul dua kali dan semua campuran cerah dan hujan tetap, sehingga konvergen tetapi limitnya bergantung pada awal. Untuk rantai hingga, mendekati yang sama dari setiap awal jika dan hanya jika ada tepat satu kelas tertutup yang saling berkomunikasi dan kelas itu aperiodik. Semua keadaan di kelas itu dapat saling mencapai tanpa bisa keluar. Salah satu syarat yang cukup ialah semua entri suatu pangkat positif.
Hal yang perlu diperhatikan
- Untuk rantai cuaca, distribusi stasioner memberi peluang cuaca pada hari yang jauh di masa depan dari awal apa pun. Cuacanya sendiri tetap berubah dari hari ke hari.
- Dengan lebih dari tiga keadaan, distribusi mengisi simpleks berdimensi lebih tinggi, padanan segitiga. Penjelasan yang sama tetap berlaku.
Kontrol
- Geser titik gelap untuk mengubah baris matriks transisi atau titik biru untuk mengubah awal. Tombol panah menggeser titik yang mendapat fokus sebesar 0.01.
Terkait
Bacaan lanjutan: Wikipedia: Markov chain (Bahasa Inggris); Wikipedia: Stochastic matrix (Bahasa Inggris).