この図で見るマルコフ連鎖
マルコフ連鎖では、次の状態の確率は現在の状態だけで決まる。ここでは晴れ・曇り・雨の3状態を使う。推移行列 の第 行には、今日が状態 のときの明日の確率が並び、各行は確率ベクトルになる。今日の分布を行ベクトル とすれば、明日は 、 日後は 。3状態なら分布は三角形内の点で、各頂点は一つの状態が確実な場合、三つの確率は各頂点の重みを表す。濃い点は の各行、青は初期分布、赤は を結ぶ道である。
1ステップで起きること
1ステップで各頂点は対応する行に移る。今日が確実に晴れなら明日の分布は第1行になる。他の分布 は頂点の加重平均なので、 は各行の同じ重みでの平均。三角形全体は行が張る小さな三角形に、2ステップ後には の行が張る三角形に入る。 のあるべきの全成分が正なら、入れ子の三角形は一点、定常分布 に縮む。
π が固有ベクトルである理由と pₙ の収束速度
動かない点は を満たす。したがって は固有値1の固有ベクトルで、正確には左固有ベクトル(列で書けば )。差 の成分の和は0で、この部分空間での の固有値は残りの二つ である。各固有方向では1ステップで対応する固有値倍になる。両方の絶対値が1未満なら は に近づき、大きい方の絶対値 が収束の速さを支配する。天気の連鎖では 。初期分布に 方向の成分があれば、 が大きいと各ステップ後に残る距離は半分弱になる。複素固有値なら縮みながら回転もする。
収束しない場合
周期の例は晴れ・曇り・雨を繰り返す。他の二つの固有値の絶対値は1で、 から始める場合を除いて は巡り続ける。二つの吸収状態の例では晴れも雨も一度入ると抜け出せず、固有値1は二重。晴れと雨のどんな混合も動かないので は収束するが、極限は初期分布に依存する。有限連鎖で がどこからも同じ に収束する必要十分条件は、閉じた通信類がただ一つあり、それが非周期的であること。通信類の内部ではどの2状態間も行き来でき、閉じていれば外に出られない。 の全成分が正になるようなべきがあればこの条件を満たす。
注目する点
- 天気の連鎖の定常分布は、初期状態によらず、遠い将来のある日の天気の確率を表す。実際の天気はその後も日々変わる。
- 4状態以上では、分布は三角形を高次元にした単体を埋める。同じ議論が成り立つ。
操作
- 濃い点をドラッグすると推移行列の行、青い点なら初期分布を変更できる。フォーカスした点は矢印キーで0.01ずつ動く。
関連項目
さらに読む: ウィキペディア: Markov chain (英語); ウィキペディア: Stochastic matrix (英語).