Chaîne de Markov dans cette visualisation
Dans une chaîne de Markov, les chances du prochain état dépendent uniquement de l’état actuel. Ici, les états sont soleil, nuages et pluie. La ligne de la matrice de transition donne les probabilités de demain si l’état du jour est . Chaque ligne est donc un vecteur de probabilités. Si la distribution du jour est le vecteur ligne , celle du lendemain est et celle après jours est . Avec trois états, chaque distribution est un point du triangle : chaque sommet représente un état certain et les trois probabilités sont les poids des sommets. Les points foncés sont les lignes de , le bleu est le départ et le trajet rouge relie .
L’effet d’un pas
Un pas envoie chaque sommet sur sa ligne : après une journée certainement ensoleillée vient la distribution de la première ligne. Toute distribution est une moyenne pondérée des sommets, donc est la même moyenne des lignes. Tout le triangle entre dans celui formé par les lignes, puis, au deuxième pas, dans celui des lignes de . Si une puissance de a toutes ses entrées strictement positives, ces triangles emboîtés se resserrent sur un point : la distribution stationnaire .
Pourquoi π est un vecteur propre et à quelle vitesse pₙ s’en approche
Le point fixe vérifie : est un vecteur propre à gauche de valeur propre 1 (en colonnes, ). Les composantes de l’écart ont une somme nulle. Sur ce sous-espace, a les deux autres valeurs propres . Chaque pas multiplie un vecteur d’une direction propre par la valeur propre associée. Si leurs modules sont inférieurs à 1, tend vers , au rythme fixé par le plus grand module . Pour la météo, : pour grand, il reste un peu moins de la moitié de la distance par pas si le départ a une composante dans la direction de . Si les valeurs propres sont complexes, le trajet tourne en se contractant.
Quand la distribution ne converge pas
Dans le cycle, soleil, nuages et pluie se succèdent sans fin. Les deux autres valeurs propres ont pour module 1 et continue de tourner sauf si le départ est . Avec deux états absorbants, soleil et pluie persistent chacun indéfiniment. La valeur propre 1 est double, tout mélange des deux reste fixe, et converge vers une limite qui dépend du départ. Dans une chaîne finie, tend vers le même depuis tout départ exactement lorsqu’il existe une seule classe fermée d’états communicants et qu’elle est apériodique. Ses états peuvent tous se rejoindre sans qu’on puisse en sortir. Il suffit par exemple qu’une puissance ait toutes ses entrées strictement positives.
À remarquer
- Quelle que soit la météo initiale, la distribution stationnaire donne les probabilités pour un jour lointain. Le temps, lui, continue de changer de jour en jour.
- Au-delà de trois états, les distributions remplissent un simplexe, analogue du triangle en dimension supérieure. Le raisonnement reste le même.
Commandes
- Faites glisser un point foncé pour changer une ligne de la matrice ou le point bleu pour changer le départ. Les flèches déplacent le point sélectionné d’un centième.
Notions liées
Pour aller plus loin: Wikipédia: Markov chain (Anglais); Wikipédia: Stochastic matrix (Anglais).