Cadena de Márkov en esta visualización
En una cadena de Markov, las probabilidades del estado siguiente solo dependen del actual. Aquí hay sol, nubes y lluvia. La fila de la matriz de transición da las probabilidades de mañana si hoy estamos en . Cada fila es un vector de probabilidad. Si la distribución de hoy es el vector fila , mañana es y tras días es . Tres estados dan un triángulo: cada vértice representa un estado seguro y las probabilidades son los pesos de los vértices. Los puntos oscuros son las filas de , el azul es el inicio y el camino rojo une .
Qué ocurre en un paso
Un paso lleva cada vértice a su fila: tras un día de sol seguro se obtiene la distribución de la primera fila. Cualquier distribución es un promedio ponderado de los vértices, así que es el mismo promedio de las filas. Todo el triángulo entra en el formado por las filas; tras dos pasos, en el de las filas de . Si alguna potencia de tiene todas sus entradas positivas, estos triángulos encajados se contraen al único punto estacionario .
Por qué π es un vector propio y a qué velocidad se acerca pₙ
El punto fijo cumple : es un vector propio izquierdo del valor propio 1 (en columnas, ). Las entradas de la diferencia suman 0. En ese subespacio, tiene los otros dos valores propios . Un vector en una dirección propia se escala por su valor propio en cada paso. Si ambos módulos son menores que 1, tiende a y el módulo mayor marca el ritmo. Para el tiempo, . Cuando es grande queda algo menos de la mitad de la distancia por paso si el inicio tiene componente en la dirección de . Con valores propios complejos, el camino también gira.
Cuándo no converge
En el ciclo, sol, nubes y lluvia se suceden para siempre. Los otros dos valores propios tienen módulo 1 y da vueltas salvo que empiece en . Con dos estados absorbentes, sol y lluvia persisten, el valor propio 1 es doble y cualquier mezcla de ambos queda fija. converge, pero su límite depende del inicio. En una cadena finita, tiende al mismo desde cualquier inicio exactamente cuando hay una sola clase cerrada de estados que se comunican entre sí y esa clase es aperiódica. Una clase cerrada no tiene salida. Basta, por ejemplo, que alguna potencia tenga todas sus entradas positivas.
En qué fijarse
- Sea cual sea el inicio, la distribución estacionaria da las probabilidades del tiempo de un día lejano. El tiempo sigue cambiando de un día a otro.
- Con más de tres estados las distribuciones llenan un símplex, la versión del triángulo en dimensión superior. El razonamiento sigue siendo válido.
Controles
- Arrastra un punto oscuro para modificar una fila de la matriz o el azul para cambiar el inicio. Las flechas mueven el punto enfocado una centésima.
Conceptos relacionados
Para saber más: Wikipedia: Markov chain (Inglés); Wikipedia: Stochastic matrix (Inglés).