Álgebra lineal · Cadena de Márkov

Cadena de Márkov

En una cadena de Markov, el estado cambia al azar y las probabilidades del estado siguiente solo dependen del actual. Con la matriz de transición P, la distribución de mañana es la de hoy multiplicada por P. Al repetirlo suele tender a una distribución estacionaria π con πP = π, vector propio izquierdo del valor propio 1.

Cadena de Márkov en esta visualización

En una cadena de Markov, las probabilidades del estado siguiente solo dependen del actual. Aquí hay sol, nubes y lluvia. La fila ii de la matriz de transición PP da las probabilidades de mañana si hoy estamos en ii. Cada fila es un vector de probabilidad. Si la distribución de hoy es el vector fila pp, mañana es pPpP y tras nn días es pn=p0Pnp_n = p_0 P^n. Tres estados dan un triángulo: cada vértice representa un estado seguro y las probabilidades son los pesos de los vértices. Los puntos oscuros son las filas de PP, el azul es el inicio y el camino rojo une p0,p1,p2,…p_0, p_1, p_2, \dots.

Qué ocurre en un paso

Un paso lleva cada vértice a su fila: tras un día de sol seguro se obtiene la distribución de la primera fila. Cualquier distribución pp es un promedio ponderado de los vértices, así que pPpP es el mismo promedio de las filas. Todo el triángulo entra en el formado por las filas; tras dos pasos, en el de las filas de P2P^2. Si alguna potencia de PP tiene todas sus entradas positivas, estos triángulos encajados se contraen al único punto estacionario π\pi.

Por qué π es un vector propio y a qué velocidad se acerca pₙ

El punto fijo cumple πP=π\pi P = \pi: π\pi es un vector propio izquierdo del valor propio 1 (en columnas, PTπT=πTP^{\mathsf T}\pi^{\mathsf T} = \pi^{\mathsf T}). Las entradas de la diferencia p0−πp_0 - \pi suman 0. En ese subespacio, PP tiene los otros dos valores propios λ2,λ3\lambda_2, \lambda_3. Un vector en una dirección propia se escala por su valor propio en cada paso. Si ambos módulos son menores que 1, pnp_n tiende a π\pi y el módulo mayor ∣λ2∣|\lambda_2| marca el ritmo. Para el tiempo, ∣λ2∣≈0.462|\lambda_2| \approx 0.462. Cuando nn es grande queda algo menos de la mitad de la distancia por paso si el inicio tiene componente en la dirección de λ2\lambda_2. Con valores propios complejos, el camino también gira.

Cuándo no converge

En el ciclo, sol, nubes y lluvia se suceden para siempre. Los otros dos valores propios tienen módulo 1 y pnp_n da vueltas salvo que empiece en π\pi. Con dos estados absorbentes, sol y lluvia persisten, el valor propio 1 es doble y cualquier mezcla de ambos queda fija. pnp_n converge, pero su límite depende del inicio. En una cadena finita, pnp_n tiende al mismo π\pi desde cualquier inicio exactamente cuando hay una sola clase cerrada de estados que se comunican entre sí y esa clase es aperiódica. Una clase cerrada no tiene salida. Basta, por ejemplo, que alguna potencia PmP^m tenga todas sus entradas positivas.

En qué fijarse

  • Sea cual sea el inicio, la distribución estacionaria da las probabilidades del tiempo de un día lejano. El tiempo sigue cambiando de un día a otro.
  • Con más de tres estados las distribuciones llenan un símplex, la versión del triángulo en dimensión superior. El razonamiento sigue siendo válido.

Controles

  • Arrastra un punto oscuro para modificar una fila de la matriz o el azul para cambiar el inicio. Las flechas mueven el punto enfocado una centésima.

Conceptos relacionados