Cadeia de Markov nesta visualização
Numa cadeia de Markov, as probabilidades do próximo estado dependem apenas do atual. Aqui há sol, nuvens e chuva. A linha da matriz de transição contém as probabilidades de amanhã se o estado de hoje for . Cada linha é um vetor de probabilidades. Se a distribuição de hoje é o vetor linha , a de amanhã é e a de daqui a dias é . Com três estados, cada distribuição é um ponto de um triângulo: cada vértice representa um estado certo e as probabilidades são os pesos dos vértices. Os pontos escuros são as linhas de , o azul é o início e o percurso vermelho liga .
O que acontece num passo
Cada vértice passa, num passo, para a respetiva linha: a um dia em que há sol com certeza segue-se a distribuição da primeira linha. Qualquer distribuição é uma média ponderada dos vértices, pelo que é a mesma média das linhas. O triângulo passa para o triângulo das linhas e, em dois passos, para o das linhas de . Quando alguma potência de tem todas as entradas positivas, estes triângulos encaixados contraem-se num ponto: a distribuição estacionária .
Porque é π um vetor próprio e a que ritmo se aproxima pₙ?
O ponto fixo satisfaz : é um vetor próprio à esquerda de valor próprio 1 (em colunas, ). As entradas da diferença somam 0. Nesse subespaço, tem os outros dois valores próprios . Em cada direção própria, um passo multiplica o vetor pelo valor próprio associado. Se ambos os módulos forem inferiores a 1, tende para e o maior módulo determina o ritmo. Para o tempo, : quando é grande, fica pouco menos de metade da distância por passo, se o início tiver uma componente na direção de . Com valores próprios complexos, o percurso também roda enquanto se contrai.
Quando não há convergência
No ciclo sucedem-se sol, nuvens e chuva. Os outros dois valores próprios têm módulo 1 e continua a circular, salvo se começar em . Com dois estados absorventes, sol e chuva persistem, o valor próprio 1 é duplo e qualquer mistura dos dois fica fixa. Assim converge, mas o limite depende do início. Numa cadeia finita, tende para o mesmo a partir de qualquer início se e só se existir uma única classe fechada de estados comunicantes e esta for aperiódica. Dentro da classe todos os estados são mutuamente acessíveis, sem saída para o exterior. Basta, por exemplo, que alguma potência tenha todas as entradas positivas.
Aspetos a observar
- Seja qual for o início, a distribuição estacionária dá as probabilidades do tempo num dia distante. O tempo continua a mudar de dia para dia.
- Com mais de três estados, as distribuições preenchem um simplexo, o análogo do triângulo numa dimensão superior. O argumento é o mesmo.
Controlos
- Arraste um ponto escuro para mudar uma linha da matriz ou o azul para mudar o início. As setas deslocam o ponto com foco uma centésima.
Conceitos relacionados
Para saber mais: Wikipédia: Markov chain (Inglês); Wikipédia: Stochastic matrix (Inglês).