Цепь Маркова на этой схеме
В цепи Маркова вероятности следующего состояния зависят только от текущего. Здесь возможны солнце, облачность и дождь. Строка матрицы переходов перечисляет вероятности на завтра, если сегодня состояние . Каждая строка — вектор вероятностей. Если сегодня распределение задано строкой , завтра это , а через дней — . Для трёх состояний распределения заполняют треугольник: в вершине одно состояние достоверно, а три вероятности задают веса вершин. Тёмные точки — строки , синяя — начало, красная линия соединяет .
Что происходит за один шаг
За шаг каждая вершина переходит в соответствующую строку: если сегодня солнце достоверно, завтра распределение задаёт первая строка. Любое другое распределение — взвешенное среднее вершин. Поэтому — среднее строк с теми же весами. Весь треугольник переходит в меньший треугольник строк, за два шага — в треугольник строк . Если у некоторой степени все элементы положительны, вложенные треугольники стягиваются к одной точке, стационарному распределению .
Почему π — собственный вектор и как быстро к нему приближается pₙ
Неподвижная точка удовлетворяет . Следовательно, — левый собственный вектор для собственного значения 1 (в столбцах ). Сумма координат разности равна 0. На этом подпространстве у остаются два собственных значения . В каждом собственном направлении вектор за шаг умножается на соответствующее значение. Если оба модуля меньше 1, то стремится к , а больший модуль задаёт темп. Для погоды . При больших после шага остаётся чуть меньше половины расстояния, если начальное отклонение имеет составляющую в направлении . При комплексных значениях путь ещё и поворачивает.
Когда распределение не сходится
В цикле солнце, облачность и дождь сменяют друг друга. Два других собственных значения имеют модуль 1, и ходит по кругу, если не начать в . При двух поглощающих состояниях и солнце, и дождь сохраняются. Собственное значение 1 двукратно, любая смесь солнца и дождя неподвижна. Поэтому сходится, но предел зависит от старта. В конечной цепи стремится к одному и тому же при любом старте тогда и только тогда, когда есть ровно один замкнутый класс сообщающихся состояний и он апериодичен. Внутри класса все состояния достижимы друг из друга и выхода наружу нет. Достаточно, например, чтобы у некоторой степени все элементы были положительны.
На что обратить внимание
- Для погодной цепи стационарное распределение даёт вероятности погоды в отдалённый день при любом старте. Сама погода продолжает меняться изо дня в день.
- При числе состояний больше трёх распределения заполняют многомерный аналог треугольника — симплекс. Рассуждение остаётся тем же.
Управление
- Перетащите тёмную точку, чтобы изменить строку матрицы, или синюю, чтобы изменить старт. Стрелки сдвигают точку в фокусе на одну сотую.
Связанные темы
Дополнительные материалы: Википедия: Markov chain (Английский); Википедия: Stochastic matrix (Английский).