Общие понятия. Марковские процессы

Цепи Маркова могут быть описаны очень грубо как стохастические процессы, в которых будущее зависит лишь от настоящего состояния, но не от прошлой истории, или того способа, которым было достигнуто настоящее состояние. Эти процессы имеют только счетное множество значений (состояний) и зависят от дискретного временного параметра, т.е. изменения могут происходить лишь в фиксированные моменты времени . Мы можем рассматривать такие явления как телефонные вызовы, радиоактивный распад и расщепление хромосом, в которых изменения могут происходить в любой момент времени. С математической точки зрения мы будем иметь дело со стохастическими процессами со счетным множеством состояний, но зависящими уже от непрерывного временного параметра. В рамках дискретных вероятностей описание таких процессов невозможно, и мы на самом деле не в состоянии формально определить интересующий нас класс марковских процессов.

Выражение “будущее развитие не зависит от прошлой истории” имеет очевидное интуитивное значение (по крайней мере по аналогии с дискретными цепями Маркова). Переходной вероятности для цепей Маркова теперь соответствует переходная вероятность , а именно условная вероятность состояния в момент при условии, что в момент система находилась в состоянии . Как показывает обозначение, предполагается, что эта вероятность зависит только от продолжительности временного интервала, но не от его положения на оси времени. Такие переходные вероятности называются стационарными или однородными по времени. Основным соотношением является уравнение Колмогорова-Чепмена

, (1)

которое основано на следующем рассуждении. Предположим, что в момент времени 0 система находится в состоянии . Тогда -й член в правой части представляет вероятность сложного события, состоящего в том, что система в момент времени находится в состоянии , а в более поздний момент – в состоянии . Но переход из состояния в момент времени 0 в состояние в момент с необходимостью происходит через некоторое промежуточное состояние в момент времени , и, суммируя по всем возможным состояниям , мы видим, что (1) должно выполняться для произвольных (фиксированных) и .

В этой главе мы будем изучать решения основного уравнения (1). Будет показано, что простые постулаты, приспособленные к конкретным ситуациям, приводят к системам дифференциальных уравнений для и что из этих уравнений, даже не решая их, можно получить интересные результаты. И эти результаты имеют смысл, потому что наши решения действительно являются переходными вероятностями марковского процесса, который однозначно определяется этими вероятностями и начальным положением в момент времени 0. Этот интуитивно очевидный факт мы примем без доказательства.

Для фиксированных и переходные вероятности определяют обычное дискретное распределение вероятностей. Оно зависит от непрерывного параметра . Технически рассуждения последующих параграфов остаются в рамках дискретных вероятностей, но это искусственное ограничение является для многих целей слишком строгим. Этот момент может проиллюстрировать распределение Пуассона . Нулевой член этого распределения можно интерпретировать как вероятность того, что за интервал времени фиксированной длины не поступило ни одного телефонного вызова. Но тогда будет также вероятностью того, что время ожидания первого вызова превышает , и поэтому мы косвенно имеем дело с непрерывным распределением вероятностей на оси времени.