Марковские процессы

Рассмотрим виды случайных процессов, часто используемые в различных исследовательских и прикладных задачах.

Случайный процесс X(t) называется процессом с дискретными состояниями S₁, S₂, S₃, …, если

в любой момент времени (за исключением счетного числа моментов перехода из состояния в состояние) случайный процесс находится в одном и только в одном из состояний S₁, S₂, S₃, …;

переход из одного состояния в другое состояние происходит мгновенно (скачком);

нахождение процесса в любом из этих состояний в течение какого-то промежутка времени означает, что он принимает на этом промежутке постоянное, фиксированное для каждого из состояний значение.

Из данного определения вытекает, что множество значений, которые могут принимать сечения процесса, конечно или счетно.

Случайный процесс X(t) называется марковским, если для любого момента времени t₀ вероятностные характеристики процесса в будущем
(t > t₀) зависят только от его состояния в данный момент и не зависят от значений процесса в прошлом (t < t₀), т.е. от того, когда и как процесс пришел в это состояние.

Пример 7.1. Случайный процесс X(t), значения которого соответствуют показаниям счетчика такси, является марковским. Действительно, если в момент времени t₀ на счетчике была сумма S₀, то вероятность того, что на счетчике в момент времени t > t₀ будет показана некоторая сумма S, не зависит от того, как изменялись показания счетчика до момента времени t₀ . ■

На практике в ряде случаев предысторией рассматриваемых процессов пренебрегают и для простоты считают их марковскими.

Потоком событий называется последовательность однородных событий, следующих одно за другим в случайные моменты времени.

Поток событий можно описать случайным процессом X(t) с дискретными состояниями S₁, S₂, S₃, …, зафиксировав некоторый момент времени t₀ и определив, что процесс в момент времени t (t > t₀) находится в состоянии S_i и принимает значение X(t)=i, если на интервале (t₀;t) произошло ровно i событий описываемого потока. Аналогично можно описать случайный процесс при значениях переменной t < t₀.

Среднее число событий поступающих в единичный интервал времени (частота появления событий) называется интенсивностью потока.

Поток событий называется потоком без последействия, если число событий, попадающих в произвольный интервал времени τ₁ не зависит от числа событий попадающих на любой другой не пересекающийся с ним интервал времени τ₂.

Случайный процесс, описывающий поток событий без последействия, является марковским.

Поток событий называется стационарным, если его вероятностные характеристики не зависят от времени.

Интенсивность стационарного потока постоянна и обозначается λ.

Поток событий называется ординарным, если вероятность попадания на элементарно малый интервал времени dt двух и более событий является бесконечно малой более высокого порядка малости (пренебрежимо мала) по сравнению с вероятностью попадания на этот интервал одного события.

Поток событий называется простейшим, если он стационарен, ординарен и не имеет последействия.

Широкое использование простейшего потока в моделях случайных процессов объясняется следующей предельной теоремой.

Объединение (наложение) достаточно большого числа n независимых стационарных и ординарных потоков со сравнимыми интенсивностями λ_i дает результирующий поток, который при n→∞ стремится в вероятностном смысле к простейшему потоку с интенсивностью .■

Объединение любого числа простейших потоков образует также простейший поток, интенсивность которого равна сумме интенсивностей объединяемых потоков. ■

Зафиксируем произвольный интервал времени длительностью t. Обозначим через X случайную величину, равную числу событий простейшего потока интенсивности λ, попадающих на этот интервал. Можно доказать, что случайная величина X распределена по закону Пуассона c параметром λt, т.е. вероятность того, что в течение интервала времени продолжительностью t произойдет m событий, равна

.

В частности, вероятность того, что за время t не произойдет ни одного события (m=0) равна

P₀(t)=e^{- λt}.

Математическое ожидание числа событий, попадающих на интервал времени длиной t равно дисперсии этого числа MX=DX= λt.

Найдем распределение времени Т между двумя произвольными соседними событиями простейшего потока. Рассмотрим интервал времени длительностью t, начало которого совпадает с временем осуществления какого-то события потока. Тогда условие T≥t означает, что на рассматриваемом интервале длительности t не произошло ни одного события простейшего потока. Вероятность этого условия, как показано выше, равна

Pr(T≥t)= P₀(t)=e^{- λt}.

Тогда функция распределения случайной величины Т

F(t)= Pr(T<t)= 1-Pr(T≥t)=1-e^{- λt}.

Следовательно, время между двумя произвольными соседними событиями простейшего потока распределено по экспоненциальному закону с интенсивностью λ. Математическое ожидание этого времени равно 1/ λ, а дисперсия – 1/ λ².

Плотность распределения этого времени задается формулой

f(t)= λ e^{- λt}.

Переместим точку начала отсчета времени в момент осуществления одного из событий простейшего потока. Тогда вероятность того, что следующее событие потока произойдет в интервале (t; t+dt), будет равна

Pr(t≤T<t+dt)= f(t)dt= λ e^{- λt} dt.

Эту вероятность можно представить в виде произведения вероятностей двух событий

Pr(t≤T<t+dt)= Pr(t≤T)∙Pr _t≤T (T<t+dt)= e^{- λt} ∙λ dt.

Таким образом вероятность попадания события в любой интервал
(t; t+dt) длительностью dt не зависит от времени t, прошедшего после предыдущего события и составляет λ dt, что подтверждает стационарность простейшего потока.