Марковские процессы, или процессы без последействия, являются удобной математической моделью для многих реальных процессов. Представим себе систему, которая может находиться в различных состояниях, и пусть её функционирование во времени носит стохастический характер, то есть состояние системы в момент времени t в общем случае не определяется однозначно её состояниями в предыдущие моменты σ<t. Следовательно, процесс изменения во времени состояний этой системы можно описать некоторым случайным процессом ξ(t), заданным на интервале [0,T] и принимающим значения из множества X.

Пусть в моменты времени t₁<t₂<…<t_n заданы сечения ξ(t₁),ξ(t₂),…,ξ(t_n) случайного процесса ξ(t). Для момента времени t_n+1>t_n рассмотрим сечение ξ(t_n+1) и условную функцию распределения.

Интерпретируя t₁,t₂,…,t_n–1 как моменты времени в прошлом, t_n – настоящий (текущий) момент времени, а t_n+1 – будущий момент времени, говорят, что эта условная функция распределения характеризует функционирование системы в будущем, если известно её функционирование в прошлом и настоящее (текущее) состояние системы.

Определение. Случайный процесс ξ(t) называется марковским, если выполняется равенство

,

то есть его условная функция распределения вероятностей значений ξ(t_n+1) в будущий момент времени t_n+1 не зависит от значений процесса в прошлые моменты t₁,t₂,…,t_n–1, а определяется лишь значением ξ(t_n)=x_n, в настоящий момент времени t_n.

Для условной плотности распределения записывают равенство

, (2.1)

а условную плотность распределения π(x_n+1,t_n+1 | x_n,t_n)=π(x_n+1,t_n+1; x_n,t_n) называют вероятностью перехода системы из состояния x_n в состояние x_n+1 на интервале времени [t_n,t_n+1].

Многомерную плотность распределения, в силу равенства (2.1), можно записать в виде

.

Отсюда видно, что начальное распределение π(ξ₁,t₁) и вероятности переходов π(x_n+1,t_n+1;x_n,t_n) полностью определяют марковский процесс.

Вероятности переходов удовлетворяют двум основным соотношениям.

1. Условие нормировки:

,

.

2. Уравнение Чепмена–Колмогорова:

.

 

Все марковские процессы можно разделить на классы в зависимости от структуры множества X – значений случайного процесса ξ(t), и множества моментов времени наблюдения T. Если множество X – дискретное, то процесс ξ(t) называется цепью Маркова.

При этом если T – дискретное, то процесс называется цепью Маркова с дискретным временем, а если T – непрерывное, то процесс называется цепью Маркова с непрерывным временем.

Если оба множества X и T непрерывные, то процесс называется непрерывным марковским процессом. Наиболее важным классом таких процессов является множество диффузионных процессов.