Рассмотрим марковский процесс ξ(t) с конечным или счетным множеством состояний X, который изменяет свои состояния в произвольные моменты времени. Такой процесс называется цепью Маркова с непрерывным временем. Очевидно, что для такой цепи Маркова выполняются условия

 

для любых i´, i, j∈X и s´< s < t ∈T.

Определение. Вероятность p_ij(σ,t) называется вероятностью перехода из состояния i в состояние j за промежуток времени [σ,t).

Цепи Маркова однозначно определяются матрицей вероятностей переходов Π(σ,t)=||p_ij(σ,t)|| и начальным распределением q_i=Π{ξ(0)=i}.

Вероятности состояний в любой момент времени t определяются следующим образом:

.

Определение. Если вероятности переходов p_ij(σ,t) зависят только от разности моментов времени, то есть p_ij(σ,t)=p_ij(t–σ)=p_ij(t), то цепь Маркова называется однородной.

Для однородных цепей Маркова матрица вероятностей переходов имеет вид Π(t)=||p_ij(t)||, а вероятности состояний определяются следующим образом:

.

Переходные вероятности обладают следующими свойствами:

;

.

Уравнение Чепмена–Колмогорова:

– для однородных цепей Маркова,

– для неоднородных цепей Маркова, где σt.

Условие стохастической непрерывности:

Это условие означает, что с вероятностью 1 цепь однородная Маркова не изменит своего состояния за бесконечно малый промежуток времени t→0. Следует отметить, что стохастическая непрерывность не означает непрерывность реализаций марковской цепи. Это происходит потому, что разрывы каждой реализации цепи происходят в случайные моменты времени, и вероятность того, что разрыв произойдет именно в данный момент времени i, равна нулю.