Возвратная цепь Маркова

Возвра́тное состоя́ние - это состояние Марковской цепи, посещаемое ею бесконечное число раз.

Определение

Пусть дана однородная цепь Маркова с дискретным временем $\{X_n\}_{n \ge 0}$. Пусть

$f_{ii}^{(n)} = \mathbb{P}(X_n = i,\; X_k \not= i, \, k=1,\ldots, n-1 \mid X_0 = i )$

- вероятность, выйдя из состояния i, вернуться в него ровно за n шагов. Тогда

$f_{ii} = \sum\limits_{n=1}^{\infty} f_{ii}^{(n)}$

- вероятность, выйдя из состояния i, вернуться в него за конечное время.

Состояние i называется возвра́тным (рекурре́нтным), если f_ii = 1. В противном случае состояние называется невозвра́тным (транзие́нтным).

Критерий возвратности

Состояние i является возвратным тогда и только тогда, когда выполнено любое из следующих условий:

1. $\sum\limits_{n=1}^{\infty} p_{ii}^{(n)} = \infty$, где $p_{ii}^{(n)} = \mathbb{P}(X_n = i \mid X_0 = i)$.
2. $\mathbb{P}\left( \limsup\limits_{n \to \infty} \{X_n = i\}\mid X_0 = i \right) = 1$.

Соответственно, состояние i невозвратно тогда и только тогда, когда выполнено любое из условий:

1. $\sum\limits_{n=1}^{\infty} p_{ii}^{(n)} < \infty$.
2. $\mathbb{P}\left( \limsup\limits_{n \to \infty} \{X_n = i\}\mid X_0 = i \right) = 0$.

Время возвращения

Предположим, что X₀ = i почти наверное, и определим случайную величину T_i, равную времени первого возвращения в состояние i, то есть

$T_i = \inf\{n \ge 1 \mid X_n = i \}$.

Тогда T_i имеет дискретное распределение, задаваемое функцией вероятности

$\mathbb{P}(T_i = n) = f_{ii}^{(n)}$.

Возвратное состояние i называется положи́тельным, если

$\mathbb{E}[T_i] = \sum\limits_{n=1}^{\infty} n f^{(n)}_{ii} < \infty$,

и нулевы́м, если

$\mathbb{E}[T_i] = \infty$.

Возвратность неразложимого класса

• Если состояния i и j сообщаются, и i - возвратно, то состояние j также возвратно.
• Более того если состояние i положительно, то и состояние j также положительно.

Таким образом возвратность и положительность - свойство неразложимого класса. Если Марковская цепь неразложима, то говорят о её возвратности и положительности.