Авторегрессионная модель

Авторегрессионная (AR-) модель — модель временных рядов, в которой значения временного ряда в данный момент линейно зависят от предыдущих значений этого же ряда. Авторегрессионный процесс порядка p (AR(p)-процесс)- определяется следующим образом

$X_t = c + \sum_{i=1}^p a_i X_{t-i}+ \varepsilon_t ,$

где $a_1, \ldots, a_p$ — параметры модели (коэффициенты авторегрессии), $c$ -постоянная (часто для упрощения предполагается равной нулю), а $\varepsilon_t$ — белый шум.

Простейшим примером является авторегрессионный процесс первого порядка -AR(1)-процесс:

$X_t = c + r X_{t-1}+ \varepsilon_t$

Для данного процесса коэффициент авторегресси совпадает с коэффициентом автокорреляции первого порядка.

Другой простой процесс — процесс Юла — AR(2)-процесс:

$X_t = c + a_1 X_{t-1}+ a_2 X_{t-2}+\varepsilon_t$

Операторное представление

Если ввести лаговый оператор $L: Lx_t=x_{t-1}$, то авторегрессионную модель можно представить следующим образом

$X_t = c + \sum_{i=1}^p a_i L^i X_{t}+ \varepsilon_t ,$

или

$a(L)X_t=(1- \sum_{i=1}^p a_i L^i )X_{t}= c + \varepsilon_t$

Стационарность авторегресссионного процесса зависит от корней характеристического полинома $a(z)=1-\sum_{i=1}^n a_i z^i$. Для того, чтобы процесс был стационарным, достаточно, чтобы все корни характеристичекого полинома лежали вне единичного круга в комплексной плоскости $|z|>1$

В частности, для AR(1)-процесса $a(z)=1-r z$, следовательно корень этого "полинома" $z=1/r$, поэтому условие стационарности $|r|<1$, то есть коэффициент авторегрессии (он же в данном случае коэффициент автокорреляции) должен быть строго меньше 1 по модулю.

Для AR(2)-процесса можно показать, что условия стационарности имеют вид: $|a_1|<2, ~~ a_2<1-|a_1| \Rightarrow |a_2|<1$

Стационарные AR-процессы допускают разложение Вольда - представление в виде бесконечного MA-процесса:

$X_t=a^{-1}(L)c+ a^{-1}(L)\varepsilon_t=\frac {c} {1-\sum_{i=1}^p a_i}+\sum_{j=0}^{\infty} b_j \varepsilon_{t-j}$

Первое слагаемое представляет собой математическое ожидание AR-процесса. Если c=0, то математическое ожидание процесса также равно нулю.

Автокорреляционная функция

Можно показать, что автоковариационная и автокорреляционная функции AR(p)-процесса удовлетворяют рекуррентным соотношениям:

$\gamma (k)=\sum_{j=1}^p a_j \gamma (k-j)~~~~~r(k)=\sum_{j=1}^p a_j r(k-j)$

При этом дисперсия процесса равна $\gamma(0)=\sigma_{\varepsilon}^2/(1-\sum_{i=1}^p a_i)$

Автокорреляционная функция экспоненциально затухает с возможной осцилляцией (осцилляции зависят от наличия комплексных корней у характеристического полинома). При этом частная автокорреляционная функция при k>p равна нулю. Это свойство используется для идентификации порядка AR-модели по выборочной частной автокорреляционной функции временного ряда.

В простейшем случае AR(1)-процесса, математическое ожидание равно $\mu=c/(1-r)$, дисперсия $\gamma(0)=\sigma_{\varepsilon}^2/(1-r)$, а автокорреляции $r(k)=r \cdot r(k-1) ~ \Rightarrow ~r(k)=r^k$

То есть автокорреляционная функция - экспоненциально затухающая функция, если выполнено условие стационарности. Частная автокорреляционная функция первого порядка равна r, а для более высоких порядков равна 0.

Оценка параметров модели

Учитывая четность автокорреляционной функции и используя рекуррентное соотношение для первых p автокорреляций получаем систему уравнений Юла-Уокера

$1 \leqslant k \leqslant p~, ~ \sum_{j=1}^p a_j r(|k-j|)=r(k)$

или в матричной форме

$Ra=r~, ~\Rightarrow a=R^{-1}r~,~~R= \begin{pmatrix} 1&r_1& r_2& ...& r_{p-1}\\ r_1&1& r_2& ...& r_{p-2}\\ r_2& r_3&1& ...& r_{p-3}\\ ...\\ r_{p-1}& r_{p-2}&r_{p-3}& ...& 1\\ \end{pmatrix}$

Если использовать вместо истинных автокорреляций (неизвестных) выборочные автокорреляции, получим оценки неизвестных коэффициентов авторегрессии. Можно показать, что этот метод оценки эквивалентен обычному методу наименьших квадратов (МНК). Если случайные ошибки модели имеют нормальное распределение, то данный метод также эквивалентен условному методу максимального правдоподобия. Для получения боле точных оценок в последнем случае можно использовать полный метод максимального правдоподобия, в котором используется информация о распределении первых членов ряда. Например, в случае AR(1)-процесса распределение первого члена принимается равным безусловному распределению временного ряда (нормальное распределение с математическим ожиданием и безусловной дисперсией ряда).

Сезонные модели авторегрессии

С помощью AR-моделей можно моделировать сезонность. Такие модели обозначают SAR (Seasonal AR). Например, при наличии квартальных данных и предположении о квартальной сезонности можно построить следующую модель SAR(4):

$y_t=a_4 y_{t-4}+\varepsilon_t$

Фактически это обычная AR-модель с ограничением на параметры модели (равенство нулю параметров при лагах менее 4). На практике сезонность может сочетаться с обычной авторегрессией, например:

$y_t=a_1 y_{t-1}+a_4 y_{t-4}+\varepsilon_t$

В некоторых случаях оказываются полезными сезонные модели, у которых случайная ошибка, подчиняется некоторому AR-процессу:

$y_t=a_4 y_{t-4}+\varepsilon_t~,~\varepsilon_t=a_1 \varepsilon_{t-1}+u_t$

Нетрудно увидеть, что такую модель в операторной форме можно записать как:

$(1-a_1 L)(1-a_4 L^4)y_t=u_t$

Такую модель обозначают $AR(1) \times SAR(4)$.

См. также

• Модель авторегрессии и распределенного лага
• Модель авторегрессии — скользящего среднего
• Модель скользящего среднего
• Векторная авторегрессия

Ссылки

• Грицай Александр. Обзор алгоритмов прогнозирования. Модели Авторегрессии.. Forecast NOW! (29 мая 2012). Архивировано из первоисточника 29 мая 2012. Проверено 29 мая 2012.