Тест множителей Лагранжа

Тест множителей Лагранжа (англ. Lagrange multiplier test, Score test) — статистический тест, используемый для проверки ограничений на параметры статистических моделей, оцененных на основе выборочных данных. Является одним из трёх базовых тестов проверки ограничений наряду с тестом отношения правдоподобия и тестом Вальда. Тест является асимптотическим, то есть для достоверности выводов требуется достаточно большой объем выборки.

Сущность и процедура теста

Пусть имеется эконометрическая модель с вектором параметров b. Необходимо проверить по выборочным данным гипотезу $H_0:~g(b)=0$, где g — совокупность (вектор) некоторых функций параметров. Идея теста основана на применении известного метода множителей Лагранжа для оценки параметров ограниченной (короткой) модели исходя из модели без ограничений (длинной модели). Пусть логарифмическая функция правдоподобия для длинной модели равна $l(b)$. Для оценки короткой модели необходимо построить функцию Лагранжа

$F(b,\lambda)=l(b)-\lambda^Tg(b)$

Тогда условия максимума будут иметь вид:

$\frac {\partial F(b,\lambda)}{\partial b}=\frac {\partial l(b)}{\partial b}-G(b)\lambda=0~,~~g(b)=0~,~G(b)=\frac {\partial g(b)} {\partial b}$

Тест основан на том, что если ограничения выполняются, то множители Лагранжа должны быть равны нулю. Поскольку вместо истинных значений параметров будут использоваться оцененные, то множители Лагранжа должны быть просто максимально близки к нулю, а именно, можно показать, что оценки множителей Лагранжа имеют нормальное распределение с нулевым математическим ожиданием и ковариационной матрицей $(GV_{\hat{b}}G^T)^{-1}$, зависящей от ковариационной матрицы оценок параметров длинной модели. Тогда статистика теста

$LM=\lambda^T GV_{\hat{b}}G^T\lambda$

будет иметь распределение Хи-квадрат, с q степенями свободы, где q — количество ограничений.

Частные случаи

При проверке линейных ограничений для линейной модели регрессии LM-статистика будет равна

Можно показать, что для классической линейной модели LM-статистика равна

$LM=\frac {ESS_S-ESS_L}{ESS_S/n}$

В частности при проверке значимости регрессии в целом (то есть при проверке гипотезы о равенстве нулю всех коэффициентов при факторах, кроме константы) $ESS_S=TSS$ - общей сумме квадратов (дисперсия зависимой переменной умноженной на n). Следовательно

$LM=\frac {TSS-ESS}{TSS/n}=n(1-ESS/TSS)=nR^2$

где $R^2$ — коэффициент детерминации

Взаимосвязь с другими тестами

Доказано, что тест Вальда (W), тест отношения правдоподобия (LR) и тест множителей Лагранжа (LM) — асимптотически эквивалентные тесты (LM=LR=W). Тем не менее для конечных выборок значения статистик не совпадают. Для линейных ограничений доказано неравенство $LM \leqslant LR \leqslant W$. Тем самым тест множителей Лагранжа будет чаще других тестов принимать нулевую гипотезу об ограничениях (реже других будет отвергать её). В случае нелинейных ограничений первая часть неравенства выполняется, а вторая — вообще говоря, нет.

Вместо LM-теста можно использовать асимптотический F-тест, статистика которого связана с LM-статистикой следующим образом:

$F=\frac {LM} {n-LM} \frac {n-k}{q}~\xrightarrow {d}~ F(q,n-k)$

где k-количество параметров модели.

Во многих случаях на малых выборках такой тест даже предпочтительней исходного LM-теста.

См. также

• Тест Вальда
• Тест отношения правдоподобия
• F-тест

Литература

• Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. — М.: Дело, 2004. — 576 с.
• William H. Greene Econometric analysis. — New York: Pearson Education, Inc., 2003. — 1026 с.