Тест Вальда | это... Что такое Тест Вальда? (original) (raw)

Тест Вальда (англ. Wald test) — статистический тест, используемый для проверки ограничений на параметры статистических моделей , оцененных на основе выборочных данных. Является одним из трех базовых тестов проверки ограничений наряду с тестом отношения правдоподобия и тестом множителей Лагранжа. Тест является асимптотическим, то есть для достоверности выводов требуется достаточно большой объем выборки.

Сущность и процедура теста

Пусть имеется эконометрическая модель с вектором параметров . Необходимо проверить по выборочным данным гипотезу H_0:~g(b)=0 , где g-совокупность (вектор) некоторых функций параметров. Идея теста заключается в том, что если нулевая гипотеза верна, то и выборочный вектор $g(\hat{b})$ должен быть в некотором смысле близок к нулю. Предполагается, что оценки параметров хотя бы состоятельны и асимптотически нормальны (таковы, например, оценки метода максимального правдоподобия),то есть

$\sqrt{n}(\hat {b}-b) \xrightarrow{n \rightarrow \infty} N(0,V) ~~~\Rightarrow~~\sqrt{n}(g(\hat {b})-g(b)) \xrightarrow{n \rightarrow \infty} N(0,G(b)VG(b)^T)$

где $G(b)=\frac{\partial g(b)}{\partial b}$ - якобиан (матрица первых производных) вектора g(b) в точке b.

Тогда

$W=g(\hat {b})^T(G(b)V_{\hat b}G^T(b))^{-1}g(\hat {b})\xrightarrow [H_0]{n \rightarrow \infty} \chi^2(q)~,~~V_{\hat b}=V/n$

Это и есть статистика Вальда. Поскольку ковариационная матрица , вообще говоря, на практике неизвестна, то вместо нее используется некоторая ее оценка. Также вместо неизвестных истинных значений коэффициентов используют их оценки $\hat b$ . Следовательно на практике мы получаем приблизительное значение вышеуказанной величины.

Если эта статистика больше критического значения $\chi^2_{\alpha}(q)$ при данном уровне значимости $\alpha~$ , то гипотеза об ограничениях отвергается в пользу модели без ограничений ("длинная модель"). В противном случае ограничения могут иметь место и лучше построить модель с ограничениями, называемую "короткой моделью".

Необходимо отметить, что тест Вальда чувствителен к способу формулировки нелинейных ограничений. Например, простое ограничение равенства двух коэффициентов можно сформулировать как равенство их отношения единице. Тогда результаты теста теоретически могут быть разными, несмотря на то, что гипотеза одна и та же.

Частные случаи

Если функции _g_-линейны, то есть проверяется гипотеза следующего вида H_0:~Ab=a , где A-некоторая матрица ограничений, _a_-некоторый вектор, то матрица G(b) в данном случае - это фиксированная матрица A. Если речь идет о классической линейной модели регрессии, то ковариационная матрица оценок коэффициентов равна $V_{\hat {b}}=\sigma^2 (X^TX)^{-1}$ . Поскольку дисперсия ошибок $\sigma^2$ неизвестна, то используют либо ее состоятельную оценку $\hat {\sigma}^2=ESS/n$ , либо несмещенную оценку s^2=ESS/(n-k) . Следовательно, статистика Вальда тогда имеет вид:

$W=(A\hat{b}-a)^T(A(X^TX)^{-1}A^T)^{-1}(A\hat{b}-a)/s^2$

В частном случае, когда матрица ограничений единичная (то есть проверяются равенства коэффициентов некоторым значениям), то формула упрощается:

$W=(\hat{b}-a)^T(X^TX)(\hat{b}-a)/s^2$

Если рассматривается только одно линейное ограничение c^Tb=a , то статистика Вальда будет равна

$W=(c^Tb-a)^2/(s^2 c^T(X^TX)^{-1}c)$

В данном случае статистика Вальда оказывается равной квадрату -статистики.

Можно показать, что статистика Вальда для классической линейной модели выражается через суммы квадратов остатков длинной и короткой моделей следующим образом

$W=\frac {ESS_S-ESS_L}{ESS_L/n}$

Здесь индекс L относится к длинной модели (long), а S-к короткой (short). Если используется несмещенная оценка дисперсии ошибок, то в формуле вместо необходимо использовать (n-k) .

В частности, для проверки значимости регрессии в целом ESS_S=TSS , поэтому получаем следующую формулу для статистики Вальда

$W=\frac {TSS-ESS}{ESS/n}=n\frac {1-ESS/TSS}{ESS/TSS}=\frac {nR^2} {1-R^2}$

где R^2 - коэффициент детерминации.

Взаимосвязь с другими тестами

Доказано, что тест Вальда (W), тест отношения правдоподобия (LR) и тест множителей Лагранжа (LM)- асимптотически эквивалентные тесты ( LM=LR=W ). Тем не менее для конечных выборок значения статистик не совпадают. Для линейных ограничений доказано неравенство $LM \leqslant LR \leqslant W$ . Тем самым тест Вальда будет чаще других тестов отвергать нулевую гипотезу об ограничениях. В случае нелинейных ограничений первая часть неравенства выполняется, а вторая - вообще говоря, нет.

Вместо теста Вальда можно использовать F-тест, статистика которого рассчитывается по формуле:

$F=\frac {n-k}{q} W/n$

или еще проще F=W/q , если при расчете статистики Вальда использовалась несмещенная оценка дисперсии. Эта статистика имеет в общем случае асимптотическое распределение Фишера F(q,n-k) . В случае нормального распределения данных - то и на конечных выборках.

Литература

Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. — М.: Дело, 2004. — 576 с.
William H. Greene Econometric analysis. — New York: Pearson Education, Inc., 2003. — 1026 с.

Статистические показатели
Описательная статистика	Непрерывные данные Коэффициент сдвига Среднее (Арифметическое, Геометрическое, Гармоническое) · Медиана · Мода · Размах Вариация Ранг · Среднеквадратическое отклонение · Коэффициент вариации · Квантиль (Дециль, Процентиль/Перцентиль/Центиль) Моменты Математическое ожидание · Дисперсия · Асимметрия · Эксцесс Дискретные данные Частота · Таблица контингентности
Статистический вывод и проверка гипотез	Статистический вывод Доверительный интервал (Частотная вероятность) · Достоверный интервал (Байесовский вывод) · Статистическая значимость · Мета-анализ Планирование эксперимента Генеральная совокупность · Планирование выборки · Районированная выборка · Репликация · Группировка · Чувствительность и специфичность Объём выборки Статистическая мощность · Мера эффекта · Стандартная ошибка Общая оценка Байесовская оценка решения · Метод максимального правдоподобия · Метод моментов нахождения оценок · Оценка минимального расстояния · Оценка максимального интервала Статистические критерии Z-тест · t-критерий Стьюдента · Критерий Фишера · Критерий Пирсона (Хи-квадрат) · Критерий согласия Колмогорова · Тест Вальда · U-критерий Манна — Уитни · Критерий Уилкоксона · Критерий Краскела — Уоллиса · Критерий Кохрена · Критерий Лиллиефорса Анализ выживания Функция выживания · Оценка Каплана — Мейера · Логранк-тест · Интенсивность отказов · Пропорциональная модель опасностей
Корреляция	Коэффициент корреляции Пирсона · Ранг корреляций (Коэффициент Спирмана для ранга корреляций, Коэффициент тау Кендалла для ранга корреляций) · Переменная смешивания
Линейные модели	Основная линейная модель · Обобщённая линейная модель · Анализ вариаций · Ковариационный анализ
Регрессия	Линейная · Нелинейная · Непараметрическая регрессия · Полупараметрическая регрессия · Логистическая регрессия

Столбчатая диаграмма · Совмещённая диаграмма · Диаграмма управления · Лесная диаграмма · Гистограмма · Q-Q диаграмма · Диаграмма выполнения · Диаграмма разброса · Стебель-листья · Ящик с усами