next up previous index
Next:  Критерий Пирсона для проверки   Up:  Критерии согласия   Previous:  Критерии согласия: критерий Колмогорова

8.2.   Критерии согласия: критерий $\chi^2$ Пирсона

Критерий $\chi^2$ (K.Pearson, 1900) основывается на группированных данных. Область значений предполагаемого распределения $\mathscr F_1$ делят на некоторое число интервалов. После чего строят функцию отклонения $\rho$ по разностям теоретических вероятностей попадания в интервалы группировки и эмпирических частот.

Имеется выборка ${\mathbf X}=(X_1, \ldots, X_n)$ из распределения $\mathscr F$. Проверяется простая гипотеза $H_1=\{\mathscr F=\mathscr F_1\}$ против сложной альтернативы $H_2=\{\mathscr F\ne\mathscr F_1\}$.

Пусть, как в параграфе 1.6, $A_1$, $\ldots$, $A_k$ — интервалы группировки в области значений случайной величины с распределением $\mathscr F_1$. Обозначим для $j=1,\ldots,k$ через $\nu_j$ число элементов выборки, попавших в интервал $A_j$

\begin{displaymath} \nu_j=\{\textrm{число } X_i \in A_j\}=\sum_{i=1}^n {\mathbf I}(X_i \in A_j),\end{displaymath}

и через $p_j\gt$ — теоретическую вероятность ${\mathsf P}\,{\!}_{H_1}(X_1\in A_j)$ попадания в интервал $A_j$ случайной величины с распределением $\mathscr F_1$. С необходимостью, $p_1+\ldots+p_k=1$. Как правило, длины интервалов выбирают так, чтобы $p_1=\ldots=p_k=1/k$.

Пусть

\begin{equation} \rho({\mathbf X})= \sum_{j=1}^k \dfrac{(\nu_j-np_j)^2}{np_j}.\end{equation}(23)

Замечание 18.

Свойство K1(б) выполнено далеко не для всех альтернатив. Если распределение выборки $\mathscr F_2\ne\mathscr F_1$ имеет такие же, как у $\mathscr F_1$, вероятности $p_j$ попадания в каждый из интервалов $A_j$, то по данной функции $\rho$ эти распределения различить невозможно.

Поэтому на самом деле критерий, который мы построим по функции $\rho$ из (23), решает совсем иную задачу. А именно, пусть задан набор вероятностей $p_1,\ldots,p_k$ такой, что $p_1+\ldots+p_k=1$. Критерий $\chi^2$ предназначен для проверки сложной гипотезы

\begin{displaymath} H_1'=\bigl\{\textrm{распределение } X_1 \textrm{ обладает св... ...f P}\,(X_1\in A_j)=p_j \textrm{ для всех } j=1,\ldots,k \bigr\}\end{displaymath}

против сложной альтернативы $H_2'=\{H_1' \textrm{ неверна}\}$, т.е.

\begin{displaymath} H_2'=\bigl\{\textrm{хотя бы для одного из интервалов вероят... ... {\mathsf P}\,(X_1\in A_j) \textrm{ отличается от } p_j\bigr\}.\end{displaymath}

Покажем, что $\rho({\mathbf X})$ удовлетворяет условию K1(a).


Теорема Пирсона.

Если верна гипотеза $H_1'$, то при фиксированном $k$ и при $n\to\infty$

\begin{displaymath} \rho({\mathbf X})= \sum_{j=1}^k \dfrac{(\nu_j-np_j)^2}{np_j} \Rightarrow {\mathsf H}_{k-1},\end{displaymath}

где, напомним, ${\mathsf H}_{k-1}$ есть $\chi^2$-распределение с $k{-}1$степенью свободы.


Стоит остановиться и задать себе вопрос. Величина $\rho$ есть сумма $k$ слагаемых. Слагаемые, если вы не забыли ЦПТ или теорему Муавра — Лапласа, имеют распределения, близкие к квадратам каких-то нормальных. Куда потерялась одна степень свободы?
Причина кроется, конечно, в зависимости слагаемых: $\nu_k=n-\nu_1-\ldots-\nu_{k-1}$.

Докажем теорему Пирсона при $k=2$.

В этом случае $\nu_2=n-\nu_1$, $p_2=1-p_1$. Посмотрим на $\rho$ и вспомним ЦПТ:

\begin{displaymath} \rho({\mathbf X})=\dfrac{(\nu_1{-}np_1)^2}{np_1}+\dfrac{(\nu... ...{-}np_1)^2}{np_1}+\dfrac{(n{-}\nu_1{-}n(1{-}p_1))^2}{n(1-p_1)}=\end{displaymath}

\begin{displaymath} =\dfrac{(\nu_1-np_1)^2}{np_1}+\dfrac{(-\nu_1+np_1)^2}{n(1-p_... ...(1-p_1)}= \left(\dfrac{\nu_1-np_1}{\sqrt{np_1(1-p_1)}}\right)^2\end{displaymath}.

Но величина $\nu_1$ есть сумма $n$ независимых случайных величин с распределением Бернулли ${\mathsf B}_{p_1}$, и по ЦПТ

\begin{displaymath} \dfrac{\nu_1-np_1}{\sqrt{np_1(1-p_1)}} \Rightarrow \xi, \end{displaymath}

где $\xi$ имеет стандартное нормальное распределение. Поэтому

\begin{displaymath} \rho({\mathbf X})=\left(\dfrac{\nu_1-np_1}{\sqrt{np_1(1-p_1)}}\right)^2 \Rightarrow \xi^2.\end{displaymath}

Величина $\xi^2$ имеет $\chi^2$-распределение ${\mathsf H}_1$ с одной степенью свободы.

Q.D.E.


Для экономистов, только приступающих к знакомству с многомерным нормальным распределением, матрицами ковариаций и всевозможными квадратичными формами, составленными из (асимптотически) нормальных слагаемых, исключительно полезно познакомиться с доказательством теоремы Пирсона в общем случае. Параграф 1 приложения, который познакомит читателя с многомерным нормальным распределением, стоит напечатать и повесить в изголовье кровати до окончания курса эконометрики.

Функция $\rho({\mathbf X})$ удовлетворяет условию K1(б). Действительно,

Упражнение.    Вспомнить закон больших чисел и доказать, что если $H_1'$ неверна, то найдется $j\in\{1,\ldots,k\}$ такое, что

\begin{displaymath} \dfrac{(\nu_j-np_j)^2}{np_j}= \dfrac{n}{p_j} \left(\dfrac{\nu_j}{n}-p_j\right)^2 \buildrel {p} \over \longrightarrow \infty.\end{displaymath}


Осталось построить критерий в соответствии с K2.

Пусть случайная величина $\chi^2_{k-1}$ имеет распределение ${\mathsf H}_{k-1}$. По таблице распределения ${\mathsf H}_{k-1}$ найдем $C$ равное квантили уровня $1-\varepsilon$ этого распределения. Тогда $\varepsilon={\mathsf P}\,(\chi^2_{k-1}\geqslant C)$ и критерий согласия $\chi^2$ выглядит как все критерии согласия:

\begin{displaymath} \delta({\mathbf X})=\begin{cases} H_1', & \textrm{если }\rh... ... H_2', & \textrm{если }\rho({\mathbf X})\geqslant C.\end{cases}\end{displaymath}


Замечание 19.

На самом деле критерий $\chi^2$ применяют и для решения первоначальной задачи о проверке гипотезы $H_1=\{\mathscr F=\mathscr F_1\}$. Необходимо только помнить, что этот критерий не состоятелен для альтернатив с теми же вероятностями попадания в интервалы разбиения, что и у $\mathscr F_1$. Поэтому берут большое число интервалов разбиения — чем больше, тем лучше, чтобы «уменьшить» число альтернатив, неразличимых с предполагаемым распределением.


Внимание!  Опасность!


Замечание 20.

Сходимость по распределению $\rho({\mathbf X})\Rightarrow{\mathsf H}_{k-1}$обеспечивается ЦПТ, поэтому разница допредельной и предельной вероятностей имеет тот же порядок, что и погрешность нормального приближения

\begin{displaymath} \lvert{\mathsf P}\,(\rho({\mathbf X})\geqslant C)-{\mathsf P... ... примерно! } \max \left\{\frac{b}{ \sqrt{np_j(1-p_j)} }\right\}\end{displaymath}

(см. неравенство Берри — Эссеена для погрешности в ЦПТ), где $b$ — некоторая постоянная. Маленькие значения $np_j$ в знаменателе приведут к тому, что распределение $\rho({\mathbf X})$ будет существенно отличаться от ${\mathsf H}_{k-1}$. Тогда и реальная вероятность ${\mathsf P}\,(\rho\geqslant C)$ — точный размер полученного критерия — будет сильно отличаться от $\varepsilon$. Поэтому для выборки объема $n$ число интервалов разбиения выбирают так, чтобы обеспечить нужную точность при замене распределения $\rho({\mathbf X})$ на ${\mathsf H}_{k-1}$.

Обычно требуют, чтобы $np_1 = \ldots = np_k$ были не менее $5$-$6$.


N.I.Chernova
9 сентября 2002