next up previous index
Next:  Критерии согласия   Up:  Проверка гипотез   Previous:  Подходы к сравнению критериев

7.3.   Построение оптимальных критериев

Следующее замечательное утверждение, по недоразумению называемое леммой, заявляет, что оптимальные во всех трех смыслах (минимаксные, байесовские, наиболее мощные) критерии могут быть построены в самом общем случае простым выбором различных констант в одном и том же критерии — критерии отношения правдоподобия.

Пусть ${\mathbf X}=(X_1, \ldots, X_n)$ — выборка (набор независимых, одинаково распределенных величин), и имеются две гипотезы о распределении $X_i$:

\begin{displaymath} H_1=\{X_i\textrm{ имеют распределение }\mathscr F_1\} \textr... ...и \quad} H_2=\{X_i\textrm{ имеют распределение }\mathscr F_2 \}\end{displaymath}

Пусть $f_1(y)$ — плотность распределения $\mathscr F_1$, $f_2(y)$ — плотность распределения $\mathscr F_2$, а

\begin{displaymath} f_1({\mathbf X})=f_1(X_1, \ldots, X_n)=\prod_{i=1}^n f_1(X_i... ...f_2({\mathbf X})=f_2(X_1, \ldots, X_n)= \prod_{i=1}^n f_2(X_i) \end{displaymath}

— соответствующие функции правдоподобия.

Предполагается,    что распределения $\mathscr F_1$ и $\mathscr F_2$ либо оба дискретны, либо оба абсолютно непрерывны.

Замечание 17.

Если одно из распределений дискретно, а другое абсолютно непрерывно, то всегда существует критерий с нулевыми вероятностями ошибок. Смешанные распределения мы рассматривать не будем. Математики вместо этого могут предполагать, что оба распределения абсолютно непрерывны относительно одной и той же $\sigma$-конечной меры и имеют относительно нее плотности $f_1(y)$ и $f_2(y)$.

Мы будем выбирать гипотезу в зависимости от отношения функций правдоподобия. Напомним, что функция правдоподобия есть плотность распределения выборки.

Обратимся к примеру 30. Естественным кажется принимать вторую гипотезу, если $X_1$ лежит правее точки пересечения плотностей $c=1/2$. То есть

там, где вторая плотность больше, принимать вторую гипотезу, там, где первая — первую.

Такой критерий сравнивает отношение $f_2(x_1,\ldots,x_n)/f_1(x_1,\ldots,x_n)$ с единицей, относя к критической области ту часть ${\textrm{\upshape I\kern-0.20em R}}^n$, где это отношение больше единицы. Заметим, что при этом мы получим ровно один, не обязательно оптимальный, критерий с некоторым фиксированным размером и мощностью.

Если же нужно получить критерий c заранее заданным размером $\alpha_1=\varepsilon$, либо иметь возможность варьировать и размер, и мощность критерия, то следует рассмотреть класс похожих критериев, введя свободный параметр:

там, где вторая плотность в $c$ раз превосходит первую, выбирать вторую гипотезу, иначе — первую,

т.е. сравнивать отношение плотностей $f_2(x_1,\ldots,x_n)/f_1(x_1,\ldots,x_n)$ не с единицей, а с некоторой постоянной $c$.

Назовем отношением правдоподобия частное

\begin{equation} T({\mathbf x})=T(x_1,\ldots,x_n)=\dfrac{f_2(x_1,\ldots,x_n)}{f_1(x_1,\ldots,x_n)}\,,\end{equation}(18)

рассматривая его лишь при таких значениях ${\mathbf x}$, когда хотя бы одна из плотностей отлична от нуля. Имеется в виду, что $0/a=0$, $a/0=+\infty$.

Конструкция критерия, который мы живописали выше, сильно усложнится в случае, когда распределение случайной величины $T({\mathbf X})$ не является непрерывным, т.е. существует такое число $c$, что вероятность $\Delta_c={\mathsf P}\,{\!}_{H_1}(f_2({\mathbf X})/f_1({\mathbf X})=c)$ отлична от нуля. Это означает, что на некотором «большом» множестве значений выборки обе гипотезы «равноправны»: отношение правдоподобия постоянно. Относя это множество целиком к критическому множеству или целиком исключая из него, мы меняем вероятность ошибки первого рода (размер) критерия на положительную величину $\Delta_c$:

\begin{displaymath} {\mathsf P}\,{\!}_{H_1}(T({\mathbf X}){\, \color {red} \pmb... ...H_1}(T({\mathbf X}) {\, \color {red} \pmb{\gt}\,} c)+\Delta_c.\end{displaymath}

И если вдруг мы захотим приравнять вероятность ошибки первого рода к заранее выбранному числу $\varepsilon$, может случиться так, что критерий с критическим множеством $S=\{T({\mathbf x})\geqslant c\}$ имеет размер больший, чем $\varepsilon$, а критерий с критическим множеством $S=\{T({\mathbf x}) \gt c\}$ — размер меньший, чем $\varepsilon$.

    Поэтому для математиков, не читающих [1], мы сформулируем замечательно мощное утверждение мелким шрифтом, зато в общем случае. Затем для почти математиков сформулируем и докажем частный, но наиболее частый случай, когда отношение правдоподобия $T({\mathbf X})$ имеет при верной первой гипотезе непрерывную функцию распределения, т.е. $\Delta_c=0$ для любого $c$.



7.3.1.   Из человеколюбия (для математиков)


Определение 26.

Функция $\delta({\mathbf X})$, принимающая значения в интервале $[0,1]$ в зависимости от значений выборки, называется рандомизированным критерием.

Значение этой функции трактуют как вероятность принять вторую (так удобнее) гипотезу в некотором дополнительном эксперименте. Т.е., получив значение $\delta({\mathbf X})=3/4$, мы должны дополнительно провести испытание с вероятностью успеха $3/4$, и в случае успеха принять $H_2$, в случае неудачи — $H_1$.

Значение $\delta({\mathbf X})=1$ предписывает принять вторую гипотезу (с вероятностью 1, т.е. обязательно), а значение $\delta({\mathbf X})=0$ предписывает не принимать вторую гипотезу, а принять первую.

Напомним, что $T({\mathbf X})$ есть отношение правдоподобия, которое мы ввели в (18).

Определение 27.

Рандомизированный критерий, устроенный следующим образом:

\begin{displaymath} \delta_{c,p}({\mathbf X})=\begin{cases} 0, & \textrm{если } ... ...ается } H_2, \textrm{ если } T({\mathbf X})\gt c, \end{cases}\end{displaymath}

называется критерием отношения правдоподобия (КОП).


Размер и мощность КОП вычисляются по формуле полной вероятности. Размер равен

\begin{displaymath} \alpha_1(\delta_{c,p})={\mathsf P}\,{\!}_{H_1}(\textrm{приня... ...athbf X})=c) ={\mathsf E}\,{\!}_{H_1}\delta_{c,p}({\mathbf X}).\end{displaymath}

Мощность равна

\begin{displaymath} 1-\alpha_2(\delta_{c,p})={\mathsf P}\,{\!}_{H_2}(\textrm{при... ...athbf X})=c) ={\mathsf E}\,{\!}_{H_2}\delta_{c,p}({\mathbf X}).\end{displaymath}

Вероятность ошибки второго рода можно найти и иначе:

\begin{displaymath} \alpha_2(\delta_{c,p})={\mathsf P}\,{\!}_{H_2}(\textrm{приня... ...hbf X})=c) =1-{\mathsf E}\,{\!}_{H_2}\delta_{c,p}({\mathbf X}).\end{displaymath}


Лемма Неймана — Пирсона.

Существуют постоянные $c$ и $p$, при которых критерий отношения правдоподобия является

1)
минимаксным критерием; числа $c$ и $p$ следует выбрать так, чтобы вероятности ошибок первого и второго рода были одинаковы: $\alpha_1(\delta_{c,p})=\alpha_2(\delta_{c,p})$;
2)
байесовским критерием при заданных априорных вероятностях $r$ и $s$; число $p$ может быть любым, а $c$ выбирается равным отношению $r/s$;
3)
для любого $0{<}\varepsilon{<}1$ наиболее мощным критерием размера $\varepsilon$; числа $c$ и $p$ должны быть выбраны так, чтобы размер критерия равнялся $\varepsilon$:

\begin{displaymath} \alpha_1(\delta_{c,p})= {\mathsf P}\,{\!}_{H_1}(T({\mathbf X... ...c)+p\cdot{\mathsf P}\,{\!}_{H_1}(T({\mathbf X})=c)=\varepsilon.\end{displaymath}


Мы не ограничиваем значения $c$ областью $c\gt$. Возможность брать $c=0$ (меньше бессмысленно, ибо $T({\mathbf x})\geqslant 0$) избавляет от ограничения $\varepsilon\leqslant{\mathsf P}\,{\!}_{H_1}(f_2({\mathbf X})\gt)$ на возможный размер НМК. Это довольно сомнительное обобщение — ведь уже критерий $\delta({\mathbf X})={\mathbf I}(f_2({\mathbf X})\gt)$ имеет единичную мощность при размере равном ${\mathsf P}\,{\!}_{H_1}(f_2({\mathbf X})\gt)$. Можно увеличивать размер и дальше, но мощности расти уже некуда. Такой НМК будет принимать с положительной вероятностью гипотезу $H_2$ там, где она верна быть не может — в области $f_2({\mathbf x})=0$.



7.3.2.   Лемма Неймана — Пирсона

Всюду далее предполагается, что

Функция $R(c)={\mathsf P}\,{\!}_{H_1}(T({\mathbf X})\geqslant c)$ непрерывна по $c$ при $c\gt$.
(19)

Функция $R(c)$ есть просто хвост функции распределения случайной величины $T({\mathbf X})$:

\begin{displaymath} R(c)=1-{\mathsf P}\,{\!}_{H_1}(T({\mathbf X})<c).\end{displaymath}

Ее непрерывность означает, что величина $\Delta_c={\mathsf P}\,{\!}_{H_1}(T({\mathbf X})=c)$ равна нулю для любого $c\gt$. Это предположение избавляет нас от необходимости рассматривать рандомизированные критерии. Итак,

Определение 28.

В предположении (19) критерий

\begin{displaymath} \delta_{c}({\mathbf X})=\begin{cases} H_1, & \textrm{если } ... ...X_1,\ldots,X_n)}{f_1(X_1,\ldots,X_n)}\geqslant c, \end{cases}\end{displaymath}

назовем критерием отношения правдоподобия (КОП).

Размер и вероятность ошибки второго рода этого критерия равны соответственно

\begin{displaymath} \alpha_1(\delta_{c})= {\mathsf P}\,{\!}_{H_1}(T({\mathbf X})... ...alpha_2(\delta_{c})= {\mathsf P}\,{\!}_{H_2}(T({\mathbf X})<c).\end{displaymath}

Лемма Неймана — Пирсона.

Пусть выполнено (19). Тогда существует постоянная $c$, при которой критерий отношения правдоподобия является

1)
минимаксным критерием; число $c$ следует выбрать так, чтобы вероятности ошибок первого и второго рода были одинаковы: $\alpha_1(\delta_{c})=\alpha_2(\delta_{c})$;
2)
байесовским критерием при заданных априорных вероятностях $r$ и $s$; число $c$ выбирается равным отношению $r/s$;
3)
для любого $0<\varepsilon\leqslant{\mathsf P}\,{\!}_{H_1}(f_2({\mathbf X})\gt)$ наиболее мощным критерием размера $\varepsilon$; число $c$ должно быть выбрано так, чтобы размер критерия равнялся $\varepsilon$: $\alpha_1(\delta_{c})=\varepsilon.$

Доказательство.  Доказать достаточно два утверждения: существование постоянной $c$, удовлетворяющей первому и третьему пунктам леммы, и оптимальность соответствующего критерия. Начнем с третьего пункта.

1.
Докажем, что для любого $0<\varepsilon\leqslant{\mathsf P}\,{\!}_{H_1}(f_2({\mathbf X})\gt)$ существует постоянная $c$ такая, что $R(c)=\alpha_1(\delta_c)=\varepsilon$. Функция $R(c)={\mathsf P}\,{\!}_{H_1}(T({\mathbf X})\geqslant c)$ не возрастает по $c$. Предел $R(c)$ при $c{\to}\infty$ равен нулю, поскольку событие $\{T({\mathbf X})=\infty\}=\{f_1({\mathbf X})=0\}$ имеет нулевую вероятность ${\mathsf P}\,{\!}_{H_1}(f_1({\mathbf X})=0)=0$. Заметим также, что

\begin{displaymath} R(+0)={\mathsf P}\,{\!}_{H_1}(T({\mathbf X}) \gt 0)={\mathsf P}\,{\!}_{H_1}(f_2({\mathbf X})\gt)\geqslant \varepsilon.\end{displaymath}

Итак, $R(c)$ непрерывно меняется от $R(+0)$ до , поэтому для любого $0<\varepsilon\leqslant R(+0)$ существует $c$ такое, что $R(c)=\alpha_1(\delta_c)=\varepsilon$.

2.
Для первого пункта докажем существование такой $c$, что $\alpha_1(\delta_{c})=\alpha_2(\delta_{c})$.

Функция $\alpha_2(\delta_c)={\mathsf P}\,{\!}_{H_2}(T({\mathbf X}) < c)$, в отличие от $R(c)$, не убывает по $c$. К тому же при $c\to 0$ величина $\alpha_2(\delta_c)$ стремится к ${\mathsf P}\,{\!}_{H_2}(T({\mathbf X}) = 0)={\mathsf P}\,{\!}_{H_2}(f_2({\mathbf X}) = 0)=0$. Она тоже, подобно $R(c)$, при $c\gt$ непрерывна по $c$ из-за предположения (19):

\begin{displaymath} {\mathsf P}\,{\!}_{H_2}(T({\mathbf X})=c)=\hspace*{-5mm}\int... ...})\,d{\mathbf y} =c{\mathsf P}\,{\!}_{H_1}(T({\mathbf X})=c)=0.\end{displaymath}

Поэтому функции $R(c)=\alpha_1(\delta_c)$ и $\alpha_2(\delta_c)$ пересекаются хотя бы однажды.

3.
Далее нам потребуется следующее красивое равенство.

Лемма 3.

Введем функцию $\phi({\mathbf y})=\min\left\{\,f_2({\mathbf y}),\, c\,f_1({\mathbf y})\,\right\}$. Для нее

\begin{displaymath} \alpha_2(\delta_c)+c\alpha_1(\delta_c)=\int\limits_{{\textrm{\upshape I\kern-0.20em R}}^n} \phi({\mathbf y}) \,d{\mathbf y}.\end{displaymath}

Действительно,

\begin{displaymath} \alpha_2(\delta_c)+c\alpha_1(\delta_c)= {\mathsf P}\,{\!}_{H... ...slant c\}}\hspace*{-4mm} f_1({\mathbf y}) \,d{\mathbf y}. \quad\end{displaymath}

Но на множестве $\{T({\mathbf y})<c\}=\{f_2({\mathbf y})<c f_1({\mathbf y})\}$ подынтегральная функция $f_2({\mathbf y})$ совпадает с $\phi({\mathbf y})$. И на множестве $\{T({\mathbf y})\geqslant c\}=\{f_2({\mathbf y})\geqslant c f_1({\mathbf y})\}$ подынтегральная функция $cf_1({\mathbf y})$ тоже совпадает с $\phi({\mathbf y})$. Продолжая цепочку равенств, получим

\begin{displaymath} \alpha_2(\delta_c)+c\alpha_1(\delta_c) =\int\limits_{\{T({\m... ...\upshape I\kern-0.20em R}}^n} \phi({\mathbf y}) \,d{\mathbf y}.\end{displaymath}

Q.D.E.


Пусть $\delta$ — любой другой критерий. Лемма 3 влечет странное следствие:


Следствие 4.

Каково бы ни было $c\gt$, вероятности ошибок любого критерия $\delta$ связаны с вероятностями ошибок КОП $\delta_c$ неравенством

\begin{equation} \alpha_2(\delta)+c\alpha_1(\delta) \geqslant \alpha_2(\delta_c)+c\alpha_1(\delta_c).\end{equation}(20)

Доказательство.

Рассматривая для краткости нерандомизированный критерий $\delta$, получим

\begin{multline*} \alpha_2(\delta)+c\alpha_1(\delta) = \int\limits_{\{\delta({\m... ...athbf y})\,d{\mathbf y} =\alpha_2(\delta_c)+c\alpha_1(\delta_c).\end{multline*}

Q.D.E.


4.
Используя неравенство (20), докажем оптимальность КОП во всех трех смыслах.

I.  Пусть $c$ таково, что $\alpha_1(\delta_c)=\alpha_2(\delta_c)=\max\{\alpha_1(\delta_c),\alpha_2(\delta_c)\}$. Тогда правая часть неравенства (20) равна $(1+c)\max\{\alpha_1(\delta_c),\alpha_2(\delta_c)\}$, и для любого иного критерия $\delta$

\begin{displaymath} (1+c)\max\{\alpha_1(\delta_c),\alpha_2(\delta_c)\}\leqslant ... ...delta)\leqslant (1+c)\max\{\alpha_1(\delta),\alpha_2(\delta)\}.\end{displaymath}

Итак, $\max\{\alpha_1(\delta_c),\alpha_2(\delta_c)\}\leqslant\max\{\alpha_1(\delta),\alpha_2(\delta)\}$, т.е. $\delta_c$ — минимаксный.

II.  Пусть $c=r/s$ и $s\ne 0$. Тогда для любого иного критерия $\delta$ неравенство (20) превращается в определение байесовского критерия:

\begin{displaymath} \alpha_2(\delta)+\dfrac{r}{s}\alpha_1(\delta)\leqslant \alph... ...pha_1(\delta)\leqslant s\alpha_2(\delta_c)+r\alpha_1(\delta_c).\end{displaymath}

Если же $s=0$, то $c=\infty$. Тогда КОП имеет нулевой размер и автоматически является байесовским.

III.  Пусть $c$ таково, что $\alpha_1(\delta_c)=\varepsilon$. Любой иной критерий $\delta$ из класса $K_\varepsilon$ имеет размер $\alpha_1(\delta)\leqslant\varepsilon$. Используя в неравенстве (20) оба этих размера, получим

\begin{displaymath} \alpha_2(\delta_c)+c\varepsilon = \alpha_2(\delta_c)+c\alpha... ...elta)+c\alpha_1(\delta)\leqslant \alpha_2(\delta)+c\varepsilon.\end{displaymath}

Итак, $\alpha_2(\delta_c)\leqslant \alpha_2(\delta)$, т.е. $\delta_c$ — НМК в классе $K_\varepsilon$.

Наконец лемма Неймана — Пирсона доказана.

Q.D.E.


Пример 31.

Имеется выборка $X_1$, $\ldots$, $X_n$ из нормального распределения со средним $a$ и единичной дисперсией. Построим минимаксный, байесовский для $r=1/3$, $s=2/3$ и наиболее мощный размера $\varepsilon$ критерии для проверки гипотезы $H_1=\{a=a_1\}$ против альтернативы $H_2=\{a=a_2\}$, где $a_1<a_2$. Отношение правдоподобия имеет абсолютно непрерывное распределение при любой из гипотез, поэтому критерий отношения правдоподобия 28 будет нерандомизированным, и достаточно описать только его критическую область $\delta({\mathbf X})=H_2$. Она определяется неравенством

\begin{equation} T({\mathbf X})=\dfrac{f_2({\mathbf X})}{f_1({\mathbf X})}= \exp... ...i-a_1)^2- \dfrac{1}{2}\sum_{i=1}^n(X_i-a_2)^2\right\} \geqslant c.\end{equation}(21)

Критерий будет байесовским при $c=r/s=1/2$. Упростим неравенство (21). Получим

\begin{displaymath} \delta({\mathbf X})=H_2 \quad \textrm{ при } \quad \overline X\gt\dfrac{\tfrac12(a_2^2-a_1^2)-\tfrac1n\ln2}{a_2-a_1}.\end{displaymath}

Например, при $a_1=0$ и $a_2=1$ критическая область имеет вид $\overline X\gt\tfrac12-\tfrac1n\ln2$. Чтобы построить минимаксный и наиболее мощный критерии, запишем неравенство (21) в эквивалентном виде $\overline X\geqslant c_1$, и искать будем $c_1$, а не $c$. Размер и вероятность ошибки второго рода равны соответственно

\begin{eqnarray*} &&\alpha_1(\delta) = {\mathsf P}\,{\!}_{H_1}\!\left(\overline ... ...c_1{-}a_2)\right) =\Phi_{0,1}\!\left(\sqrt n\,(c_1{-}a_2)\right).\end{eqnarray*}

При $\alpha_1(\delta){=}\varepsilon$ получим НМК размера $\varepsilon$. Отсюда $\sqrt n(c_1{-}a_1)=\tau_{1-\varepsilon}$, где $\tau_{1-\varepsilon}$ — квантиль уровня $1-\varepsilon$ стандартного нормального распределения. Тогда $c_1=a_1+\tau_{1-\varepsilon}/\!\sqrt n$ и НМК размера $\varepsilon$ имеет вид

\begin{displaymath} \delta({\mathbf X})=H_2 \quad \textrm{ при } \quad \overline X\gt a_1+\dfrac{\tau_{1-\varepsilon}}{\sqrt{n}}.\end{displaymath}

При $\alpha_1(\delta)=\alpha_2(\delta)$ получим минимаксный критерий. Пользуясь свойствами функции распределения стандартного нормального закона, запишем

\begin{displaymath} 1-\Phi_{0,1}\left(\sqrt n\,(c_1-a_1)\right)=\Phi_{0,1}\left(... ...,(c_1-a_2)\right) =1-\Phi_{0,1}\left(\sqrt n\,(a_2-c_1)\right),\end{displaymath}

откуда $c_1-a_1=a_2-c_1$ и $c_1=(a_1+a_2)/2$. Минимаксный критерий имеет вид

\begin{displaymath} \delta({\mathbf X})=H_2 \quad \textrm{ при } \quad \overline X\gt\dfrac{a_1+a_2}{2}.\end{displaymath}


Пример 32.

Имеется выборка $X_1$, $\ldots$, $X_n$ из нормального распределения со средним и дисперсией $\sigma^2$, $\sigma\gt$. Построим наиболее мощный критерий размера $\varepsilon$для проверки гипотезы $H_1=\{\sigma=\sigma_1\}$ против альтернативы $H_2=\{\sigma=\sigma_2\}$, где $\sigma_1<\sigma_2$. Отношение правдоподобия снова имеет абсолютно непрерывное распределение при любой из гипотез, поэтому критерий отношения правдоподобия из определения 28 будет нерандомизированным. Его критическая область $\delta({\mathbf X})=H_2$ определяется неравенством

\begin{displaymath} T({\mathbf X})=\dfrac{\sigma_1^n}{\sigma_2^n} \exp\left\{\df... ...ac{1}{\sigma_2^2}\right)\sum_{i=1}^n X_i^2\right\} \geqslant c,\end{displaymath}

что эквивалентно неравенству $\overline{X^2}\geqslant c_1$. Найдем $c_1$, при котором размер критерия равен $\varepsilon$:

\begin{displaymath} \alpha_1(\delta) = {\mathsf P}\,{\!}_{H_1}\!\left(\overline{... ...right)=1-H_n\left(\dfrac{nc_1}{\sigma_1^2}\right) =\varepsilon.\end{displaymath}

Отсюда $nc_1/\sigma_1^2=h_{1-\varepsilon}$, где $h_{1-\varepsilon}$ — квантиль $\chi^2$-распределения с $n$ степенями свободы уровня $1-\varepsilon$. Тогда $c_1=h_{1-\varepsilon}\sigma_1^2/n$ и НМК размера $\varepsilon$ имеет вид

\begin{displaymath} \delta({\mathbf X})=H_2 \quad \textrm{ при } \quad \overline{X^2}\gt\dfrac{h_{1-\varepsilon}\sigma_1^2}{n}.\end{displaymath}

next up previous index
Next:  Критерии согласия   Up:  Проверка гипотез   Previous:  Подходы к сравнению критериев


N.I.Chernova
9 сентября 2002