Среднеквадратический подход. Эффективность оценок

Определение 8.

Говорят, что оценка $\theta^*_1$ лучше оценки $\theta^*_2$ в смысле среднеквадратического подхода, если для любого $\theta \in \Theta$

$\begin{displaymath} {\mathsf E}_\theta\,(\theta^*_1-\theta)^2 \leqslant {\mathsf E}_\theta\,(\theta^*_2-\theta)^2,\end{displaymath}$

и хотя бы при одном $\theta$ это неравенство строгое.

Существует ли среди всех оценок наилучшая в смысле среднеквадратического подхода? Скептик сразу ответит «нет». Покажем, что он прав. Предположим, что мы имеем дело с невырожденной задачей: ни для какой статистики $\theta^*$ невозможно тождество: $\theta^*=\theta$ при любых $\theta \in \Theta$ .

Доказательство теоремы 4. Пусть, напротив, $\theta^*$ — наилучшая, то есть для любой другой оценки $\theta^*_1$ , при любом $\theta \in \Theta$ выполнено

$\begin{displaymath} {\mathsf E}_\theta\,(\theta^*-\theta)^2 \leqslant {\mathsf E}_\theta\,(\theta^*_1-\theta)^2.\end{displaymath}$

Пусть $\theta_1$ — произвольная точка $\Theta$ . Рассмотрим статистику $\theta^*_1\equiv\theta_1$ . Тогда

$\begin{displaymath} {\mathsf E}_\theta\,(\theta^*-\theta)^2 \leqslant {\mathsf E}_\theta\,(\theta_1-\theta)^2 \textrm{при любом } \theta\in\Theta.\end{displaymath}$ при любом $\theta \in \Theta$ .

В частности, при $\theta=\theta_1$ получим ${\mathsf E}\,{\!}_{\theta_1}(\theta^*-\theta_1)^2 \leqslant {\mathsf E}\,{\!}_{\theta_1}(\theta_1-\theta_1)^2 = 0$ . Поэтому ${\mathsf E}\,{\!}_{\theta_1}(\theta^*-\theta_1)^2 =0$ . Но, поскольку $\theta_1$ произвольно, то при любом $\theta \in \Theta$ выполняется ${\mathsf E}_\theta\,(\theta^*-\theta)^2 = 0$ . А это возможно только если $\theta^*\equiv\theta$ (оценка в точности отгадывает неизвестный параметр), т.е. для вырожденной с точки зрения математической статистики задачи.

Вырожденными являются, например, следующие задачи:

для выборки из ${\mathbf I}_\theta$ , $\theta\in{\textrm{\upshape I\kern-0.20em R}}$ , выполнено тождество $X_1\equiv\theta$ ;

для выборки из ${\mathsf U}_{\theta,\theta+1}$ , $\theta\in{\textrm{\upshape Z\!\!\!\!\!Z}}$ , выполнено тождество $\bigl[X_1\bigr]\equiv\theta$ .

Если в классе всех оценок наилучшей не существует, то, возможно, следует разбить класс всех оценок на отдельные подклассы и в каждом искать наилучшую.

Обычно рассматривают оценки, имеющие одинаковое смещение

$\begin{displaymath} b(\theta)={\mathsf E}_\theta\,\theta^*-\theta.\end{displaymath}$

Обозначим через $K_b=K_{b(\theta)}$ класс оценок, имеющих смещение, равное заданной функции $b(\theta)$ :

$\begin{displaymath} K_b=\left\{\theta^* : {\mathsf E}_\theta\,\theta^* = \theta ... ...eft\{\theta^* : {\mathsf E}_\theta\,\theta^* = \theta \right\}.\end{displaymath}$

Определение 9.

Оценка $\theta^*\in K_b$ называется эффективной оценкой в классе , если она лучше (не хуже) всех других оценок класса в смысле среднеквадратического подхода. То есть для любой $\theta^*_1\in K_b$ , для любого $\theta \in \Theta$

$\begin{displaymath} {\mathsf E}_\theta\,(\theta^*-\theta)^2 \leqslant {\mathsf E}_\theta\,(\theta^*_1-\theta)^2.\end{displaymath}$

Замечание 8.

Для $\theta^*\in K_0$ , по определению дисперсии,

$\begin{displaymath} {\mathsf E}_\theta\,(\theta^*-\theta)^2={\mathsf E}_\theta\,... ...-{\mathsf E}_\theta\,\theta^*)^2={\mathsf D}_\theta\, \theta^*,\end{displaymath}$

так что сравнение в среднеквадратичном несмещенных оценок это сравнение их дисперсий. Поэтому эффективную оценку (в классе ) часто называют «несмещенной оценкой с равномерно минимальной дисперсией». Равномерность подразумевается по всем $\theta \in \Theta$ . Для $\theta^*\in K_b$

$\begin{displaymath} {\mathsf E}_\theta\,(\theta^*-\theta)^2={\mathsf D}_\theta\,... ...,\theta^*-\theta)^2= {\mathsf D}_\theta\, \theta^*+b^2(\theta),\end{displaymath}$

так что сравнение в среднеквадратичном оценок с одинаковым смещением это также сравнение их дисперсий.

3.1. Среднеквадратический подход. Эффективность оценок