next up previous index
Next:  Группированные данные   Up:  Основные понятия МС   Previous:  Выборочные моменты

1.5.   Сходимость эмпирических характеристик к теоретическим


Мы ввели три вида эмпирических характеристик, предназначенных для оценивания неизвестных теоретических характеристик распределения: эмпирическую функцию распределения, гистограмму, выборочные моменты. Если наши оценки удачны, разница между ними и истинными характеристиками должна стремится к нулю с ростом объема выборки. Такое свойство эмпирических характеристик называют состоятельностью. Убедимся, что наши выборочные характеристики таким свойством обладают.

1.5.1.   Свойства эмпирической функции распределения

Теорема 1.

Пусть ${\mathbf X}=(X_1, \ldots, X_n)$ — выборка объема $n$ из неизвестного распределения $\mathscr F$ с функцией распределения $F$. Пусть $F_n^*$ — эмпирическая функция распределения, построенная по этой выборке. Тогда для любого $y\in{\textrm{\upshape I\kern-0.20em R}}$

\begin{displaymath}
F_n^*(y) \buildrel {p} \over \longrightarrow F(y) \quad \textrm{ при } \quad n\to\infty.\end{displaymath}

Замечание 2.

$F_n^*(y)$ — случайная величина, так как она является функцией от случайных величин $X_1, \ldots, X_n$. То же самое можно сказать про гистограмму и выборочные моменты.

Доказательство теоремы   1.  По определению 1,

\begin{displaymath}
F^*_n(y)=\dfrac{\sum\limits_{i=1}^n {\mathbf I}(X_i<y)}{n}.\end{displaymath}

Случайные величины ${\mathbf I}(X_1<y)$, ${\mathbf I}(X_2<y)$, $\ldots$ независимы и одинаково распределены, их математическое ожидание конечно:

\begin{displaymath}
{\mathsf E}\, {\mathbf I}(X_1<y) = 1 \cdot {\mathsf P}\,(X_1...
 ...sf P}\,(X_1\geqslant y) = 
{\mathsf P}\,(X_1<y)
= F(y) <\infty,\end{displaymath}

поэтому применим ЗБЧ Хинчина, а что это такое? и

\begin{displaymath}
F^*_n(y)=\dfrac{\sum\limits_{i=1}^n {\mathbf I}(X_i<y)}{n} \...
 ...p} \over \longrightarrow {\mathsf E}\, {\mathbf I}(X_1<y)=F(y).\end{displaymath}

Таким образом, с ростом объема выборки эмпирическая функция распределения сходится (по вероятности) к неизвестной теоретической.

Q.D.E.


Верен более общий результат, показывающий, что сходимость эмпирической функции распределения к теоретической имеет «равномерный» характер.

Теорема    Гливенко — Кантелли.

Пусть ${\mathbf X}=(X_1, \ldots, X_n)$ — выборка объема $n$ из неизвестного распределения $\mathscr F$ с функцией распределения $F$. Пусть $F_n^*$ — эмпирическая функция распределения, построенная по этой выборке. Тогда

\begin{displaymath}
\sup_{y\in{\textrm{\upshape I\kern-0.20em R}}}\bigl\lvert F_...
 ... \over \longrightarrow 0 \quad
\textrm{ при } \quad n\to\infty.\end{displaymath}

Замечание 3.

Более того, в условиях теорем 1 и Гливенко — Кантелли имеет место сходимость не только по вероятности, но и почти наверное.


Если функция распределения $F$ непрерывна, то скорость сходимости к нулю в теореме Гливенко — Кантелли имеет порядок ${1}/{\sqrt n}$:

Теорема    Колмогорова.

Пусть ${\mathbf X}=(X_1, \ldots, X_n)$ — выборка объема $n$ из неизвестного распределения $\mathscr F$ с непрерывной функцией распределения $F$, а $F_n^*$ -- эмпирическая функция распределения. Тогда

\begin{displaymath}
\sqrt{n}\,\sup_{y\in{\textrm{\upshape I\kern-0.20em R}}}\big...
 ...r\rvert \Rightarrow \eta
\quad \textrm{ при } \quad n\to\infty,\end{displaymath}

где случайная величина $\eta$ имеет распределение Колмогорова с непрерывной функцией распределения

\begin{displaymath}
K(x)=\sum\limits_{j=-\infty}^{\infty} (-1)^j e^{-2j^2 x^2} \textrm{ при } x\geqslant 0, \quad K(x)=0 \textrm{ при } x < 0.\end{displaymath}


Следующие свойства эмпирической функции распределения — это хорошо знакомые нам свойства среднего арифметического $n$ независимых слагаемых, имеющих, к тому же, распределение Бернулли.

В первых двух пунктах утверждается, что случайная величина $F^*_n(y)$ имеет математическое ожидание $F(y)$ и дисперсию $\dfrac{F(y)(1-F(y))}{n}$, которая убывает как $1/n$. Третий пункт показывает, что $F^*_n(y)$ сходится к $F(y)$ со скоростью ${1}/{\sqrt n}$.

Свойство 1.

Для любого $y\in{\textrm{\upshape I\kern-0.20em R}}$

1)
${\mathsf E}\, F^*_n(y)=F(y) $, т.е. $F^*_n(y)$ — «несмещенная» оценка для $F(y)$;
2)
${\mathsf D}\, F^*_n(y)=\dfrac{F(y)(1-F(y))}{n}$;
3)
если $0<F(y)<1$, то $\sqrt{n}(F^*_n(y)-F(y)) \Rightarrow 
{\mathsf N}_{0,F(y)(1-F(y))}$, т.е. $F^*_n(y)$ — «асимптотически нормальная» оценка для $F(y)$;
4)
случайная величина $n\cdot F^*_n(y)$ имеет биномиальное распределение ${\mathsf B}_{n,F(y)}$.

Доказательство свойства 1.  Заметим снова, что ${\mathbf I}(X_1<y)$ имеет распределение Бернулли ${\mathsf B}_{F(y)}$, поэтому

\begin{displaymath}
{\mathsf E}\,{\mathbf I}(X_1<y)=F(y) \quad \textrm{ и } \quad {\mathsf D}\,{\mathbf I}(X_1<y)=F(y)(1-F(y)).\end{displaymath}

1)
Случайные величины ${\mathbf I}(X_1<y)$, ${\mathbf I}(X_2<y)$, $\ldots$одинаково распределены, поэтому где используется одинаковая распределенность?

\begin{displaymath}
{\mathsf E}\, F^*_n(y)={\mathsf E}\,\dfrac{\sum\limits_{i=1}...
 ...y)}{n} = \dfrac{n {\mathsf E}\,{\mathbf I}(X_1<y)}{n} = 
 F(y).\end{displaymath}

2)
Случайные величины ${\mathbf I}(X_1<y)$, ${\mathbf I}(X_2<y)$, $\ldots$ независимы и одинаково распределены, поэтому где используется независимость?

\begin{displaymath}
{\mathsf D}\, F^*_n(y)={\mathsf D}\,\dfrac{\sum\limits_{i=1}...
 ...\mathsf D}\,{\mathbf I}(X_1<y)}{n^2}=
 \dfrac{F(y)(1-F(y))}{n}.\end{displaymath}

3)
Воспользуемся ЦПТ Ляпунова: а что это такое?

\begin{displaymath}
\sqrt{n}(F^*_n(y)-F(y)) =
\sqrt{n}\left(\dfrac{\sum\limits_{...
 ...um\limits_{i=1}^n {\mathbf I}(X_i<y)- n F(y)\right)}{\sqrt{n}}=\end{displaymath}

\begin{displaymath}
=\frac{\left(\sum\limits_{i=1}^n {\mathbf I}(X_i<y) - n {\ma...
 ...{\mathsf D}\,{\mathbf I}(X_1<y)}= {\mathsf N}_{0,F(y)(1-F(y))}.\end{displaymath}

4)
Поскольку ${\mathbf I}(X_1<y)$ (число успехов в одном испытании) имеет распределение Бернулли ${\mathsf B}_{F(y)}$, почему? то $n\cdot F^*_n(y)=\sum\limits_{i=1}^n {\mathbf I}(X_i<y)$имеет биномиальное распределение ${\mathsf B}_{n,F(y)}$. почему?  а что такое устойчивость по суммированию?

Q.D.E.

Замечание 4. Все определения, как то: «оценка», «несмещенность», «состоятельность», «асимптотическая нормальность» будут даны в главе 2. Но смысл этих терминов должен быть вполне понятен уже сейчас.


1.5.2.   Свойства гистограммы

Пусть распределение $\mathscr F$ абсолютно непрерывно, $f$ — его истинная плотность. Пусть, кроме того, число $k$ интервалов группировки не зависит от $n$. Случай, когда $k=k(n)$, отмечен в замечании 1. Справедлива

Теорема 4. При $n\to\infty$ для любого $j=1,\ldots,k$

\begin{displaymath}
l_j\cdot f_j=\frac{\nu_j}{n} \buildrel {p} \over \longrightarrow {\mathsf P}\,(X_1\in A_j)=
\int\limits_{A_j} f(x)~dx.\end{displaymath}

Упражнение.    Доказать теорему 4, используя (1) и ЗБЧ.

Теорема утверждает, что площадь столбца гистограммы, построенного над интервалом группировки, с ростом объема выборки сближается с площадью области под графиком плотности над этим же интервалом.


1.5.3.   Свойства выборочных моментов

Выборочное среднее $\overline X$ является несмещенной, состоятельной и асимптотически нормальной оценкой для теоретического среднего (математического ожидания):

Свойство 2.  

1)
Если ${\mathsf E}\,\lvert X_1\rvert<\infty$, то ${\mathsf E}\,\overline X = {\mathsf E}\, X_1 = a$.
2)
Если ${\mathsf E}\,\lvert X_1\rvert<\infty$, то $\overline X \buildrel {p} \over \longrightarrow {\mathsf E}\, X_1 = a$при $n\to\infty$.
3)
Если ${\mathsf D}\, X_1<\infty$ и не равна нулю, то $\sqrt{n}\left(\overline X - {\mathsf E}\, X_1\right)\Rightarrow {\mathsf N}_{0,{\mathsf D}\, X_1}$.

Доказательство свойства 2 

1)
${\mathsf E}\,\overline X = \dfrac{1}{n} \sum\limits_{i=1}^n {\mathsf E}\, X_i =
\dfrac{1}{n}\cdot n {\mathsf E}\, X_1 = {\mathsf E}\, X_1 = a$.
2)
Согласно ЗБЧ в форме Хинчина, $\overline X =\dfrac{1}{n} \sum\limits_{i=1}^n X_i \buildrel {p} \over \longrightarrow {\mathsf E}\, X_1 = a$.

3)
Согласно ЦПТ,

\begin{displaymath}
\sqrt{n}\left(\overline X-{\mathsf E}\, X_1\right)=\dfrac{\s...
 ... X_1}{\sqrt{n}}
\Rightarrow {\mathsf N}_{0,{\mathsf D}\, X_1}. \end{displaymath}

Q.D.E.


Выборочный $k$-й момент $\overline {X^k}$ является несмещенной, состоятельной и асимптотически нормальной оценкой для теоретического $k$-го момента:

Свойство 3.  
1)
Если ${\mathsf E}\,\lvert X_1\rvert^k<\infty$, то .
2)
Если ${\mathsf E}\,\lvert X_1\rvert^k<\infty$, то $\overline{X^k} \buildrel {p} \over \longrightarrow {\mathsf E}\, X_1^k = m_k$ при $n\to\infty$.
3)
Если ${\mathsf D}\, X_1^k<\infty$ и не равна нулю, то $\sqrt{n}\left(\overline{X^k} - {\mathsf E}\, X_1^k\right)\Rightarrow {\mathsf N}_{0,{\mathsf D}\, X_1^k}$.

Упражнение.    Доказать свойство 3.

В дальнейшем мы не будем оговаривать существование соответствующих моментов. В частности, в первых двух пунктах следующего утверждения предполагается наличие второго момента у случайных величин $X_i$, а в третьем пункте — четвертого (дисперсии величины $X_1^2$).


Свойство 4.  

1)
Выборочные дисперсии $S^2$ и $S_0^2$ являются состоятельными оценками для истинной дисперсии:

.

2)
Величина $S^2$ — смещенная, а $S_0^2$ — несмещенная оценка дисперсии:

\begin{displaymath}
{\mathsf E}\, S^2 = \dfrac{n-1}{n}{\mathsf D}\, X_1 =
 \dfra...
 ...ma^2, \quad
{\mathsf E}\, S_0^2 = {\mathsf D}\, X_1 = \sigma^2.\end{displaymath}

3)
Выборочные дисперсии $S^2$ и $S_0^2$ являются асимптотически нормальными оценками истинной дисперсии:

$\sqrt{n}\left(S^2-{\mathsf D}\, X_1\right)\Rightarrow {\mathsf N}_{0,{\mathsf D}\,(X_1-{\mathsf E}\, X_1)^2}$.

Доказательство свойства 4. 

1)
Во-первых, раскрыв скобки, полезно убедиться в том, что

\begin{equation}
S^2 = \dfrac{1}{n} \sum\limits_{i=1}^n (X_i-\overline X)^2 =
\overline{X^2} - (\overline X)^2.\end{equation}(2)

Из (2) и ЗБЧ следует, что $S^2 = \overline{X^2} - (\overline X)^2
 \buildrel {p} \over \longrightarrow {\mathsf E}\, X_1^2 - ({\mathsf E}\, X_1)^2 = \sigma^2 $. Кроме того, $\dfrac{n}{n-1} \to 1$, так что $S_0^2=\dfrac{n}{n-1}\,S^2 \buildrel {p} \over \longrightarrow \sigma^2$.
2)
Воспользуемся формулой (2):

\begin{eqnarray*}
% latex2html id marker 884
{
\color {red}
 {\mathsf E}\, S^2} ...
 ...= & \dfrac{n}{n-1}\, {\mathsf E}\, S^2={
\color {red}
 \sigma^2}.\end{eqnarray*}

3)
Выборочную дисперсию можно представить в следующем виде:

\begin{displaymath}
S^2 = \dfrac{1}{n} \sum\limits_{i=1}^n (X_i-\overline X)^2 =...
 ...)\right)^2 
=\overline{(X-a)^2} - \left(\overline X-a\right)^2.\end{displaymath}


\begin{multline*}
\textrm{Тогда \quad } \sqrt{n}\left(S^2-\sigma^2\right) = \sqr...
 ...X-a\right) 
\Rightarrow {\mathsf N}_{0,\,{\mathsf D}\,(X_1-a)^2},\end{multline*}

поскольку первое слагаемое слабо сходится к ${\mathsf N}_{0,\,{\mathsf D}\,(X_1-a)^2}$ по ЦПТ, а второе слагаемое $\left(\overline X-a\right)\cdot\sqrt{n}\left(\overline X-a\right)$слабо сходится к нулю как произведение сходящейся к нулю по вероятности последовательности и последовательности, слабо сходящейся к ${\mathsf N}_{0,{\mathsf D}\, X_1}$. какое свойство слабой сходимости использовано дважды?

Q.D.E.



next up previous index

Next:  Группированные данные   Up:  Основные понятия МС   Previous:  Выборочные моменты

N.I.Chernova
9 сентября 2002