Сходимость эмпирических характеристик к теоретическим

Next: Группированные данные Up: Основные понятия МС Previous: Выборочные моменты

1.5. Сходимость эмпирических характеристик к теоретическим

Мы ввели три вида эмпирических характеристик, предназначенных для оценивания неизвестных теоретических характеристик распределения: эмпирическую функцию распределения, гистограмму, выборочные моменты. Если наши оценки удачны, разница между ними и истинными характеристиками должна стремится к нулю с ростом объема выборки. Такое свойство эмпирических характеристик называют состоятельностью. Убедимся, что наши выборочные характеристики таким свойством обладают.

1.5.1. Свойства эмпирической функции распределения

Теорема 1.

Пусть ${\mathbf X}=(X_1, \ldots, X_n)$ — выборка объема из неизвестного распределения $\mathscr F$ с функцией распределения . Пусть — эмпирическая функция распределения, построенная по этой выборке. Тогда для любого $y\in{\textrm{\upshape I\kern-0.20em R}}$

$\begin{displaymath} F_n^*(y) \buildrel {p} \over \longrightarrow F(y) \quad \textrm{ при } \quad n\to\infty.\end{displaymath}$

Замечание 2.

— случайная величина, так как она является функцией от случайных величин $X_1, \ldots, X_n$ . То же самое можно сказать про гистограмму и выборочные моменты.

Доказательство теоремы 1. По определению 1,

$\begin{displaymath} F^*_n(y)=\dfrac{\sum\limits_{i=1}^n {\mathbf I}(X_i<y)}{n}.\end{displaymath}$

Случайные величины ${\mathbf I}(X_1<y)$ , ${\mathbf I}(X_2<y)$ , $\ldots$ независимы и одинаково распределены, их математическое ожидание конечно:

$\begin{displaymath} {\mathsf E}\, {\mathbf I}(X_1<y) = 1 \cdot {\mathsf P}\,(X_1... ...sf P}\,(X_1\geqslant y) = {\mathsf P}\,(X_1<y) = F(y) <\infty,\end{displaymath}$

поэтому применим ЗБЧ Хинчина, а что это такое? и

$\begin{displaymath} F^*_n(y)=\dfrac{\sum\limits_{i=1}^n {\mathbf I}(X_i<y)}{n} \... ...p} \over \longrightarrow {\mathsf E}\, {\mathbf I}(X_1<y)=F(y).\end{displaymath}$

Таким образом, с ростом объема выборки эмпирическая функция распределения сходится (по вероятности) к неизвестной теоретической.

Q.D.E.

Верен более общий результат, показывающий, что сходимость эмпирической функции распределения к теоретической имеет «равномерный» характер.

Теорема Гливенко — Кантелли.

$\begin{displaymath} \sup_{y\in{\textrm{\upshape I\kern-0.20em R}}}\bigl\lvert F_... ... \over \longrightarrow 0 \quad \textrm{ при } \quad n\to\infty.\end{displaymath}$

Замечание 3.

Более того, в условиях теорем 1 и Гливенко — Кантелли имеет место сходимость не только по вероятности, но и почти наверное.

Если функция распределения непрерывна, то скорость сходимости к нулю в теореме Гливенко — Кантелли имеет порядок ${1}/{\sqrt n}$ :

Теорема Колмогорова.

Пусть ${\mathbf X}=(X_1, \ldots, X_n)$ — выборка объема из неизвестного распределения $\mathscr F$ с непрерывной функцией распределения , а -- эмпирическая функция распределения. Тогда

$\begin{displaymath} \sqrt{n}\,\sup_{y\in{\textrm{\upshape I\kern-0.20em R}}}\big... ...r\rvert \Rightarrow \eta \quad \textrm{ при } \quad n\to\infty,\end{displaymath}$

где случайная величина $\eta$ имеет распределение Колмогорова с непрерывной функцией распределения

$\begin{displaymath} K(x)=\sum\limits_{j=-\infty}^{\infty} (-1)^j e^{-2j^2 x^2} \textrm{ при } x\geqslant 0, \quad K(x)=0 \textrm{ при } x < 0.\end{displaymath}$

Следующие свойства эмпирической функции распределения — это хорошо знакомые нам свойства среднего арифметического независимых слагаемых, имеющих, к тому же, распределение Бернулли.

В первых двух пунктах утверждается, что случайная величина имеет математическое ожидание и дисперсию $\dfrac{F(y)(1-F(y))}{n}$ , которая убывает как . Третий пункт показывает, что сходится к со скоростью ${1}/{\sqrt n}$ .

Свойство 1.

Для любого $y\in{\textrm{\upshape I\kern-0.20em R}}$

1): ${\mathsf E}\, F^*_n(y)=F(y)$ , т.е. — «несмещенная» оценка для ;
2): ${\mathsf D}\, F^*_n(y)=\dfrac{F(y)(1-F(y))}{n}$ ;
3): если , то $\sqrt{n}(F^*_n(y)-F(y)) \Rightarrow {\mathsf N}_{0,F(y)(1-F(y))}$ , т.е. — «асимптотически нормальная» оценка для ;
4): случайная величина $n\cdot F^*_n(y)$ имеет биномиальное распределение ${\mathsf B}_{n,F(y)}$ .

Доказательство свойства 1. Заметим снова, что ${\mathbf I}(X_1<y)$ имеет распределение Бернулли ${\mathsf B}_{F(y)}$ , поэтому

$\begin{displaymath} {\mathsf E}\,{\mathbf I}(X_1<y)=F(y) \quad \textrm{ и } \quad {\mathsf D}\,{\mathbf I}(X_1<y)=F(y)(1-F(y)).\end{displaymath}$

1)

Случайные величины ${\mathbf I}(X_1<y)$ , ${\mathbf I}(X_2<y)$ , $\ldots$ одинаково распределены, поэтому где используется одинаковая распределенность?

$\begin{displaymath} {\mathsf E}\, F^*_n(y)={\mathsf E}\,\dfrac{\sum\limits_{i=1}... ...y)}{n} = \dfrac{n {\mathsf E}\,{\mathbf I}(X_1<y)}{n} = F(y).\end{displaymath}$

2)

Случайные величины ${\mathbf I}(X_1<y)$ , ${\mathbf I}(X_2<y)$ , $\ldots$ независимы и одинаково распределены, поэтому где используется независимость?

$\begin{displaymath} {\mathsf D}\, F^*_n(y)={\mathsf D}\,\dfrac{\sum\limits_{i=1}... ...\mathsf D}\,{\mathbf I}(X_1<y)}{n^2}= \dfrac{F(y)(1-F(y))}{n}.\end{displaymath}$

3)

Воспользуемся ЦПТ Ляпунова: а что это такое?

$\begin{displaymath} \sqrt{n}(F^*_n(y)-F(y)) = \sqrt{n}\left(\dfrac{\sum\limits_{... ...um\limits_{i=1}^n {\mathbf I}(X_i<y)- n F(y)\right)}{\sqrt{n}}=\end{displaymath}$

$\begin{displaymath} =\frac{\left(\sum\limits_{i=1}^n {\mathbf I}(X_i<y) - n {\ma... ...{\mathsf D}\,{\mathbf I}(X_1<y)}= {\mathsf N}_{0,F(y)(1-F(y))}.\end{displaymath}$

4)

Поскольку ${\mathbf I}(X_1<y)$ (число успехов в одном испытании) имеет распределение Бернулли ${\mathsf B}_{F(y)}$ , почему? то $n\cdot F^*_n(y)=\sum\limits_{i=1}^n {\mathbf I}(X_i<y)$ имеет биномиальное распределение ${\mathsf B}_{n,F(y)}$ . почему? а что такое устойчивость по суммированию?

Q.D.E.

Замечание 4. Все определения, как то: «оценка», «несмещенность», «состоятельность», «асимптотическая нормальность» будут даны в главе 2. Но смысл этих терминов должен быть вполне понятен уже сейчас.

1.5.2. Свойства гистограммы

Пусть распределение $\mathscr F$ абсолютно непрерывно, — его истинная плотность. Пусть, кроме того, число интервалов группировки не зависит от . Случай, когда , отмечен в замечании 1. Справедлива

Теорема 4. При $n\to\infty$ для любого $j=1,\ldots,k$

$\begin{displaymath} l_j\cdot f_j=\frac{\nu_j}{n} \buildrel {p} \over \longrightarrow {\mathsf P}\,(X_1\in A_j)= \int\limits_{A_j} f(x)~dx.\end{displaymath}$

Упражнение. Доказать теорему 4, используя (1) и ЗБЧ.

Теорема утверждает, что площадь столбца гистограммы, построенного над интервалом группировки, с ростом объема выборки сближается с площадью области под графиком плотности над этим же интервалом.

1.5.3. Свойства выборочных моментов

Выборочное среднее $\overline X$ является несмещенной, состоятельной и асимптотически нормальной оценкой для теоретического среднего (математического ожидания):

Свойство 2.

1): Если ${\mathsf E}\,\lvert X_1\rvert<\infty$ , то ${\mathsf E}\,\overline X = {\mathsf E}\, X_1 = a$ .
2): Если ${\mathsf E}\,\lvert X_1\rvert<\infty$ , то $\overline X \buildrel {p} \over \longrightarrow {\mathsf E}\, X_1 = a$ при $n\to\infty$ .
3): Если ${\mathsf D}\, X_1<\infty$ и не равна нулю, то $\sqrt{n}\left(\overline X - {\mathsf E}\, X_1\right)\Rightarrow {\mathsf N}_{0,{\mathsf D}\, X_1}$ .

Доказательство свойства 2

1)

${\mathsf E}\,\overline X = \dfrac{1}{n} \sum\limits_{i=1}^n {\mathsf E}\, X_i = \dfrac{1}{n}\cdot n {\mathsf E}\, X_1 = {\mathsf E}\, X_1 = a$ .

2)

Согласно ЗБЧ в форме Хинчина, $\overline X =\dfrac{1}{n} \sum\limits_{i=1}^n X_i \buildrel {p} \over \longrightarrow {\mathsf E}\, X_1 = a$ .

3)

Согласно ЦПТ,

$\begin{displaymath} \sqrt{n}\left(\overline X-{\mathsf E}\, X_1\right)=\dfrac{\s... ... X_1}{\sqrt{n}} \Rightarrow {\mathsf N}_{0,{\mathsf D}\, X_1}. \end{displaymath}$

Q.D.E.

Выборочный -й момент $\overline {X^k}$ является несмещенной, состоятельной и асимптотически нормальной оценкой для теоретического -го момента:

Свойство 3.

1): Если ${\mathsf E}\,\lvert X_1\rvert^k<\infty$ , то .
2): Если ${\mathsf E}\,\lvert X_1\rvert^k<\infty$ , то $\overline{X^k} \buildrel {p} \over \longrightarrow {\mathsf E}\, X_1^k = m_k$ при $n\to\infty$ .
3): Если ${\mathsf D}\, X_1^k<\infty$ и не равна нулю, то $\sqrt{n}\left(\overline{X^k} - {\mathsf E}\, X_1^k\right)\Rightarrow {\mathsf N}_{0,{\mathsf D}\, X_1^k}$ .

Упражнение. Доказать свойство 3.

В дальнейшем мы не будем оговаривать существование соответствующих моментов. В частности, в первых двух пунктах следующего утверждения предполагается наличие второго момента у случайных величин , а в третьем пункте — четвертого (дисперсии величины ).

Свойство 4.

1): Выборочные дисперсии и являются состоятельными оценками для истинной дисперсии:
.
2): Величина — смещенная, а — несмещенная оценка дисперсии:
$\begin{displaymath} {\mathsf E}\, S^2 = \dfrac{n-1}{n}{\mathsf D}\, X_1 = \dfra... ...ma^2, \quad {\mathsf E}\, S_0^2 = {\mathsf D}\, X_1 = \sigma^2.\end{displaymath}$
3): Выборочные дисперсии и являются асимптотически нормальными оценками истинной дисперсии:
$\sqrt{n}\left(S^2-{\mathsf D}\, X_1\right)\Rightarrow {\mathsf N}_{0,{\mathsf D}\,(X_1-{\mathsf E}\, X_1)^2}$ .

Доказательство свойства 4.

1)

Во-первых, раскрыв скобки, полезно убедиться в том, что

$\begin{equation} S^2 = \dfrac{1}{n} \sum\limits_{i=1}^n (X_i-\overline X)^2 = \overline{X^2} - (\overline X)^2.\end{equation}$ (2)

Из (2) и ЗБЧ следует, что $S^2 = \overline{X^2} - (\overline X)^2 \buildrel {p} \over \longrightarrow {\mathsf E}\, X_1^2 - ({\mathsf E}\, X_1)^2 = \sigma^2$ . Кроме того, $\dfrac{n}{n-1} \to 1$ , так что $S_0^2=\dfrac{n}{n-1}\,S^2 \buildrel {p} \over \longrightarrow \sigma^2$ .

2)

Воспользуемся формулой (2):

$\begin{eqnarray*} % latex2html id marker 884 { \color {red} {\mathsf E}\, S^2} ... ...= & \dfrac{n}{n-1}\, {\mathsf E}\, S^2={ \color {red} \sigma^2}.\end{eqnarray*}$

3)

Выборочную дисперсию можно представить в следующем виде:

$\begin{displaymath} S^2 = \dfrac{1}{n} \sum\limits_{i=1}^n (X_i-\overline X)^2 =... ...)\right)^2 =\overline{(X-a)^2} - \left(\overline X-a\right)^2.\end{displaymath}$

$\begin{multline*} \textrm{Тогда \quad } \sqrt{n}\left(S^2-\sigma^2\right) = \sqr... ...X-a\right) \Rightarrow {\mathsf N}_{0,\,{\mathsf D}\,(X_1-a)^2},\end{multline*}$

поскольку первое слагаемое слабо сходится к ${\mathsf N}_{0,\,{\mathsf D}\,(X_1-a)^2}$ по ЦПТ, а второе слагаемое $\left(\overline X-a\right)\cdot\sqrt{n}\left(\overline X-a\right)$ слабо сходится к нулю как произведение сходящейся к нулю по вероятности последовательности и последовательности, слабо сходящейся к ${\mathsf N}_{0,{\mathsf D}\, X_1}$ . какое свойство слабой сходимости использовано дважды?

Q.D.E.

Next: Группированные данные Up: Основные понятия МС Previous: Выборочные моменты

N.I.Chernova 9 сентября 2002