next up previous index
Next:  Точные ДИ для параметров   Up:  Распределения, связанные с нормальным   Previous:  Распределение Фишера

6.5.   Преобразования нормальных выборок

Пусть ${\mathbf X}=(X_1, \ldots, X_n)$ — выборка из ${\mathsf N}_{0,1}$ (набор независимых и одинаково распределенных величин). Пусть $C$ — ортогональная матрица $(n\times n)$, т.е.

\begin{displaymath}
C C^T=E=\left(\begin{smallmatrix}
 1 & & 0 & \ddots & 0 & & 1 \end{smallmatrix}\right),\end{displaymath}

и ${\mathbf Y}=C\cdot {\mathbf X} $ — вектор с координатами $Y_i=\sum_{j=1}^n C_{i j}X_j$.

Какое распределение имеют координаты вектора ${\mathbf Y}$? Зависимы ли они? Чтобы ответить на этот вопрос, выясним, как изменится плотность распределения вектора после умножения его на произвольную невырожденную матрицу.

Вспомним, как найти плотность распределения случайной величины $c\cdot \xi$ по плотности распределения $\xi$:

\begin{displaymath}
f_{c\xi}(y)={\lvert c \rvert}^{-1}\cdot f_\xi\left(c^{-1}\cdot y\right).\end{displaymath}

Поверим, без доказательства, аналогичному утверждению в многомерном случае. Те, кто знаком с заменой переменных в многомерном интеграле и не боится термина «якобиан», могут доказать его самостоятельно.

Изменение плотности совместного распределения при линейном преобразовании вектора.  

Пусть случайный вектор ${\mathbf X}$ имеет плотность распределения $f_{{\mathbf X}}(y_1,\ldots,y_n)=f_{{\mathbf X}}({\mathbf y})$, и $C$ — невырожденная матрица. Тогда вектор ${\mathbf Y}=C\cdot {\mathbf X} $ имеет плотность распределения

\begin{equation}
f_{{\mathbf Y}}({\mathbf y})=f_{C\cdot{\mathbf X}}({\mathbf y})...
 ...ert}^{-1}\cdot f_{{\mathbf X}}\left(C^{-1}\cdot{\mathbf y}\right).\end{equation}(16)


Докажем самое удивительное свойство нормального распределения.


Свойство 9.

Пусть вектор ${\mathbf X}$ состоит из независимых случайных величин со стандартным нормальным распределением, $C$ — ортогональная матрица, и ${\mathbf Y}=C\cdot {\mathbf X} $. Тогда и координаты вектора ${\mathbf Y}$ независимы и имеют стандартное нормальное распределение.

Доказательство.  Запишем плотность совместного распределения координат вектора ${\mathbf X}$. В силу независимости это есть произведение плотностей координат вектора (то же самое, что функция правдоподобия):

\begin{displaymath}
f_{{\mathbf X}}(y_1,\ldots,y_n)=\prod\limits_{i=1}^n f_{X_i}...
 ...1}{(2\pi)^{n/2}}\,e}^{-\tfrac12 {\lVert {\mathbf y} \rVert}^2}.\end{displaymath}

Здесь для произвольного вектора ${\mathbf y}$ квадрат нормы ${\lVert {\mathbf y} \rVert}^2$есть

\begin{displaymath}
{\lVert {\mathbf y} \rVert}^2=\sum_{i=1}^n y_i^2={{\mathbf y}}^T\cdot {\mathbf y}.\end{displaymath}

Пользуясь (16), вычислим плотность распределения вектора ${\mathbf Y}=C\cdot {\mathbf X} $. Матрица $C$ ортогональна, поэтому $C^{-1}=C^T$ и $\mathop{det}\,C=1$.

\begin{displaymath}
f_{{\mathbf Y}}({\mathbf y}) = f_{{\mathbf X}}\left(C^T\cdot...
 ...)^{n/2}}\,e}^{-\tfrac12 {\lVert C^T\cdot{\mathbf y} \rVert}^2}.\end{displaymath}

Но умножение на ортогональную матрицу не меняет норму вектора. Действительно,

\begin{equation}
{\lVert C^T\cdot{\mathbf y} \rVert}^2=(C^T\cdot{\mathbf y})^T\c...
 ...bf y}}^T \cdot E \cdot {\mathbf y}=
{\lVert {\mathbf y} \rVert}^2.\end{equation}(17)

Окончательно имеем

\begin{displaymath}
f_{{\mathbf Y}}({\mathbf y}) =
{\dfrac{1}{(2\pi)^{n/2}}\,e}^...
 ...f y})=
{\dfrac{1}{(2\pi)^{n/2}}\,e}^{-\tfrac12 \sum_1^n y_i^2}.\end{displaymath}

Итак, вектор ${\mathbf Y}$ распределен так же, как и вектор ${\mathbf X}$, т.е. состоит из независимых случайных величин со стандартным нормальным распределением.

Q.D.E.


Упражнение.    Вспомнить определение независимости случайных величин с абсолютно непрерывным распределением в терминах плотностей. Что можно сказать про независимость и про распределение координат вектора, если совместная плотность распределения координат вектора равна

\begin{displaymath}
{\dfrac{1}{(2\pi)^{n/2}}\,e}^{-\tfrac12 \sum_1^n y_i^2}
=\prod_{i=1}^n {\dfrac{1}{\sqrt{2\pi}}\,e}^{-\tfrac{y_i^2}{2}}~?\end{displaymath}

Упражнение.    Пусть $\xi$ и $\eta$ независимы и имеют стандартное нормальное распределение. Зависимы ли случайные величины $\tfrac{1}{\sqrt{2}}\,(\xi-\eta)$ и $\tfrac{1}{\sqrt{2}}\,(\xi+\eta)$? Какое распределение имеют? Является ли ортогональной матрица

\begin{displaymath}
C=\left(\begin{smallmatrix}
\tfrac{1}{\sqrt{2}}~&~-\tfrac{1}...
 ...ac{1}{\sqrt{2}}~&~\tfrac{1}{\sqrt{2}}\end{smallmatrix}\right)~?\end{displaymath}


Лемма Фишера.

Пусть вектор ${\mathbf X}$ состоит из независимых случайных величин со стандартным нормальным распределением, $C$ — ортогональная матрица, и ${\mathbf Y}=C\cdot {\mathbf X} $. Тогда для любого $k=1,\ldots,n$

\begin{displaymath}
T({\mathbf X})=\sum_{i=1}^n X_i^2 - Y_1^2-\ldots-Y_k^2 
\textrm{ не зависит от } Y_1, \ldots, Y_k\end{displaymath}

и имеет $\chi^2$-распределение ${\mathsf H}_{n-k}$ с $n-k$ степенями свободы.

Доказательство.   Как мы видели в (17), нормы векторов ${\mathbf X}$ и ${\mathbf Y}=C\cdot {\mathbf X} $ совпадают:

\begin{displaymath}
\sum_{i=1}^n X_i^2={\lVert{\mathbf X} \rVert}^2={\lVert C\cdot{\mathbf X} \rVert}^2=
\sum_{i=1}^n Y_i^2. \end{displaymath}

Поэтому

\begin{displaymath}
T({\mathbf X})=\sum_{i=1}^n X_i^2 - Y_1^2-\ldots-Y_k^2=
\sum_{i=1}^n Y_i^2 - Y_1^2-\ldots-Y_k^2 =
Y_{k+1}^2+\ldots+Y_n^2. \end{displaymath}

Случайные величины $Y_1$, $\ldots$, $Y_n$ по свойству 9 независимы и имеют стандартное нормальное распределение, поэтому $T({\mathbf X})=Y_{k+1}^2+\ldots+Y_n^2$ имеет распределение ${\mathsf H}_{n-k}$ и не зависит от $Y_1, \ldots, Y_k$.

Q.D.E.


Второй и третий пункты следующего утверждения выглядят неправдоподобно, особенно если вспомнить обозначения:

\begin{displaymath}
\overline X = \dfrac{1}{n} \sum_{i=1}^n X_i, \quad
S_0^2 = \frac{1}{n-1}\sum_{i=1}^n \left(X_i-\overline X\right)^2.\end{displaymath}


Основное следствие леммы Фишера.

Если $X_1$, $\ldots$, $X_k$ независимы и имеют нормальное распределение ${\mathsf N}_{a,\sigma^2}$, то

1)
$\sqrt{n}\,\dfrac{\overline X-a}{\sigma}$ имеет стандартное нормальное распределение;
2)
$\dfrac{(n-1)\,S_0^2}{\sigma^2}=\displaystyle\sum_{i=1}^n \dfrac{\left(X_i-\overline X\right)^2}{\sigma^2}$ имеет $\chi^2$-распределение с $n-1$ степенью свободы;
3)
случайные величины $\overline X$ и $S_0^2$ независимы.


Взгляните: вопреки определению 16 распределения ${\mathsf H}_{n-1}$, величина $(n-1)S_0^2/\sigma^2$ — сумма не $n-1$, а $n$ слагаемых, причем эти слагаемые зависимы из-за присутствия в каждом $\overline X$. К тому же они хоть и одинаково распределены, но их распределение — не ${\mathsf N}_{0,1}$. а какое? разыскать! Надеемся, что внимательный читатель, помня, что в невырожденном случае величины $\xi$ и $\xi+\eta$ всегда зависимы, и видя, как в выражении для $S_0^2$ явным образом участвует $\overline X$, придет в неподдельный восторг от независимости $\overline X$ и $S_0^2$.

Отметим без доказательства, что независимость $\overline X$ и $S_0^2$ — свойство, характерное только для нормального распределения. Точно так же как и способность сохранять независимость координат после умножения на ортогональную матрицу. Подробнее об этом можно прочесть в замечательной книге В.Феллера [2, т. 2, гл. III, § 4].

Доказательство основного следствия леммы Фишера

1.
Очевидно. доказать, что очевидно!
2.
Покажем сначала, что можно рассматривать выборку из стандартного нормального распределения вместо ${\mathsf N}_{a,\sigma^2}$:

\begin{displaymath}
\frac{(n-1)S_0^2}{\sigma^2}=
\sum_{i=1}^n \left(\frac{X_i-\o...
 ...rline X-a}{\sigma}\right)^2 =
\sum_{i=1}^n (z_i-\overline z)^2,\end{displaymath}

где $z_i=\dfrac{X_i-a}{\sigma}$ имеют стандартное нормальное распределение, и $\overline z=\dfrac{\overline X-a}{\sigma}$. Т.е. можно с самого начала считать, что $X_i$ имеют стандартное нормальное распределение, и доказывать пункт 2 следствия при $a=0$, $\sigma^2=1$.

Применим лемму Фишера.

\begin{displaymath}
T({\mathbf X})=(n-1)S_0^2=
\sum_{i=1}^n \left(X_i-\overline ...
 ..._{i=1}^n X_i^2 - n(\overline X)^2 = \sum_{i=1}^n X_i^2 - Y_1^2.\end{displaymath}

Мы обозначили через $Y_1$ величину

\begin{displaymath}
Y_1=\sqrt{n}~\overline X=\dfrac{X_1}{\sqrt{n}}+\ldots+\dfrac{X_n}{\sqrt{n}}.\end{displaymath}

Чтобы применить лемму Фишера, нужно найти ортогональную матрицу $C$ такую, что $Y_1$ — первая координата вектора ${\mathbf Y}=C\cdot {\mathbf X} $. Возьмем матрицу $C$ с первой строкой $\left(\dfrac{1}{\sqrt{n}},\ldots,\dfrac{1}{\sqrt{n}}\right)$. Так как длина (норма) этого вектора — единица, его можно дополнить до ортонормального базиса в ${\textrm{\upshape I\kern-0.20em R}}^n$ (иначе — этот столбец можно дополнить до ортогональной матрицы). Тогда $Y_1=\sqrt{n}~\overline X$ и будет первой координатой вектора ${\mathbf Y}=C\cdot {\mathbf X} $.

Осталось применить лемму Фишера. непременно сделайте это!

3.
Из леммы Фишера сразу следует, что $T({\mathbf X})=(n-1)S_0^2=\sum_{i=1}^n X_i^2 - Y_1^2$ не зависит от $Y_1=\sqrt{n}~\overline X$, то есть $\overline X$ и $S_0^2$ независимы.

Q.D.E.


Очередное следствие из леммы Фишера наконец позволит нам строить доверительные интервалы для параметров нормального распределения — то, ради чего мы и доказали уже так много утверждений. В каждом пункте указано, для какого параметра мы построим доверительный интервал с помощью данного утверждения.

Следствие основного следствия леммы Фишера.

1)
$\sqrt{n} \dfrac{\overline X-a}{\sigma}$ имеет стандартное нормальное распределение (для $a$ при $\sigma$ известном);
2)
$\sum\limits_{i=1}^n\left(\dfrac{X_i-a}{\sigma}\right)^2$ имеет распределение ${\mathsf H}_{n}$ (для $\sigma^2$ при $a$ известном);
3)
$\sum\limits_{i=1}^n\left(\dfrac{X_i-\overline X}{\sigma}\right)^2=
\dfrac{(n-1)S_0^2}{\sigma^2}$ имеет распределение ${\mathsf H}_{n-1}$ (для $\sigma^2$ при $a$ неизвестном);
4)
$\sqrt{n}\dfrac{\overline X-a}{\sqrt{S_0^2}}=
\sqrt{n}\dfrac{\overline X-a}{S_0}$ имеет распределение ${\mathsf T}_{n-1}$ (для $a$ при $\sigma$ неизвестном).

Доказательство следствия.  1) и 3) — из леммы Фишера, 2) — из следствия 3. Осталось воспользоваться леммой Фишера и определением 17 распределения Стьюдента, чтобы доказать 4).

\begin{eqnarray*}
\sqrt{n}\dfrac{\overline X-a}{\sqrt{S_0^2}}=
\underbrace{\sqrt...
 ... независ.} & \nearrow \quad \quad 
{\textstyle {\mathsf H}_{n-1}}\end{eqnarray*}

По определению 17, такое отношение имеет распределение Стьюдента ${\mathsf T}_{n-1}$.

Q.D.E.



next up previous index
Next:  Точные ДИ для параметров   Up:  Распределения, связанные с нормальным   Previous:  Распределение Фишера

N.I.Chernova
9 сентября 2002