Преобразования нормальных выборок

Пусть ${\mathbf X}=(X_1, \ldots, X_n)$ — выборка из ${\mathsf N}_{0,1}$ (набор независимых и одинаково распределенных величин). Пусть

— ортогональная матрица $(n\times n)$ , т.е.

$\begin{displaymath} C C^T=E=\left(\begin{smallmatrix} 1 & & 0 & \ddots & 0 & & 1 \end{smallmatrix}\right),\end{displaymath}$

и ${\mathbf Y}=C\cdot {\mathbf X}$ — вектор с координатами $Y_i=\sum_{j=1}^n C_{i j}X_j$ .

Какое распределение имеют координаты вектора ${\mathbf Y}$ ? Зависимы ли они? Чтобы ответить на этот вопрос, выясним, как изменится плотность распределения вектора после умножения его на произвольную невырожденную матрицу.

Вспомним, как найти плотность распределения случайной величины $c\cdot \xi$ по плотности распределения $\xi$ :

$\begin{displaymath} f_{c\xi}(y)={\lvert c \rvert}^{-1}\cdot f_\xi\left(c^{-1}\cdot y\right).\end{displaymath}$

Поверим, без доказательства, аналогичному утверждению в многомерном случае. Те, кто знаком с заменой переменных в многомерном интеграле и не боится термина «якобиан», могут доказать его самостоятельно.

Изменение плотности совместного распределения при линейном преобразовании вектора.

Пусть случайный вектор ${\mathbf X}$ имеет плотность распределения $f_{{\mathbf X}}(y_1,\ldots,y_n)=f_{{\mathbf X}}({\mathbf y})$ , и — невырожденная матрица. Тогда вектор ${\mathbf Y}=C\cdot {\mathbf X}$ имеет плотность распределения

$\begin{equation} f_{{\mathbf Y}}({\mathbf y})=f_{C\cdot{\mathbf X}}({\mathbf y})... ...ert}^{-1}\cdot f_{{\mathbf X}}\left(C^{-1}\cdot{\mathbf y}\right).\end{equation}$ (16)

Докажем самое удивительное свойство нормального распределения.

Свойство 9.

Пусть вектор ${\mathbf X}$ состоит из независимых случайных величин со стандартным нормальным распределением, — ортогональная матрица, и ${\mathbf Y}=C\cdot {\mathbf X}$ . Тогда и координаты вектора ${\mathbf Y}$ независимы и имеют стандартное нормальное распределение.

Доказательство. Запишем плотность совместного распределения координат вектора ${\mathbf X}$ . В силу независимости это есть произведение плотностей координат вектора (то же самое, что функция правдоподобия):

$\begin{displaymath} f_{{\mathbf X}}(y_1,\ldots,y_n)=\prod\limits_{i=1}^n f_{X_i}... ...1}{(2\pi)^{n/2}}\,e}^{-\tfrac12 {\lVert {\mathbf y} \rVert}^2}.\end{displaymath}$

Здесь для произвольного вектора ${\mathbf y}$ квадрат нормы ${\lVert {\mathbf y} \rVert}^2$ есть

$\begin{displaymath} {\lVert {\mathbf y} \rVert}^2=\sum_{i=1}^n y_i^2={{\mathbf y}}^T\cdot {\mathbf y}.\end{displaymath}$

Пользуясь (16), вычислим плотность распределения вектора ${\mathbf Y}=C\cdot {\mathbf X}$ . Матрица

ортогональна, поэтому $C^{-1}=C^T$ и $\mathop{det}\,C=1$ .

$\begin{displaymath} f_{{\mathbf Y}}({\mathbf y}) = f_{{\mathbf X}}\left(C^T\cdot... ...)^{n/2}}\,e}^{-\tfrac12 {\lVert C^T\cdot{\mathbf y} \rVert}^2}.\end{displaymath}$

Но умножение на ортогональную матрицу не меняет норму вектора. Действительно,

$\begin{equation} {\lVert C^T\cdot{\mathbf y} \rVert}^2=(C^T\cdot{\mathbf y})^T\c... ...bf y}}^T \cdot E \cdot {\mathbf y}= {\lVert {\mathbf y} \rVert}^2.\end{equation}$

(17)

$\begin{displaymath} f_{{\mathbf Y}}({\mathbf y}) = {\dfrac{1}{(2\pi)^{n/2}}\,e}^... ...f y})= {\dfrac{1}{(2\pi)^{n/2}}\,e}^{-\tfrac12 \sum_1^n y_i^2}.\end{displaymath}$

Итак, вектор ${\mathbf Y}$ распределен так же, как и вектор ${\mathbf X}$ , т.е. состоит из независимых случайных величин со стандартным нормальным распределением.

Упражнение. Вспомнить определение независимости случайных величин с абсолютно непрерывным распределением в терминах плотностей. Что можно сказать про независимость и про распределение координат вектора, если совместная плотность распределения координат вектора равна

$\begin{displaymath} {\dfrac{1}{(2\pi)^{n/2}}\,e}^{-\tfrac12 \sum_1^n y_i^2} =\prod_{i=1}^n {\dfrac{1}{\sqrt{2\pi}}\,e}^{-\tfrac{y_i^2}{2}}~?\end{displaymath}$

Упражнение. Пусть $\xi$ и $\eta$ независимы и имеют стандартное нормальное распределение. Зависимы ли случайные величины $\tfrac{1}{\sqrt{2}}\,(\xi-\eta)$ и $\tfrac{1}{\sqrt{2}}\,(\xi+\eta)$ ? Какое распределение имеют? Является ли ортогональной матрица

$\begin{displaymath} C=\left(\begin{smallmatrix} \tfrac{1}{\sqrt{2}}~&~-\tfrac{1}... ...ac{1}{\sqrt{2}}~&~\tfrac{1}{\sqrt{2}}\end{smallmatrix}\right)~?\end{displaymath}$

Лемма Фишера.

$\begin{displaymath} T({\mathbf X})=\sum_{i=1}^n X_i^2 - Y_1^2-\ldots-Y_k^2 \textrm{ не зависит от } Y_1, \ldots, Y_k\end{displaymath}$

и имеет $\chi^2$ -распределение ${\mathsf H}_{n-k}$ с степенями свободы.

Доказательство. Как мы видели в (17), нормы векторов ${\mathbf X}$ и ${\mathbf Y}=C\cdot {\mathbf X}$ совпадают:

$\begin{displaymath} \sum_{i=1}^n X_i^2={\lVert{\mathbf X} \rVert}^2={\lVert C\cdot{\mathbf X} \rVert}^2= \sum_{i=1}^n Y_i^2. \end{displaymath}$

$\begin{displaymath} T({\mathbf X})=\sum_{i=1}^n X_i^2 - Y_1^2-\ldots-Y_k^2= \sum_{i=1}^n Y_i^2 - Y_1^2-\ldots-Y_k^2 = Y_{k+1}^2+\ldots+Y_n^2. \end{displaymath}$

Случайные величины

, $\ldots$ ,

по свойству 9 независимы и имеют стандартное нормальное распределение, поэтому $T({\mathbf X})=Y_{k+1}^2+\ldots+Y_n^2$ имеет распределение ${\mathsf H}_{n-k}$ и не зависит от $Y_1, \ldots, Y_k$ .

Второй и третий пункты следующего утверждения выглядят неправдоподобно, особенно если вспомнить обозначения:

$\begin{displaymath} \overline X = \dfrac{1}{n} \sum_{i=1}^n X_i, \quad S_0^2 = \frac{1}{n-1}\sum_{i=1}^n \left(X_i-\overline X\right)^2.\end{displaymath}$

Основное следствие леммы Фишера.

Если , $\ldots$ , независимы и имеют нормальное распределение ${\mathsf N}_{a,\sigma^2}$ , то

1): $\sqrt{n}\,\dfrac{\overline X-a}{\sigma}$ имеет стандартное нормальное распределение;
2): $\dfrac{(n-1)\,S_0^2}{\sigma^2}=\displaystyle\sum_{i=1}^n \dfrac{\left(X_i-\overline X\right)^2}{\sigma^2}$ имеет $\chi^2$ -распределение с степенью свободы;
3): случайные величины $\overline X$ и независимы.

Взгляните: вопреки определению 16 распределения ${\mathsf H}_{n-1}$ , величина $(n-1)S_0^2/\sigma^2$ — сумма не

, а

слагаемых, причем эти слагаемые зависимы из-за присутствия в каждом $\overline X$ . К тому же они хоть и одинаково распределены, но их распределение — не ${\mathsf N}_{0,1}$ . а какое? разыскать! Надеемся, что внимательный читатель, помня, что в невырожденном случае величины $\xi$ и $\xi+\eta$ всегда зависимы, и видя, как в выражении для

явным образом участвует $\overline X$ , придет в неподдельный восторг от независимости $\overline X$ и

Отметим без доказательства, что независимость $\overline X$ и

— свойство, характерное только для нормального распределения. Точно так же как и способность сохранять независимость координат после умножения на ортогональную матрицу. Подробнее об этом можно прочесть в замечательной книге В.Феллера [2, т. 2, гл. III, § 4].

Доказательство основного следствия леммы Фишера

Очередное следствие из леммы Фишера наконец позволит нам строить доверительные интервалы для параметров нормального распределения — то, ради чего мы и доказали уже так много утверждений. В каждом пункте указано, для какого параметра мы построим доверительный интервал с помощью данного утверждения.

Следствие основного следствия леммы Фишера.

1): $\sqrt{n} \dfrac{\overline X-a}{\sigma}$ имеет стандартное нормальное распределение (для при $\sigma$ известном);
2): $\sum\limits_{i=1}^n\left(\dfrac{X_i-a}{\sigma}\right)^2$ имеет распределение ${\mathsf H}_{n}$ (для $\sigma^2$ при известном);
3): $\sum\limits_{i=1}^n\left(\dfrac{X_i-\overline X}{\sigma}\right)^2= \dfrac{(n-1)S_0^2}{\sigma^2}$ имеет распределение ${\mathsf H}_{n-1}$ (для $\sigma^2$ при неизвестном);
4): $\sqrt{n}\dfrac{\overline X-a}{\sqrt{S_0^2}}= \sqrt{n}\dfrac{\overline X-a}{S_0}$ имеет распределение ${\mathsf T}_{n-1}$ (для при $\sigma$ неизвестном).

Доказательство следствия. 1) и 3) — из леммы Фишера, 2) — из следствия 3. Осталось воспользоваться леммой Фишера и определением 17 распределения Стьюдента, чтобы доказать 4).

$\begin{eqnarray*} \sqrt{n}\dfrac{\overline X-a}{\sqrt{S_0^2}}= \underbrace{\sqrt... ... независ.} & \nearrow \quad \quad {\textstyle {\mathsf H}_{n-1}}\end{eqnarray*}$

6.5. Преобразования нормальных выборок