Свойства ОМНК

Next: Добавления Up: Исследование статистической зависимости Previous: Нормальное уравнение

9.7. Свойства ОМНК

Отметим несколько свойств, которые, возможно, нам понадобятся в дальнейшем.

1.

Разница $\hat{\text{\boldmath\ensuremath \beta}}$ и $\text{\boldmath\ensuremath \beta}$ равна $A^{-1} Z \text{\boldmath\ensuremath \varepsilon}$ :

$\begin{displaymath} \hat{\text{\boldmath\ensuremath \beta}}-\text{\boldmath\ensu... ...ath \beta} = A^{-1} Z \text{\boldmath\ensuremath \varepsilon}.\end{displaymath}$

2.: Если ${\mathsf E}\,\text{\boldmath\ensuremath \varepsilon}=0$ , то $\hat{\text{\boldmath\ensuremath \beta}}$ — несмещенная оценка для $\text{\boldmath\ensuremath \beta}$ : ${\mathsf E}\,\hat{\text{\boldmath\ensuremath \beta}}= \text{\boldmath\ensuremat... ...text{\boldmath\ensuremath \varepsilon} \equiv \text{\boldmath\ensuremath \beta}$ .

Пусть выполнены предположения 1 и 2 :

Предположение 2.

Вектор ошибок $\text{\boldmath\ensuremath \varepsilon}$ состоит из независимых случайных величин с нормальным распределением ${\mathsf N}_{0,\sigma^2}$ с одной и той же дисперсией.

Напоминание 3. Для произвольного случайного вектора ${\mathbf x}$ , координаты которого имеют вторые моменты, матрица ковариаций ${\mathsf D}\, {\mathbf x} = {\mathsf E}\,\!\left(({\mathbf x}-{\mathsf E}\,{\mathbf x})({\mathbf x}-{\mathsf E}\,{\mathbf x})^T\right)$ — это матрица, чей

-й элемент равен

$\begin{displaymath} \mathop{cov}(x_i,x_j)={\mathsf E}\,(x_i-{\mathsf E}\, x_i)(x_j-{\mathsf E}\, x_j).\end{displaymath}$

В частности, ${\mathsf D}\, \text{\boldmath\ensuremath \varepsilon}=\sigma^2\cdot E_n$ , где — единичная $(n\times n)$ -матрица.

3.

Матрица ковариаций вектора $\sqrt{A}\hat{\text{\boldmath\ensuremath \beta}}$ равна $\sigma^2 E_k$ :

$\begin{displaymath} {\mathsf D}\,\!\sqrt{A}\hat{\text{\boldmath\ensuremath \beta... ...suremath \beta}}{-}\text{\boldmath\ensuremath \beta})\right)^T=\end{displaymath}$

$\begin{displaymath} ={\mathsf E}\,\!\left(\sqrt{A}A^{-1} Z \text{\boldmath\ensur... ...math\ensuremath \varepsilon}^T\right) Z^T {A^{-1}}^T\sqrt{A}^T.\end{displaymath}$

И так как , ${\mathsf E}\,\!\text{\boldmath\ensuremath \varepsilon}\text{\boldmath\ensuremath \varepsilon}^T=\sigma^2 E_n$ , то ${\mathsf D}\,\!\sqrt{A}\hat{\text{\boldmath\ensuremath \beta}}=\sigma^2\cdot\sqrt{A}A^{-1} Z Z^T A^{-1}\sqrt{A}= \sigma^2 E_k$ .

Свойство 3 означает, что координаты вектора $\sqrt{A}\hat{\text{\boldmath\ensuremath \beta}}$ некоррелированы. Сформулируем дальнейшее следствие этого свойства первым пунктом следующей теоремы. С утверждениями второго и третьего пунктов читатель встретится в следующем семестре многократно.

Теорема 13.

1.: Вектор $\dfrac{1}{\sigma}\,\sqrt{A}(\hat{\text{\boldmath\ensuremath \beta}}-\text{\boldmath\ensuremath \beta})$ имеет -мерное стандартное нормальное распределение, т.е. состоит из независимых случайных величин с распределением ${\mathsf N}_{0,1}$ .
2.: Величина $\dfrac{n{\hat\sigma}^2}{\sigma^2}=\dfrac{1}{\sigma^2} \lVert{\mathbf X}-Z^T\hat{\text{\boldmath\ensuremath \beta}}\rVert^2$ имеет распределение $\chi^2$ с степенями свободы и не зависит от $\hat{\text{\boldmath\ensuremath \beta}}$ .
3.: Оценка $(\sigma^2)^*=\dfrac{n{\hat\sigma}^2}{n{-}k}=\dfrac{1}{n{-}k} \lVert{\mathbf X}{-}Z^T\hat{\text{\boldmath\ensuremath \beta}}\rVert^2$ является несмещенной оценкой для $\sigma^2$ .

Доказательство теоремы 13

1.

Вектор $\sqrt{A}(\hat{\text{\boldmath\ensuremath \beta}}-\text{\boldmath\ensuremath \be... ...suremath \varepsilon}= (\sqrt{A})^{-1}Z \text{\boldmath\ensuremath \varepsilon}$ есть линейное преобразование нормального вектора $\text{\boldmath\ensuremath \varepsilon}$ и поэтому имеет нормальное совместное распределение. По свойству 3, матрица ковариаций этого вектора есть $\sigma^2 E_k$ , поэтому матрица ковариаций нормированного вектора $\sqrt{A}(\hat{\text{\boldmath\ensuremath \beta}}-\text{\boldmath\ensuremath \beta})/\sigma$ есть просто

, а математическое ожидание равно нулю по свойству 2. Напомним, что координаты многомерного нормального вектора независимы тогда и только тогда, когда они некоррелированы — см. теорему 14. Первое утверждение теоремы доказано.

2.

По построению ОМНК, вектор $X-Z^T\hat{\text{\boldmath\ensuremath \beta}}$ ортогонален любому вектору вида

. В частности, он ортогонален вектору $Z^T(\hat{\text{\boldmath\ensuremath \beta}}-\text{\boldmath\ensuremath \beta})$ . По теореме Пифагора, для треугольника с такими катетами сумма квадратов их длин равна квадрату длины гипотенузы:

$\begin{displaymath} \lVert X-Z^T\hat{\text{\boldmath\ensuremath \beta}}\rVert^2+... ...rVert^2 =\lVert X-Z^T\text{\boldmath\ensuremath \beta}\rVert^2.\end{displaymath}$

Поэтому

$\begin{equation} \lVert X-Z^T\hat{\text{\boldmath\ensuremath \beta}}\rVert^2=\lV... ...th\ensuremath \beta}}-\text{\boldmath\ensuremath \beta})\rVert^2}.\end{equation}$ (35)

Но квадрат нормы $\lVert Z^T(\hat{\text{\boldmath\ensuremath \beta}}-\text{\boldmath\ensuremath \beta})\rVert^2$ равен квадрату нормы $\lVert \sqrt{A}(\hat{\text{\boldmath\ensuremath \beta}}-\text{\boldmath\ensuremath \beta})\rVert^2$ :

$\begin{multline*} \lVert Z^T(\hat{\text{\boldmath\ensuremath \beta}}-\text{\bold... ...\sqrt{A})^{-1}Z \text{\boldmath\ensuremath \varepsilon}\rVert^2}.\end{multline*}$

Осталось заметить, что строки $(k{\times}n)$ -матрицы $(\sqrt{A})^{-1}Z$ ортогональны:

$\begin{displaymath} \left((\sqrt{A})^{-1}Z\right) \left((\sqrt{A})^{-1}Z\right)^T = (\sqrt{A})^{-1}ZZ^T (\sqrt{A})^{-1} = E_k,\end{displaymath}$

поэтому её строк можно дополнить до некоторой ортогональной $(n\times n)$ -матрицы . Первые координат -мерного вектора ${\mathbf Y}=C\text{\boldmath\ensuremath \varepsilon}/\sigma$ совпадают с вектором $(\sqrt{A})^{-1}Z \text{\boldmath\ensuremath \varepsilon}/\sigma$ . В результате из (35) получим

$\begin{equation} \dfrac{n{\hat\sigma}^2}{\sigma^2}= \dfrac{1}{\sigma^2}\lVert X-... ...n\left(\dfrac{\varepsilon_i}{\sigma}\right)^2- Y_1^2-\ldots-Y_k^2.\end{equation}$ (36)

Не забудьте, что вектор $\text{\boldmath\ensuremath \varepsilon}/\sigma$ имеет

-мерное стандартное нормальное распределение. Тогда вся разность (35) по лемме Фишера имеет распределение $\chi^2$ с

степенями свободы и не зависит от вычитаемого, т.е. от случайного вектора $\text{\boldmath\ensuremath \varepsilon}$ (и от $\hat{\text{\boldmath\ensuremath \beta}}$ тоже, поскольку $\hat{\text{\boldmath\ensuremath \beta}}$ есть функция $\text{\boldmath\ensuremath \varepsilon}$ ).

3.

Напомним, что ${\mathsf E}\,\chi^2_{n-k}=n{-}k$ . Отсюда и из второго утверждения теоремы получим

$\begin{displaymath} {\mathsf E}\,(\sigma^2)^*={\mathsf E}\,\!\left(\dfrac{n{\hat... ...\sigma^2}}\right) =\dfrac{\sigma^2}{n{-}k}\cdot (n-k)=\sigma^2.\end{displaymath}$

Q.D.E.

N.I.Chernova 9 сентября 2002