Линейная регрессия

Рассмотрим вектор факторов регрессии $\overrightarrow{Z}=(Z_1,...,Z_k)$ и вектор неизвестных параметров регрессии $\overrightarrow{\beta}= (\beta_1,...,\beta_k)$. Будем изучать линейную регрессию

$${\bf E}(X\vert\overrightarrow{Z})=\sum_{i=1}^k \beta_i Z_i.$$

Пусть в $i$-м эксперименте факторы регрессии принимают заданные значения

$$\overrightarrow{Z}^{(i)}=(Z_1^{(i)},...,Z_k^{(i)}),$$

где $i=1,...,n$. После $n\geq k$ экспериментов получен набор откликов $(X_1,...,X_n)$:

$$\overrightarrow{X}=Z^{T}\overrightarrow{\beta}+\overrightarrow{\varepsilon},$$

с матрицей плана $Z(k\times n)$

$$\left(\begin{array}{ccc} Z_{1}^{(1)} & \ldots & Z_{1}^{(n)... ... \\ Z_{k}^{(1)} & \ldots & Z_{k}^{(n)} \end{array}\right).$$

Матрицу $Z^T$ - будем называть матрицей линейного преобразования (собственно она и вводится в предлагаемом статистическом пакете), вектор $\overrightarrow{\varepsilon}=(\varepsilon_1,...,\varepsilon_n)$ - будем называть вектором ошибок (случайных остатков). Сформулируем следующую теорему.
Теорема (Гаусс-Марков). Пусть матрица $Z$ имеет ранг $k$ и вектор ошибок $\overrightarrow{\varepsilon}$ - состоит из независимых гауссовских случайных величин с распределением $\Phi_{0,\sigma^2}$ с одной и той же дисперсией. Тогда ОМНК $\widehat{\beta}$, которая минимизирует функцию

$$S(\overrightarrow{\beta})=(\overrightarrow{X}-Z^{T}\overrightarrow{\beta})^{T}(\overrightarrow{X}-Z^{T}\overrightarrow{\beta})$$

имеет вид:

$$\widehat{\beta}=(ZZ^T)^{-1}Z\overrightarrow{X}.$$

Ковариационная матрица оценки $\widehat{\beta}$ вычисляется по формуле:

$${\rm Cov}(\widehat{\beta},\widehat{\beta}\vert Z)=\sigma^2_{\varepsilon}(ZZ^T)^{-1},$$

где $\sigma^2_{\varepsilon}=\frac{1}{n-k}(\overrightarrow{X}-Z^{T}\widehat{\beta})^{... ...w{X}-Z^{T}\widehat{\beta})= \frac{1}{n-k}\sum_{i=1}^n \widehat{\varepsilon}_i^2$ - несмещенная оценка для дисперсии случайного остатка (через $\widehat{\varepsilon}_i$ мы обозначили $i$-ую компоненту вектора $\overrightarrow{X}-Z^{T}\widehat{\beta}$, компоненты этого вектора и являются оценками сл. остатков регрессии).

Обозначим $\widehat{X}=Z^{T}\widehat{\beta}$ - "иксы" , вычисленные по линейному уравнению регрессии. Введем в рассмотрение характеристики регрессии, которые будут вычисляться в пакете. Прежде всего отметим коэффициент детерминации

$$R^2=\frac{\overline{(\widehat{X}-\overline{X})^2}}{\overline{(X-\overline{X})^2}},$$

коэффициент детерминации показывает, какую долю выборочной дисперсии "иксов" составляет выборочная дисперсия "иксов", вычисленных по уравнению регрессии, отметим, что чем ближе $R^2$ к единице, тем лучше регрессия аппроксимирует эмпирические данные. Далее среднеквадратической погрешностью или ошибкой уравнения регрессии называется

$$\sqrt{\sum_{i=1}^n (X_i-\widehat{X}_i)^2/n}.$$

Особо отметим статистику Дарбина-Ватсона

$$DW=\frac{\sum_{i=2}^n (\widehat{\varepsilon}_i-\widehat{\varepsilon}_{i-1})^2}{\sum_{i=1}^n \widehat{\varepsilon}_i^2}.$$

На основе этой статистики строится критерий для проверки предпосылки теоремы Гаусса-Маркова о некоррелированности случайных остатков в модели линейной регрессии, а именно, проверяется гипотеза

$$H_1: {\rm Cov}(\varepsilon_i,\varepsilon_j)=0,~~j=i-1.$$

Сам критерий Дарбина-Ватсона здесь мы приводить не будем, скажем лишь то, что значения $DW$ близкие к двойке говорят в пользу принятия гипотезы $H_1$. Более подробно коснемся теста Голдфелда-Квандта. С помощью этого критерия проверяется предпосылка теоремы Гаусса-Маркова о совпадении дисперсий случайных остатков в модели линейной регрессии (в эконометрике говорят проверяется гомоскедастичность сл. остатков). В дальнейшем уравнения системы $\overrightarrow{X}=Z^{T}\overrightarrow{\beta}+\overrightarrow{\varepsilon}$ будем называть уравнениями наблюдений объекта. Итак, упорядочим уравнения наблюдений объекта по возрастанию суммы модулей значений факторов регрессии, т.е. по возрастанию значений

$$Z_i=\sum_{j=1}^k \vert Z_j^{(i)}\vert.$$

По первым $\overline{n}$ упорядоченным уравнениям (где $\overline{n}$ удовлетворяет условиям

$$k<\overline{n},~~~~\overline{n}=[n/3+0.5],$$

$k$ - количество оцениваемых параметров регрессии) вычисляем ОМНК $\widehat{\beta}_1$, затем находим

$$ESS1=\sum_{i=1}^{\overline{n}}\widehat{\varepsilon}_i^2,$$

где, по-прежнему, $\widehat{\varepsilon}_i=X_i-\widehat{X}_i$. Аналогично по последним $\overline{n}$ упорядоченным уравнениям наблюдений вычисляем ОМНК $\widehat{\beta}_2$, затем также вычисляем $ESS2$. В итоге получаем статистику, которую назовем статистикой Голдфельда-Квандта

$$CQ=\max(ESS1/ESS2,ESS2/ESS1).$$

Реально достигнутый уровень значимости критерия вычисляется по формуле

$$1-F_{\overline{n}-k,\overline{n}-k}(CQ),$$

где $F_{k_1,k_2}$ - функция распределения Фишера с $k_1=k_2=\overline{n}-k$ степенями свободы.