next up previous index
Next:  Метод максимального правдоподобия   Up:  Исследование статистической зависимости   Previous:  Исследование статистической зависимости

9.1.   Математическая модель регрессии

Пусть наблюдаемая случайная величина $X$ зависит от случайной величины или случайного вектора $Z$. Значения $Z$ мы либо задаем, либо наблюдаем. Обозначим через $f(t)$ функцию, отражающую зависимость среднего значения $X$ от значений $Z$:

\begin{equation} {\mathsf E}\,(X~\lvert~Z=t)=f(t).\end{equation}(29)

Функция $f(t)$ называется линией регрессии $X$ на $Z$, а уравнение $x=f(t)$ -- регрессионным уравнением. После $n$ экспериментов, в которых $Z$ последовательно принимает значения $Z=t_1$, $\ldots$, $Z=t_n$, получим значения наблюдаемой величины $X$, равные $X_1$, $\ldots$, $X_n$.

Обозначим через $\varepsilon_i$ разницу

$X_i-{\mathsf E}\,(X~\lvert~Z=t_i)=X_i-f(t_i)$

между наблюдаемой в $i$-м эксперименте случайной величиной и ее математическим ожиданием.

Итак, $X_i=f(t_i)+\varepsilon_i$, $i=1, \ldots, n$, где $\varepsilon_i$ — ошибки наблюдения, равные в точности разнице между реальным и усредненным значением случайной величины $X$при значении $Z=t_i$. Про совместное распределение $\varepsilon_1$, $\ldots$, $\varepsilon_n$ обычно что-либо известно или предполагается: например, что вектор ошибок $\text{\boldmath\ensuremath \varepsilon}$ состоит из независимых и одинаково нормально распределенных случайных величин с нулевым средним.

Нулевое среднее тут необходимо:

\begin{displaymath} {\mathsf E}\,\varepsilon_i={\mathsf E}\, X_i-f(t_i) = {\mathsf E}\,(X~\lvert~Z=t_i)-{\mathsf E}\,(X~\lvert~Z=t_i)=0.\end{displaymath}

Требуется по значениям $t_1,\ldots,t_n$ и $X_1, \ldots, X_n$ оценить как можно точнее функцию $f(t)$. Величины $t_i$ не являются случайными, так что вся случайность сосредоточена в неизвестных ошибках $\varepsilon_i$ и в наблюдаемых $X_i$.

Но пытаться в классе всех возможных функций восстанавливать $f(t)$по «наилучшим оценкам» для $f(t_i)$ довольно глупо — наиболее точными приближениями к $f(t_i)$ оказываются $X_i$, и функция $f(t)$ будет просто ломаной, построенной по точкам $(t_i,X_i)$. Поэтому сначала заранее определяют вид функции $f(t)$. Часто предполагают, что $f(t)$ есть полином (редко больше третьей или четвертой степени) с неизвестными коэффициентами. Будем пока предполагать, что функция $f(t)$ полностью определяется неизвестными параметрами $\theta_1,\ldots,\theta_k$.


N.I.Chernova
9 сентября 2002