Метод максимального правдоподобия

Next: Метод наименьших квадратов Up: Исследование статистической зависимости Previous: Математическая модель регрессии

9.2. Метод максимального правдоподобия

Оценки неизвестных параметров находят с помощью метода максимального правдоподобия. Он предписывает выбирать неизвестные параметры так, чтобы максимизировать функцию правдоподобия случайного вектора $X_1, \ldots, X_n$ .

Будем, для простоты, предполагать, что вектор ошибок $\text{\boldmath\ensuremath \varepsilon}$ состоит из независимых и одинаково распределенных случайных величин с плотностью распределения из некоторого семейства распределений с нулевым средним и, вообще говоря, неизвестной дисперсией. Очень часто полагают, что $\varepsilon_i$ имеют симметричное распределение — нормальное ${\mathsf N}_{0,\sigma^2}$ , Стьюдента, Лапласа, логистическое и т.п. Поскольку от $\varepsilon_i$ зависят линейно, то распределение окажется таким же, как у $\varepsilon_i$ , но с центром уже не в нуле, а в точке . Поэтому имеет плотность $h\bigl(x-f(t_i)\bigr)$ , и функция правдоподобия вектора $X_1, \ldots, X_n$ равна, в силу независимости координат,

$\begin{equation} f(X_1,\ldots,X_n;\theta_1,\ldots,\theta_k)= h\bigl(X_1-f(t_1)\b... ...n-f(t_n)\bigr) =h(\varepsilon_1)\cdot\ldots\cdot h(\varepsilon_n).\end{equation}$ (30)

Если величины $\varepsilon_i$ имеют разные распределения, то

следует заменить на соответствующие

. В отсутствие независимости произведение плотностей в (30) заменится плотностью совместного распределения координат вектора $\text{\boldmath\ensuremath \varepsilon}$ .

Метод максимального правдоподобия предписывает находить оценки неизвестных параметров $\theta_i$ функции и оценки неизвестной дисперсии (или дисперсий) ${\mathsf D}\,\varepsilon_i$ , максимизируя по этим параметрам функцию правдоподобия (30). Рассмотрим, во что превращается метод максимального правдоподобия в наиболее частых на практике предположениях.

N.I.Chernova 9 сентября 2002