Напоминание 2. Квадрат нормы вектора равен . Норма равна нулю, если и только если .
Благодаря напоминанию 2,
причем , если и только если . Но «ранг равен » как раз и означает, по определению, что тогда и только тогда, когда .
Q.D.E.
Скоро нам пригодится корень из матрицы , существование которого гарантирует
Положительная определенность и симметричность матрицы влекут существование вещественной симметричной матрицы такой, что .
Действительно, матрица симметрична, поскольку и . Существование(*) матрицы с нужными свойствами следует из возможности привести ортогональными преобразованиями к диагональному виду с положительными, в силу положительной определенности, собственными значениями на диагонали . Тогда .
Q.D.E.
Найдем ОМНК для вектора , доставляющий минимум функции , равной
Вместо того, чтобы искать точку экстремума функции дифференцированием по , заметим следующее. Величина есть квадрат расстояния от точки до точки одной из точек линейного подпространства (гиперплоскости) в с координатами вида , где . Минимальное расстояние мы получим, когда вектор будет ортогонален всем векторам этого подпространства, т.е. когда для любого скалярное произведение векторов и обратится в ноль. Запишем это скалярное произведение в матричном виде
Подставляя в качестве базисные вектора в вида
, сразу же получим, что все координаты вектора
равны нулю. Итак, оценка метода наименьших
квадратов есть любое решение уравнения
(32) |
(33) |
В предположении, что вектор ошибок состоит из
независимых случайных величин с нормальным распределением с одной и той же дисперсией, ОМНК совпадает с оценкой максимального
правдоподобия, а ОМП для , согласно (31), равна
(34) |
N.I.Chernova
(*) См., например, А.И.Мальцев «Основы линейной алгебры», раздел «Унитарные и евклидовы пространства», параграф «Унитарные и симметрические преобразования», теорема 7.