\section{Линейная задача наименьших квадратов\label{s6.2}}

Линейная задача наименьших квадратов (\smr\ref{f:modest}) ставится следующим образом.

Дано \emph{линейное} уравнение
\begin{equation}\label{z=}
z=Ax+v,
\end{equation}
в котором известны вектор $z\in\Rset^m$ и $(m\times n)$-матрица $A\in\Rset^{m\times n}$, \ie $A=A(m,n)$. 
Разностный вектор $v\triangleq z-Ax$, называемый \emph{невязкой}, 
зависит от переменного вектора $x\in\Rset^n$. Требуется найти значение
$\hat x$ вектора $x$, минимизирующее \emph{квадратический} критерий
качества
\begin{equation}\label{J=}
J(x)=(z-Ax)^T(z-Ax)= \Vert v \Vert^2\to\min.
\end{equation}
Если ни при каком $x$ невязка $v$ не может быть обращена в $\boldsymbol{0}$ 
--- нулевой вектор, то система $Ax=z$  --- несовместная, в противном случае совместная, \ie критерий (\ref{J=}) охватывает оба случая.
Однако сам \emph{метод наименьших квадратов} (МНК), выраженный критерием (\ref{J=}), создан Лежандром в 1805 году как алгебраическая процедура 
именно для несовместных систем и подтвержден как статистическая процедура Гауссом в 1809 году \cite{farebrother:1988}. 
МНК как алгебраическая процедура проиллюстрирован выше с помощью 
\ris\ref{f:modest}$(a)$, а как статистическая процедура --- с помощью 
\ris\ref{f:modest}$(b)$. 
Замечательно, что обе процедуры имеют одинаковые решения, \ie алгебраически 
эти решения эквивалентны и при $\E{v}=0$  и $\E{vv^T}=I$
(\smr\ref{f:modest}$(b)$) совпадают, поэтому можно говорить о едином 
МНК-решении $\hat x$.

МНК-решение $\hat x$ всегда существует как решение \emph{нормальных уравнений}
\begin{equation}\label{normeq}
A^TA\hat x=A^Tz,
\end{equation}
выражается формулой
\begin{equation}\label{normsol}
\hat x=A^{+}z+(I-A^{+}A)y
\end{equation}
через произвольный вектор $y\in\Rset^n$, где $A^{+}$ --- \emph{псевдообратная матрица} для матрицы $A$, и единственно тогда и только тогда, когда 
$A^{+}A=I$, что равносильно условию, что только нулевой вектор составляет ядро (нуль-пространство) матрицы $A$, \ie при $\rank A=n$.

Условие $\rank A=n$, называемое \emph{условием полного столбцового ранга}
матрицы $A$, обусловливает случай $m\ge n$, что при  $m> n$ означает переопределенную систему полного ранга в (\ref{z=}). 
Этот типичный для практики случай ниже и рассматривается, при этом из 
(\ref{normeq}), (\ref{normsol}) следует $\hat x=A^{+}z$ и $A^{+}=(A^TA)^{-1}A^T$. 
\rem Слагаемое $\hat x_0\triangleq A^{+}z$  в (\ref{normsol}) есть единственное
МНК-решение с минимальной нормой, называемое \emph{нормальным псевдорешением}. Оно ортогонально второму слагаемому в 
(\ref{normsol}), \ie $A^{+}z \perp (I-A^{+}A)y$, и лежит в пространстве 
строк матрицы  $A$, \ie $\hat x_0\in {\cal R}(A^T)$.\medskip

Таким образом,  типичный для практики случай имеет формальное решение 
$\hat x=\hat x_0=(A^TA)^{-1}A^T z$, и вычислительная задача наименьших квадратов заключается в его эффективном отыскании.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%