3.2. Метод наименьших квадратов

(Комментарий. Восстанавливая траектории комет по наблюдениям, Лежандр (1806 г.) и Гаусс (1809 г.) поставили и решили задачу нахождения значений параметров (a₁,...,x_n), связывающих набор экспериментальных данных (x_i,y_i), полученных с неизбежными систематическими и случайными ошибками. Естественно, надо провести как можно большее число m измерений, то есть m>n, где n - число независимых параметров. Функция, связывающая экспериментальные данные f(x,a₁,...,a_n), известна априори, как и результаты измерений x_i и y_i. Причём каждое измерение давало линейное соотношение между ними вида x_i1a₁+x_i2a₂+...+x_ina_n=y_i. Необходимо найти значения параметров (a₁,...,a_n). Это типичная некорректная задача. Идея её решения состояла в том, чтобы определить решение как такое, которое минимизирует сумму квадратов отклонений всех измерений, то есть квадратичный функционал невязки Тогда )

Пример. Пусть проведено 5 измерений и зависимость между ними y=a₁x+a₂ задана таблицей.

S_a1=84-55a₁-15a₂=0, S_a2=-30a₁-10a₂+59=0.

Тогда уравнение прямой имеет вид

Если связать эту задачу с предыдущим примером, то мы получим линейную оболочку L(a₁,a₂), и задача ставится так: найти проекцию вектора x на линейную оболочку L(a₁,a₂), то есть псевдорешение. y₁=1a₁+a₂, y₂=2a₁+a₂,...,y₅=5a₁+a₂, x={y₁,y₂,...,y₅}={6,1;7,1;6,6;4,6;5,1}, a₁ = {1,2,3,4,5}, a₂ = {1,1,1,1,1}.

Пусть теперь y=a₁x²+a₂x+a₃. Тогда a₃=6. Этот метод называется методом наименьших квадратов или методом невязки.

Пример. Получить псевдорешение системы:

Составим матрицу Грама: (a₁,a₁)=5,95; (a₂,a₁)=44,82; (a₂,a₂)=345,02; где a₁^T=(1;1;1,4;1,41); a₂^T=(7;10;9,9;90).

Тогда правая часть получившейся СЛАУ (31,91;245,28), а решение имеет вид x=0,363; y=0,664.