Метод наименьших квадратов

Запишем сумму квадратов отклонений (4.6) для всех точек x₀, x₁,…, x_n:

          (4.11)

Параметры a₀, a₁,…, a_m эмпирической формулы (4.11) будем находить из условия минимума функции S = S(a₀,a₁,…,a_m). В этом состоит метод наименьших квадратов.

В теории вероятностей доказывается, что полученные таким методом значения параметров наиболее вероятны, если отклонения ε_i подчиняются нормальному закону распределения (определение нормального закона см. в приложении в конце текста).

Поскольку здесь параметры a₀, a₁,…, a_m выступают в роли независимых переменных функции S, то ее минимум найдем, приравнивая нулю частные производные по этим переменным:

, , ...,                      (4.12)

Полученные соотношения – система уравнений для определения a₀, a₁,…, a_m.

Рассмотрим применение метода наименьших квадратов для частного случая, широко используемого на практике. В качестве эмпирической функции рассмотрим многочлен

.                                    (4.13)

Формула (4.11) для определения суммы квадратов отклонений S примет вид

.                      (4.14)

Для составления системы уравнений (4.12) найдем частные производные функции S = S(a₀,a₁,…,a_m):

,

,

..................................................................

.

Приравнивая эти выражения нулю в соответствии с уравнениями (4.12) и собирая коэффициенты при неизвестных a₀, a₁,…, a_m, получаем следующую систему уравнений:

,

,

...........................................................                                   (4.15)

.

Решая эту систему линейных уравнений, получаем коэффициенты a₀, a₁,…, a_m многочлена (4.13), которые являются искомыми параметрами эмпирической формулы.

Систему (4.15) можно записать в более компактном виде:

,

,

............................................                    (4.16)

;

                (4.17)

Пример. Используя метод наименьших квадратов, вывести эмпирическую формулу для функции y=f(x), заданной в табличном виде:

Решение. Если изобразить данные табличные значения на графике (см. рис.4.1), то легко убедиться, что в качестве эмпирической формулы для аппроксимации функции y=f(x) можно принять параболу, т. е. квадратный трехчлен:

.                   (4.18)

Рис. 4.1

В данном случае имеем m=2, n=4, и система уравнений (4.16) примет вид

,

,                   (4.19)

.

Коэффициенты этой системы могут быть вычислены по формулам (4.17), где i = 0, 1, 2, 3, 4:

,

,

,

,

,

,

.

Система уравнений (4.19) запишется в виде

,

,

.

Отсюда находим значения параметров эмпирической формулы: . Таким образом, получаем следующую аппроксимацию функции, заданной в табличном виде:

.                     (4.20)

Оценим относительные погрешности полученной аппроксимации в заданных точках, т. е. найдем значения

.

Результаты вычислений представим в виде таблицы

x
0.75 1.50 2.25 3.00 3.75	2.66 1.12 0.92 2.06 4.54	2.50 1.20 1.12 2.25 4.28	0.16 –0.08 –0.20 –0.19 0.26	0.064 –0.067 –0.179 –0.084 0.061

На рис. 4.2 построен график найденной эмпирической формулы. Точками нанесены заданные табличные значения функции.

Рис.4.2

Как видно из рассмотренного примера, некоторые коэффициенты системы (4.19) равны: . Из формул (4.17) нетрудно увидеть, что равны все коэффициенты b_kl при k+l=const..