Приближение функции по методу наименьшего квадрата. Нелинейная регрессия

Метод наименьших квадратов — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащих случайные ошибки. Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений. Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то для увеличения точности измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов. До начала XIX в. учёные не имели опредёленных правил для решения системы уравнений, в которой число неизвестных менее числа уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Лежандру (1805—06) и Гауссу (1794—95) принадлежит первое применение к решению указанной системы уравнений теории вероятностей, исходя из начал, аналогичных с началом арифметической середины, уже издавна и, так сказать, бессознательно применяемых к выводам результатов в простейшем случае многократных измерений. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но зато даёт наиболее вероятные значения. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена и др. и получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков, после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть величины, по которым судят о степени точности выводов. Нелинейная регрессия — частный случай регрессионного анализа, в котором рассматриваемая регрессионная модель есть функция, зависящая от параметров и от одной или нескольких свободных переменных. Зависимость от параметров предполагается нелинейной. Задана выборка из m пар . Задана регрессионная модель f(w,x), которая зависит от параметров и свободной переменной x. Требуется найти такие значения параметров, которые доставляли бы минимум сумме квадратов регрессионных остатков , где остатки для . Для нахождения минимума функции S, приравняем к нулю её первые частные производные параметрам w: Так как функция S в общем случае не имеет единственного минимума, то предлагается назначить начальное значение вектора параметров и приближаться к оптимальному вектору по шагам: . Здесь k - номер итерации, - вектор шага. На каждом шаге итерации линеаризуем модель с помощью приближения рядом Тейлора относительно параметров . Здесь элемент матрицы Якоби - функция параметра ; значение свободной переменной фиксировано. В терминах линеаризованной модели и регрессионные остатки определены как . Подставляя последнее выражение в выражение (*), получаем . Преобразуя, получаем систему из n линейных уравнений, которые называются нормальным уравнением . Запишем нормальное уравнение в матричном обозначении как . В том случае, когда критерий оптимальности регрессионой модели задан как взвешенная сумма квадратов остатков , нормальное уравнение будет иметь вид . Для нахождения оптимальных параметров нелинейных регрессионных моделей используются метод сопряжённых градиентов, метод Ньютона-Гаусса или алгоритм Левенберга-Марквардта.