Виды регрессионного анализа

Многошаговая регрессия (ШРА) — последовательность шагов РА, выполняемая в направлении увеличения или уменьшения количества учитываемых коэффициентов линейной модели регрессии.

Последовательный регрессионный анализ (ПРА) - раздел МС, характерной чертой которого является то, что число производимых наблюдений (момент остановки наблюдений) не фиксируется заранее, а выбирается по ходу наблюдений в зависимости от значений поступающих данных. При этом строки матрицы эксперимента могут не только пополняться, но и заменяться.

Текущий регрессионный анализ (ТРА) (стохастическая аппроксимация) - метод решения класса задач статистического оценивания, в котором новое значение оценки представляет собой основанную на текущем наблюдении поправку к уже имеющейся оценке; аторегрессия - регрессионная зависимость значений некоторой случайной последовательности от совокупности предшествующих значений.

Байесовский регрессионный анализ (БРА) - в случае случайного характера коэффициентов регрессии с известным распределением вероятности в качестве оценок неизвестных коэффициентов можно брать их условные математические ожидания при известных откликах (апостериорные данные), полученные по апостериорному распределению вероятностей коэффициентов с помощью обобщенной формулы Байеса.

Непараметрический РА (1-ГРА). Непараметрические методы МС не предполагают знания функционального вида генеральной совокупности (генерального распределения). Название “непараметрические методы” подчеркивает их отличие от классических - параметрических - методов, в которых предполагается, что генеральное распределение известно с точностью до конечного числа параметров, и которые позволяют по результатам наблюдения оценивать значения этих параметров и проверять гипотезы относительно этих значений.

Робастный РА (РРА). Методы оценки, нечувствительные к сорным наблюдениям (Дж. Бокс, 1950г.). Выяснилось, например, что повышенной устойчивостью обладают оценки, полученные по методу минимизации суммы модулей ошибок и максимального модуля ошибки (чебышевский метод оценивания). Это промежуточный подход между параметрикой и непараметрикой.

Гребневая регрессия (ГР, ридж-регрессия) используется при наличии линейной зависимости между факторами или базисными функциями, следствием чего является плохая обусловленность матрицьи Х^тХ системы нормальных уравнений РА и неустойчивость оценок коэффициентов регрессии. Оценки, например, могут иметь неправильный знак или значения, которые намного превосходят те, которые приемлемы из физических или практических соображений.