Влияние входных воздействий на качество регрессионных моделей

Ранее было получено соотношение , из которого следует, что точность оценки параметров по МНК зависит от значений входных воздействий в выборке, по которой построена регрессионная модель.

Если модель строится по данным активного эксперимента, то выбирая входные воздействия оптимальным образом, можно максимизировать точность оценки параметров. Если модель строится по данным пассивного эксперимента, когда входные воздействия могут лишь контролироваться, но не подлежат целенаправленным изменениям, то в неблагоприятных ситуациях возможна существенная потеря точности МНК вплоть до полной потери его работоспособности.

Рассмотрим типичные ситуации на простом примере. Пусть необходимо определить параметры регрессионной модели

(4.52)

по данным двух зашумлённых измерительными помехами экспериментов

(4.53)

(4.54)

В этом случае в соответствии с МНК оценки находятся решением системы уравнений

(4.55)

(4.56)

Из (4.53) – (4.55) получим систему уравнений для ошибок оценивания параметров

Откуда находим

,

,

,

Будем оценивать точность модели комплексным показателем

(4.57)

Каждый эксперимент может быть охарактеризован вектором

Соответственно план серии из двух экспериментов может быть задан парой векторов и . Рассмотрим несколько подобных планов, предполагая, что существуют ограничения на входные воздействия

1)

Ясно, что

Заметим, что вектора и ортогональны, т.е.

2) Рассмотрим ещё одним ортогональный план

.

Ясно, что

Заметим, что, как и в примере 1)

3) Уменьшим угол между векторами и

.

Ясно, что

4) Рассмотрим случай, когда векторы и коллинеарные, т.е. .

В этом случае и а значит

Выводы:

1. Качество МНК – оценок тем лучше, чем ближе план эксперимента к ортогональному. В общем случае для модели условие ортогональности имеет вид

Качество МНК – оценок тем лучше, чем больше по модулю входные воздействия .

Оптимизация входных воздействий из условия минимизации ошибок модели – предмет теории планирования эксперимента. Одна из постановок

2. Качество МНК – оценок тем хуже, чем ближе выборка данных, по которым строится модель, к условиям мультиколлинеарности, т.е. линейной зависимости входных воздействий, когда для какого – либо входа выполняется условие

где хотя бы один коэффициент отличен от 0.

Действительно, в этом случае для суммы квадратов не …(58) выполняется соотношение

где (4.58)

а следовательно, минимизация этой суммы по а не может дать однозначного решения, т.к. определив по МНК , можно, задавая различные значения , получать из (4.58) соответствующие значения .

Явление мультиколлинеарности при построении моделей множественной регрессии может иметь место в условиях пассивного эксперимента. Типичные ситуации:

1. Функциональная или статистическая зависимость между некоторыми входами, возникающая из-за того, что на каждый из них оказывает влияние некий фактор, не включенный в модель. Например, заметив, что курс доллара на Российской бирже зависит от курса доллара предшествующих торгов Токийской и Нью-Йоркской бирж, можно построить регрессионную модель для прогноза курса доллара в Москве по данным курса в Нью-Йорке и Токио. Однако, эта модель может оказаться неустойчивой, т.к. курс на Токийской и Нью-Йоркской биржах зависит от индекса Доу-Джонса.

В подобной ситуации следует выявить взаимозависимые факторы путём подсчёта коэффициентов парной корреляции входных воздействий и уменьшить число входов настолько, чтобы оставшиеся входы были слабо коррелированны между собой (при этом, однако, надо следить за точностью модели). Для формализованного решения задачи выбора минимального числа наиболее информативных входов служит, например, метод главных компонент.

2. Модель управляемого процесса по данным нормальной эксплуатации. Например, , где u – управляющее воздействие, а – контролируемое возмущение.

При стабилизирующем управлении возникает ситуация линейной зависимости между входами модели. В отличии от случая 1. Целью моделирования является не прогнозирование выхода у, а определение оценок параметров. Зная эти оценки, можно эффективно скомпенсировать возмущения, положив . Следовательно, в данной ситуации сокращение числа входов модели не является средством решения проблемы коллинеарности. Для этого необходимо ввести элементы активного эксперимента, дополнив сигнал управления u специальной, не зависящей от n составляющей , в допустимой степени «раскачивающей» исследуемый объект.