Комбинированный критерий

Этот критерий позволяет использовать при выборе моделей линейную комбинацию нескольких критериев. Комбинированный критерий

при условии нормировки

Здесь — принятые на рассмотрение критерии, а — веса этих критериев, назначенные в начале вычислительного эксперимента.

Используются также нормализованные значения критериев. При этом предыдущая формула имеет вид

Максимальное значение критерия берется по вычисленным значениям критериев для всех порожденных моделей. В данном случае оптимальная модель может быть найдена только после завершения настройки параметров всех моделей.

Пример распространенного комбинированного критерия — смещение плюс ошибка аппроксимации.

где — нормализованная среднеквадратичная ошибка аппроксимации на всей выборке с использованием коэффициентов, полученных также на .

Второй пример комбинированного критерия — смещение плюс регулярность.

Третий пример — смещение плюс ошибка на тестовой выборке.

Такой критерий обеспечивает выбор наиболее несмещенных, устойчивых и точных моделей. Здесь — среднеквадратичная ошибка, вычисленная на выборке , с весами, настроенными на всей выборке .

Обычно при вычислении критерия выборку делят на три части в пропорциях , и . Выборки и используются для вычисления критерия минимального смещения, а выборка — для вычисления ошибки предсказания. Для критериев и выборка обычно делится на две равные части.