Проблемы обучения сетей преобразования данных

В процессе обучения весовые коэффициенты сети преобразования данных настраиваются так, чтобы она могла воспроизводить выходные данные, содержащиеся в предъявляемых ей обучающих парах. В результате процесса обучения сеть запоминает все обучающие данные, то есть правильно реагирует на тесты, совпадающие с обучающими данными. Однако кроме способности помнить данные обучающей выборки, сеть должна обладать способностью к обобщению.

Обобщением называется способность сети корректно осуществлять преобразование вход/выход как для примеров из обучающего множества, так и для данных, не использованных при обучении. Таким образом, обобщение – это способность ИНС к нелинейной интерполяции входных данных.

На рис. 4.8 проиллюстрировано свойство обобщения. Кривая, изображенная на рисунке, отображает нелинейное преобразование, осуществляемое некоторой ИНС. Обучающие и тестовые данные представлены точками на координатной плоскости. Абсциссы точек, представляющих обучающие данные, – это входы сети, а ординаты – желаемые выходы. Для точек, представляющих тестовые данные, абсциссы – это входы, а ординаты – отклики сети. В ситуации, изображенной на рис. 4.8, что сеть обладает хорошей способностью к обобщению.

Рис. 4.8. Иллюстрация свойства обобщения

Однако ИНС не всегда в результате обучения приобретает хорошую способность к обобщению. На рис. 4.9 изображена реакция некоторой сети, которую обучали осуществлять то же преобразование. Видно, что в этом случае сеть не может корректно интерполировать входные данные, которые не входят в обучающий набор.

Отсутствие хорошей способности к обобщению может объясняться, например, явлением переобучения.

При обучении сети минимизируется ошибка между действительным выходом сети и желаемым выходом из обучающего набора. Но для того, чтобы сеть обладала хорошей способностью к обобщению, важно не только и не столько отсутствие ошибки на этапе обучения, сколько правильное функционирование сети на примерах, не входящих в обучающую выборку.

Может возникнуть и другая ситуация – ошибка верификации начинает расти, а ошибка обучения еще не достигла приемлемого уровня, т.е. сеть еще не приобрела способность воспроизводить заданную функцию. В этом случае сеть называют недообученной. Обычно эффект недообучения возникает, когда сеть неудачно спроектирована, т.е. неправильно выбраны архитектура и параметры сети.

Рис. 4.9. Иллюстрация свойства обобщения. Продолжение

На рис. 4.10 показана ситуация, когда ошибка обучения еще продолжает уменьшаться, а ошибка тестирования уже начинает расти. Для того, чтобы выявить момент, в который надо остановить обучение (на рис. 4.10 он помечен «СТОП!»), применяют так называемую процедуру кросс-верификации. Данные обучающей выборки разбивают на два подмножества. Одно используют непосредственно для обучения, а другое для определения ошибки тестирования, т.е. для проверки или верификации. Когда ошибка верификации начинает расти, обучение прекращают.

Можно выделить два необходимых условия для существования способности сети к обобщению:

1) гладкость нелинейного преобразования, выполняемого сетью, т.е. небольшим приращениям входных данных должны соответствовать небольшие приращения выходных;

2) набор обучающих данных должен быть достаточно представительным, т.е., с одной стороны, время его обработки не должно быть слишком большим, а с другой стороны, он должен полностью учитывать все особенности решаемой задачи преобразования данных.

Рис. 4.10. Иллюстрация свойства обобщения. Окончание