Методы обучения нейронных сетей

Обучение сетей без обратной связи может быть с учителем и без учителя. При обучении с учителем сеть имеет возможность в ходе тренировки сравнивать с правильными ответами свои реакции на входные воздействия, чтобы корректировать их, в то время как сеть без учителя такой возможности не имеет. Обучение с учителем и без учителя представляют собой исключающие друг друга методы.

При обучении с учителем сигнал ошибки подается обратно через сеть, изменяя веса соединений в процессе движения таким образом, чтобы та же самая ошибка не случалась снова. Обучение с учителем представляет собой простейшую форму адаптации. Оно требует наличия априорного знания о том, каким должен быть результат: выходные нейроны должны знать, что точно соответствует входным сигналам. Для однослойной сети это легко выполнить путем индивидуального контроля каждого нейрона. В многослойной сети режим обучения с учителем реализовать сложнее, так как трудно корректировать веса внутренних слоев.

Метод обратного распространения ошибки (back propagation), использующий обобщенное Дельта-правило, сегодня наиболее часто применяется при обучении многослойных нейронных сетей без обратной связи.

При обучении без учителя «тренер» для сети не предусмотрен. Сеть сама организует себя так, чтобы прийти к собственной классификации входов. Самоорганизация, демонстрируемая нейронными сетями без учителя, может быть также основана на использовании конкуренции, кооперации или их обоих. В схемах конкурентного обучения нейроны распределены по классам. Нейроны каждого класса соединены с каждым нейроном того же класса тормозящими связями, а с нейронами других классов – возбуждающими связями. Нейроны каждого класса соревнуются между собой за право распознавать некоторую особенность во входе. Нейрон, который более чутко реагирует на эту особенность, чем другие нейроны в классе, «выигрывает» в конкуренции. В конечном счете различные классы приобретают способность представлять различные аспекты входа.

Часто конкуренция и кооперация бывают представлены в одной и той же сети. Кооперация характерна для сетей, которые могут достигать глобальной организации путем локальных взаимодействий. Необходимы параллельные, рекурсивные и нелинейные взаимодействия, чтобы обеспечить кооперацию. Например, в 1976 году Д. Марр и Т. Поггио (D. Marr and T. Poggio) применили кооперативную сеть для решения проблемы совмещения образов, как это происходит у человека с образами, возникающими в левом и в правом глазах.

Обратное распространение ошибки (Back Propagation) представляет собой схему обучения с учителем и позволяет тренировать многослойные сети без обратной связи. Сеть обучается путем корректировки весов соединений с учетом ошибки на выходе сети. Цель тренировки сети состоит в достижении минимума ошибки Е за счет надлежащей настройки весов соединений.

Ошибку реакции сети (на выходе сети) на данный образ можно вычислить по формуле

,

где – правильный выход нейрона i;

– реальный (действительный) выход нейрона i.

Простейший метод для поиска минимума ошибки Е известен как метод градиентного (наискорейшего) спуска. Он предусматривает всегда движение (небольшими шагами) в направлении наибольшего уменьшения ошибки.

Если изменение веса обозначить как , то по методу градиентного спуска это изменение должно быть равно

,

где – константа, задающая темп обучения (величину шага спуска).

Таким образом, для определения величины изменения весов требуется найти производную . Согласно известным правилам дифференцирования мы имеем

.

Тогда, с учетом вида формул для , , , получим

;

;

.

Таким образом, производная имеет следующий вид:

= .

Обозначим . Величина называется локальной ошибкой. Тогда правило изменения весов соединений нейронов выходного слоя сети согласно методу градиентного спуска приобретает вид

.

Таким образом, если нейрон i находится в выходном слое, веса его соединений с нейронами j предыдущего слоя мы можем вычислить немедленно.

Если нейрон i находится не в выходном слое, локальная ошибка для этого нейрона вычисляется через сумму взвешенных локальных ошибок нейронов k следующего слоя .

Этот прием позволяет, вычислив локальные ошибки нейронов выходного слоя, вычислить затем локальные ошибки нейронов предшествующего слоя и так повторять до тех пор, пока не будут вычислены локальные ошибки нейронов входного слоя. При этом правило корректировки весов соединений применяется одно и то же.

Зейновски (Sejnowski) и Розенберг (Rosenberg) в NetTalk использовали правило, в котором, кроме параметра a, характеризующего темп тренировки, используется параметр m, известный как сглаживающий фактор: . Использование фактора сглаживания улучшает сходимость процесса тренировки. Если m = 0, алгоритм тоже сходится, но делает это несколько дольше.