Закон обучения сети с обратным распространением ошибки

ИНС с обратным распространением ошибки – многослойная двунаправленная сеть, состоящая из K слоев нейронов. Входной слой состоит из N нейронов, принимающих значения компонентов вектора и распределяющих их без изменения к следующему слою, причем каждый нейрон на каждом слое принимает выходной сигнал от каждого нейрона предыдущего слоя. Индекс (l) обозначает номер примера из обучающей выборки.

Выходной K -й слой сети состоит из M нейронов и выдает оценку Y ¢ = { y_j ¢} желаемого выходного вектора Y Î f [ A ], Y = { y_j }.

Слои сети, которые располагаются между входным и выходным называются скрытыми.

В сети присутствуют два вида связей – прямые и обратные. Прямые связи служат для передачи сигналов от входного слоя вперед по сети, в результате чего сеть вырабатывает выходной сигнал. Обратные связи служат для передачи ошибки от выходного слоя сети ко второму слою через все скрытые слои, в результате чего реализуется обучение сети. Передача данных по прямым связям называется прямым проходом алгоритма обучения, а по обратным – обратным проходом.

Пусть S_kj – выходной сигнал j -го нейрона k -го слоя, M_k – количество нейронов k -го слоя. Солнцем называется нейрон, выполняющий суммирование данных, приходящих по входным связям и вычисляющий значение функции активации от полученной суммы. Результат передается планетам следующего слоя. Планетой назовем элемент сети с обратным распространением ошибки, имеющий единственный вход и единственный выход, и вычисляющий произведение входного данного на значение весового коэффициента, который хранится в его памяти.

Закон обучения для ИНС с обратным распространением ошибки является обобщением закона Уидроу, который может использоваться для многослойных сетей. Его основной недостаток - во многих случаях для сходимости может потребоваться многократное предъявление всей обучающей выборки.