Алгоритм обратного распространения ошибки для адаптивных сетей

Рассмотрим алгоритм обратного распространения ошибки для адаптивных сетей (рис.2.46). Напомним, что сеть имеет L слоев (l =0,1,…, L) и l = 0 представляет входной слой. Слой l имеет N (l) вершин. Выходное значение вершины зависит от входных значений и параметров функции активации вершины. Обозначим выход -той вершины слоя как .

,

где - параметры функции активации -той вершины слоя .

Обучение методом обратного распространения ошибки в такой сети связано с настройкой параметров сети () таким образом, чтобы ошибка на выходе была минимальной.

Предположим, что имеются P обучающих пар. Для входной обучающей пары p (p = 1,2,...,P) определим меру ошибки следующим образом:

, (2.23)

где

есть k -ая компонента вектора желаемого выхода для входного вектора p,

- k -ая компонента вектора реального выхода для входного вектора p, - число выходных вершин.

Введем сигнал ошибки , связанной с выходом -той вершиной слоя , как производную от меры ошибки:

Сигнал ошибки , связанной с выходом -той вершиной выходного слоя L, вычисляется как

Используя (2.23), имеем:

.

Сигнал ошибки , связанной с выходом -той вершины промежуточного слоя , зависит от сигнала ошибки (l +1) слоя и от производной функции активации нейронов слоя (l +1). Таким образом, сигнал ошибки может быть вычислен следующим образом:

(2.24)

Для процесса обучения, связанного с настройкой параметров сети , также будем использовать градиентный метод. Определим градиентный вектор как производную меры ошибки от параметров. Если - параметр функции активации -той вершины слоя , то, используя (2.24), то можем представить градиент ошибки по отношению к данному параметру как:

(2.25)

Далее, суммируя по всем обучающим парам, получим суммарную величину градиентов ошибки:

.

Теперь можем написать следующее правило обновления (обучения) параметров сети: на каждой следующей итерации алгоритма обучения добавлять к параметру его поправку в виде:

,

где 0 < η < 1 - множитель, задающий скорость обучения.