Алгоритм настройки нейронной сети

Приведен алгоритм настройки многослойной нейронной сети с использованием backpropagation-правила обучения (рис. 6.1. - 6.8.). Для его применения необходимо, чтобы нейроны имели непрерывно дифференцируемую нелинейную пороговую функцию активации. Пусть это будет сигмоидная функция поскольку она имеет простую производную.

Алгоритм обучения, в общем виде, состоит в следующем:

1. Задать начальные значения весов и порогов каждого нейрона.

Всем весам и порогам присваиваются малые случайные значения.

2. Представить входной и выходной образы из обучающей выборки.

Пусть текущий входной образ, - текущий выходной образ из обучающей выборки, где число нейронов входного слоя,

число нейронов выходного слоя. При этом (смещение) и .

При решении задач классификации образ может состоять из нулей, кроме одного элемента, равного 1, который и будет определять класс текущего выходного образа.

3. Рассчитать действительные значения выходов.

Значения выходов нейронов каждого слоя рассчитываются как

(6.19)

и передаются на входы нейронов следующего слоя. Выходные значения нейронов выходного слоя равны .

4. Провести модификацию весов связей.

Начиная от выходного слоя и, двигаясь в обратном направлении, необходимо изменять веса связей следующим образом:

(6.20)

где вес связи между м и м нейронами на м шаге;

скорость обучения;

скорость изменения ошибки для нейрона при предъявлении образа .

Для нейронов выходного слоя

(6.21)

для нейронов внутренних слоев

(6.22)

где под знаком суммы стоят величины, относящиеся к нейронам последующего слоя.

Рис. 6.6. Локализация возбуждения нейронов выходного слоя.

в г

Рис. 6.7. Матрица следования при обучении первому эталону:

а – общий вид; б – первый шаг преобразования матрицы следования;

в –вид после исключения нейронов В1, А1 и 6; г – после исключения

«невозбужденных» входов.

Рис. 6.8. Нейросеть, обученная первому эталону.

В результате имеем сеть (ее трассировку), обученную реакции на эталон одной комбинации событий, где единичные веса соответствуют жирным стрелкам.

Контрольные вопросы и задания для самостоятельной работы по главе 6

6.1. Понятие нейронных сетей. Однослойные искусственные нейронные сети?

6.2. Многослойные искусственные нейронные сети?

6.3. Архитектура сетей?

6.4.Обучение искусственных нейронных сетей?

6.5. Персептроны?

6.6.Нейронные сети Хопфилда и Хэмминга?

6.7.Нейронные сети и алгоритмы их обучения?

6.8. Гибридные нейронные сети, введение?