Обучение нейронных сетей

Искусственные нейронные сети обучаются самыми разнообразными методами. К счастью, большинство методов обучения исходят из общих предпосылок и имеет много идентичных характеристик.

Обучение может быть с учителем или без него. Для обучения с учителем нужен «внешний» учитель, который оценивал бы поведение системы и управлял ее последующими модификациями. При обучении без учителя, сеть путем самоорганизации делает требуемые изменения.

Метод обучения Хэбба. Его теория предполагает только локальное взаимодействие между нейронами при отсутствии глобального учителя; следовательно, обучение является неуправляемым. Идея алгоритма выражается следующим равенством:

w _ij(t +1) = w _ij(t) + NET_i NET_j,

где w _ij(t) – сила синапса от нейрона i к нейрону j в момент времени t; NET_i – уровень возбуждения предсинаптического нейрона; NET_j – уровень возбуждения постсинаптического нейрона. Концепция Хэбба отвечает на сложный вопрос, каким образом обучение может проводиться без учителя.

- Метод сигнального обучения Хэбба

- Метод дифференциального обучения Хэбба

Существует ряд алгоритмов обучения жестко привязанных к архитектуре НС (Сеть Холфилда, Кохонена, многослойные сети). Основным для многослойной сети явл. метод обратного распространения ошибки, основанный на градиентных методах оптимизации.

Градиентные методы:

- метод наискорейшего спуска;

- модифицированный ParTan;

- квазиньютоновский и т.д.

Многими исследователями были предложены улучшения и обобщения основного алгоритма обратного распространения:

- метод ускорения сходимости алгоритма обратного распространения;

- метод улучшения характеристик обучения сетей обратного распространения.

Неградиентные методы:

1. Метод случайной стрельбы (представитель семейства методов Монте-Карло);

2. Метод покоординатного спуска (псевдоградиентный метод);

3. Метод случайного поиска (псевдоградиентный метод);

4. Метод Нелдера-Мида.

Имеется два класса обучающих методов: детерминистский и стохастический.

Стохастические методы полезны как для обучения искусственных нейронных сетей, так и для получения выхода от уже обученной сети. Стохастические методы обучения приносят большую пользу, позволяя исключать локальные минимумы в процессе обучения:

- Больцмановское обучение

- Обучение Коши

- Метод искусственной теплоемкости

Самоорганизация: метод динамических ядер.

Также существует множество комбинированных методов.