Разновидности нейронных сетей и их обучение

Одной из первых искусственных сетей, способных к восприятию и формированию реакции на воспринятый стимул, явился PERCEPTRON Розенблатта.

Простейший классический персептрон содержит эл-ты 3 типов, назначение которых соответствует нейронам рефлекторной нейронной сети. S-элементы формируют сетчатку сенсорных клеток, принимающих двоичные сигналы от внешнего мира. Далее сигналы поступают в слой ассоциативных или A-элементов. Только ассоциативные элементы, представляющие собой формальные нейроны, выполняют нелинейную обработку информации и имеют изменяемые веса связей. R-элементы с фиксированными весами формируют сигнал реакции персептрона на входной стимул. Представленная сеть называется однослойной, т.к. имеет только 1 слой нейропроцессорных эл-тов. Однослойный персептрон хар-тся матрицей синоптических связей W от S- к A-элементам. Эл-т матрицы W_ij отвечает связи, ведущей от i-го S-элемента к j-му A-элементу.

Теорема об обучении персептрона. Предложенный Ф. Розенблаттом метод обучения состоит в итерационной подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах. Пусть имеется набор пар векторов (xa,ya), a=1..p, называемый обучающей выборкой. Будем называть нейронную сеть обученной на данной обучающей выборке, если при подаче на входы сети каждого вектора xa на выходах получается соответствующий вектор ya.

Рассмотрим иер-ую сетевую стр-ру, в которой связанные между собой нейроны объединены в несколько слоев. Межнейронные синоптические связи сети устроены т. о., что каждый нейрон на данном уровне иерархии принимает и обрабатывает сигналы от каждого нейрона более низкого уровня. Т.о., в данной сети имеется выделенное направление распространения нейроимпульсов - от вход. слоя через 1 (или несколько) скрытых слоев к выход. слою нейронов. НС такой топологии назыв-ся обобщенным многослойным персептроном.

Персептрон предст. собой сеть, сост-ю из нескольких посл-но соед-х слоев формальных нейронов МакКаллока и Питтса. На низшем уровне иерархии находится вход. слой, сост-й из сенсорных эл-тов. Далее имеются 1 или, несколько скрытых слоев. Каждый нейрон на скрытом слое имеет несколько входов, соед-х с выход. нейронов пред-го слоя или непоср-но со вход. сенсорами X1..Xn, и 1 выход. Нейрон хар-ся уник-ым вектором весовых коэфф-ов w. Веса всех нейронов слоя формируют матрицу, которую будем обозначать V или W. Функция нейрона состоит в вычислении взвешенной суммы его входов с дальнейшим нелинейным преобразованием ее в выход. сигнал.

Обучение методом обратного распространения ошибок. Для обучения многослойной сети в 1986 г. Руммельхартом и Хинтоном - алгоритм обратного распространения ошибок. Основная идея обратного распр-ния состоит в том, как получить оценку ошибки для нейронов скрытых слоев. Известные ошибки, делаемые нейронами выход. слоя, возникают вследствие неизвестных ошибок нейронов скрытых слоев. Чем больше значение синоптической связи между нейроном скрытого слоя и выход. нейроном, тем сильнее ошибка 1 влияет на ошибку 2. Следовательно, оценку ошибки эл-ов скрытых слоев можно получить, как взвешенную сумму ошибок последующих слоев. При обучении инф-ция распространяется от низших слоев иерархии к высшим, а оценки ошибок, делаемые сетью - в обратном направлении, что и отражено в названии метода.

Модель Кохонена выполняет обобщение предъявляемой инф-ции. В результате работы НС Кохонена получается образ, представляющий собой карту распределения векторов из обучающей выборки. Т.о., в модели Кохонена выполняется решение задачи нахождения кластеров в пространстве вход. образов.

Данная сеть обучается без учителя на основе самоор-ции. По мере обучении вектора весов нейронов стремятся к центрам кластеров - групп векторов обучающей выборки. На этапе решения инф-ных задач сеть относит новый предъявленный образ к одному из сформированных кластеров, указывая тем самым категорию, к которой он принадлежит.

Сеть Кохонена, также как и сеть Липпмана-Хемминга, состоит из 1 слоя нейронов. Число входов каждого нейрона = размерности входного образа. Кол-во нейронов определяется той степенью подробности с которой требуется выполнить кластеризацию набора библ-ных образов. При достаточном кол-ве нейронов и удачных параметрах обучения НС Кохонена может не только выделить основные группы образов, но и установить "тонкую структуру" полученных кластеров. При этом близким входным образам будет соответствовать близкие карты нейронной активности.

Обучение начинается с задания случайных значений матрице связей. В дальнейшем происходит процесс самоор-ции, состоящий в модификации весов при предъявлении на вход векторов обучающей выборки. Для каждого нейрона можно определить его расстояние до вектора входа Далее выбирается нейрон m=m*, для которого это расстояние min. На текущем шаге обучения t будут модифицироваться только веса нейронов из окрестности нейрона m*Первоначально в окрестности любого из нейронов находятся все НС, в последствии эта окрестность сужается. В конце этапа обучения подстраиваются только веса самого ближайшего нейрона. Темп обучения h(t)<1 с течением времени также уменьшается. Образы обучающей выборки предъявляются последовательно, и каждый раз происходит подстройка весов. НС Кохонена может обучаться и на искаженных версиях вход. векторов, в процессе обучения искажения, если они не носят систематический характер, сглаживаются.