Нейронные сети как Ассоциативная память

Ассоциативная память используется в задачах хранения, ассоциирования и распознавания образов.

Хранение представляет собой процесс записи входного образа в структуре так называемой автоассоциативной сети (autoassociative network) или сети Хопфильда (Hopfield network) с целью последующего распознавания входных образов не обязательно точно совпадающих с содержимым памяти.

Пример структуры автоассоциативной сети показан на рис.2.45.

Нейронная сеть Хопфилда состоит из искусственных нейронов. Каждый нейрон в сети связан с каждым другим нейроном. Имеются также внешние входы в нейроны и внешние выходы. Каждый нейрон системы может принимать одно из двух состояний (что аналогично выходу нейрона с пороговой функцией активации): .

Благодаря своей биполярной природе нейроны сети Хопфилда иногда называют спинами. Взаимодействие спинов сети описывается выражением:

где - элемент матрицы взаимодействий W, которая состоит из весовых коэффициентов связей между нейронами.

Рис. 2.45. Структура сети с тремя нейронами

В эту матрицу в процессе обучения записывается N «образов» n -мерных бинарных векторов. В сети Хопфилда матрица связей является симметричной , а диагональные элементы матрицы полагаются равными нулю (), что исключает эффект воздействия нейрона на самого себя и является необходимым для сети Хопфилда, но не достаточным условием, устойчивости в процессе работы сети.

«Реакция» (выход) такой сети является «динамической». Входной образец поступает на внешние входы и вызывает активацию спинов. Каждый нейрон вычисляет свои значения и посылает их обратно ко всем нейронам, исключая себя. В основе функционирования таких сетей лежит итеративный принцип работы. На каждой итерации происходит обработка результата, полученного на предыдущем шаге.

Циркуляция информации в нейронной сети происходит до тех пор, пока не установится состояние равновесия, т.е. значения её выходов перестанут изменяться. В отличие от многих нейронных сетей, функционирующих до получения ответа через определённое количество тактов, сети Хопфилда функционируют до достижения равновесия, когда следующее состояние сети в точности равно предыдущему. Начальное состояние является входным образом, а при равновесии получают выходной образ. Сети Хопфилда являются частным случаем рекуррентных сетей, в которых сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя (обратная связь).

Рекуррентная сеть Хопфилда «фильтрует» входные данные, возвращаясь к устойчивому состоянию и, таким образом, позволяет решать задачи сжатия данных и построения ассоциативной памяти.