Сеть Хопфилда

Наиболее известной рекуррентной автоассоциативной сетью является сеть Хопфилда. Это однослойная полносвязная рекуррентная сеть, элементами которой являются искусственные нейроны с логистической функцией активации.

Для сети из N нейронов состояние сети определяется вектором S = [ s ₁, s ₂, …, s_N ]^T, где s_i = ±1 – переменные состояния сети.

Предполагается, что наклон логистической функции f_j (×) в области начала координат бесконечно велик, т.е. f_j (×) приближается к пороговой функции. Это можно обеспечить выбором достаточно большого значения параметра a.

Искусственный нейрон j сети Хопфилда обновляет свое состояние следующим образом.

Вычисляется:

1) внутренний выход нейрона ;

2) новое значение активации для нейрона j:

В начальный момент времени состояния нейронов s_j (0) принимают значения внешних входов.

Матрица весовых коэффициентов формируется в процессе обучения с помощью правила Хебба следующим образом. Пусть необходимо хранить в памяти сети набор из p N -мерных векторов . Эти p векторов составляют общую память сети.

Пусть – i -й элемент общей памяти. Элементы весовой матрицы определяют как .

Обычно , т.е. нейроны сети не связаны сами с собой. Тогда , I – единичная матрица. Процесс обучения называется также фазой запоминания.

Функционирование сети называют фазой восстановления. На фазе восстановления сети предъявляется образ, представляющий собой зашумленный или неполный вариант образа из общей памяти сети. В результате функционирования сеть приходит к некоторому стабильному состоянию, которое является выходом. Состояние стабильности характеризуется свойством s_i (t + 1) = f (Ws_i (t)) для всех нейронов.