Модель Хопфилда

Модель разработана Хопфилдом в 1984 году. С тех пор были предложены многочисленные ее модификации. Данная модель используется как ассоциативная память, классификатор и для решения некоторых задач оптимизации.

Одна из первых предложенных моделей сети Хопфилда используется как ассоциативная память. Исходными данными для расчета значений синаптических весов сети являются векторы – образцы классов. Сеть функционирует циклически. Выход каждого из нейронов подается на входы всех остальных нейронов. Нейроны сети имеют жесткие пороговые функции.

Рисунок 8 – Сеть Хопфилда

Ниже используются следующие условные обозначения:

w_ij – i -й синаптический вес j -го нейрона,

x_i – i -й элемент входного сигнала сети,

x_ij – i -й элемент j -го вектора-образца,

x_i – i -й элемент выходного сигнала сети,

y_j – выход j -го нейрона,

N – количество элементов (размерность) входного сигнала, количество нейронов в сети,

M – количество векторов-образцов.

Состояние сети характеризуется симметричной матрицей весов синапсов

Входные и выходные сигналы биполярные и принимают значения -1 и +1. Размерности входа и выхода ограничены при программной реализации только возможностями вычислительной системы, на которой моделируется нейронная сеть, при аппаратной реализации – технологическими возможностями. Размерности входных и выходных сигналов совпадают.

Сеть, содержащая N нейронов может запомнить не более M=0.15*N образов. При этом запоминаемые образы не должны быть сильно коррелированы. Мера коррелированности:

Тип передаточной функции: жесткая пороговая.

Число синапсов в сети: M*(M-1).

Формирование синаптических весов сети осуществляется по формуле:

Другими словами, веса после предъявления каждого примера вычисляются по формуле (правила Хебба):

Функционирование сети описывается следующими формулами:

Функционирование заканчивается, если на некотором шаге T для всех j:

Нелинейная функция f обычно выглядит как пороговая, принимающая значения 1 при аргументе >0 и –1 – в противном случае. Если используются значения 0 и 1 для кодирования состояний нейронов, то сравнение производится не с нулем, а с порогом – константой, одинаковой для всех нейронов. Выходной сигнал сети:

В процессе функционирования может использоваться процедура “замораживания” состояний некоторых нейронов, которые рассматриваются как входные (т.е. на которые поступает входной сигнал). “Замороженные” нейроны не меняют своего состояния. Такое функционирование может рассматриваться как восстановление вектора по его фрагменту, а обученная нейронная сеть Хопфилда – как ассоциативная память.

В процессе функционирования уменьшается энергетическая функция:

Другими словами, состояние нейронной сети “скатывается” в минимум гиперповерхности, сформированной в процессе обучения.

Существует много разновидностей модели Хопфилда, например, с отжигом, т.е. после детерминированного алгоритма функционирования, описанного выше, работает так называемый “алгоритм отжига”, обеспечивающий уточнение решения с использованием случайного процесса, подобного ниже описанному в машине Больцмана. Этот механизм “отжига” обеспечивает возможность сети выбраться из локального экстремума энергетической функции и перейти в глобальный экстремум.