Сеть Хопфилда

В 1982 г. появилась работа Дж. Хопфилда [70], которая вызвала лавину теоретических и экспериментальных исследований и оживила угасавший интерес к нейронным сетям. Неожиданный успех работы объясняется использованием простого и эффективного математического аппарата, который позволил увидеть новые грани проблемы и получить ряд новых результатов чисто теоретическим путем. Сходство этой сети с некоторыми хорошо исследованными физическими моделями (модель Изинга, спиновые стекла и пр.) позволило использовать для анализа готовый и хорошо отработанный аппарат статистической термодинамики [37].

Сеть Хопфилда получается, если наложить на веса связей следующие условия:

1) все элементы связаны со всеми;

2) c_ij = c_ji -прямые и обратные связи симметричны;

3) c_ij = 0 - диагональные элементы матрицы связей равны нулю. Последнее условие обычно (хотя и не всегда) добавляется, чтобы исключить непосредственную обратную связь с выхода нейрона на вход.

Одно из достоинств симметричной квадратной матрицы связей, характерной для сети Хопфилда, состоит в том, что поведение сети можно описать через стремление к минимуму простой целевой функции

Обычно Е интерпретируется как некоторая обобщенная энергия. В модели Хопфилда коэффициенты связей могут принимать любые значения, как положительные, так и отрицательные;

• эти значения не заданы раз и навсегда, а меняются в процессе обучения.

Поведение системы в пространстве состояний напоминает движение шарика, который стремится скатиться в точку минимума некоторого потенциального рельефа. Характер рельефа определяется видом целевой функции Е и формируется в процессе обучения сети. Обучение производится путем демонстрации эталонных образов, которые сеть должна запоминать, хранить и потом воспроизводить (узнавать). Алгоритм обучения (формирование весовых коэффициентов c_ij) основывается на правиле Хебба.

Замечательное свойство такой сети состоит в том, что одна и та же сеть с одними и теми же весами связей может хранить и воспроизводить несколько различных эталонов.

Хотя сети Хопфилда получили применение на практике (часто как составная часть более сложных систем), однако им свойственны определенные недостатки, ограничивающие возможности их применения:

• модель Хопфилда предполагает симметрию связей между элементами; без этого условия понятие энергии не может быть введено, и эта простая физическая метафора, которой модель во многом обязана своим успехом, перестает работать;

• условность понятия энергии заставляет относиться к нему с осторожностью. Это только метафора, красивая, но искажающая суть происходящих процессов. Нейронная (и ее прототип - нервная) сеть ж является устройством для минимизации энергии; это устройство для запоминания и обработки информации.