Нейронные сети Хопфилда

Нейронная сеть Хопфилда реализует существенное свойст­во автоассоциативной памяти - восстановление по искаженному (зашумленному) образу ближайшего к нему эталонного. В этом случае входной вектор используется как начальное состояние се­ти, и далее сеть эволюционирует согласно своей динамике. При­чем любой пример, находящийся в области притяжения хранимого образца, может быть использован как указатель для его восста­новления. Выходной (восстановленный) образец устанавливается, когда сеть достигает равновесия.

Сеть Хопфилда состо­ит из одного слоя нейронов, число которых определяет число вхо­дов и выходов сети. Выход каждого нейрона соединен с входами всех остальных нейронов. Подача входных векторов осуществля­ется через отдельные входы нейронов.

Сети Хопфилда отличаются от ранее рассмотренных типов нейронных сетей следующими существенными признаками:

• наличие обратных связей, идущих с выходов сетей на их входы по принципу «со всех на все»;

• расчет весовых коэффициентов нейронов проводится на основе исходной информации лишь перед началом функциониро­вания сети, и все обучение сети сводится именно к этому расчету без обучающих итераций;

• при предъявлении входного вектора, сеть «сходится» к одному из запомненных в сети эталонов, представляющих множе­ство равновесных точек, которые являются локальными миниму­мами функции энергии, содержащей в себе всю структуру взаимосвязей в сети.

Динамическое изменение состояний сети может быть вы­полнено, по крайней мере, двумя способами: синхронно и асин­хронно. В первом случае все элементы модифицируются одно­временно на каждом временном шаге, во втором - в каждый момент времени выбирается и подвергается обработке один эле­мент. Этот элемент может выбираться случайно.

Рассмотрим синхронную бинарную сеть Хопфилда, пред­ставляющую собой пример сети с дискретными состояниями и дискретным временем, и сформулируем решаемую ею задачу следующим образом.

В качестве нейронов сети рассмотрим нейроны с пороговой функцией активации, выходы которых принимают значение либо «0», либо «1» при превышении взвешенной суммой значений вхо­дов некоторого порогового уровня.

Предварительно в сети матрицей весовых коэффициентов задан набор эталонов. Каждый эталон при этом является точкой из конечного множества равновесных точек, характеризующих мини­мум энергии сети (функции Ляпунова):

где Е - искусственная энергия сети; w_ij - вес от выхода i-го ко вхо­ду j-го нейрона; x_j, у_j - вход и выход j-го нейрона; - порог j-го нейрона.

Главное свойство энергетической функции состоит в том, что в процессе эволюции состояний нейронной сети согласно уравне­нию она уменьшается и достигает локального минимума (аттрак­тора), в котором сохраняет постоянную энергию. Это позволяет решать задачи комбинаторной оптимизации, если они могут быть сформулированы как задачи минимизации энергии.

Обозначим вектор, описывающий k-й эталон, через X^k = {х_j^k}, k = 1…К, К - число эталонов.

На вход сети подается произвольный вектор Х = {х_j}.

В результате серии итераций сеть должна выделить эталон, соответствующий входному вектору, или дать заключение о том, что входные данные не соответствуют ни одному из эталонов.

После отдельной итерации общее изменение энергии сети, вызванное изменением состояний всех нейронов, составит:

где Dу_j- изменение выхода j-го нейрона после итерации.

Анализ этого выражения показывает, что любое изменение состояния нейронов либо уменьшит значение Е, либо оставит его без изменения. Второй случай указывает на достижение сетью ус­тойчивого состояния и выделение ею эталона, наилучшим образом сочетающимся с входным вектором.

При распознании входного вектора (частично представлен­ного или искаженного) выходы сети будут содержать соответст­вующий эталон, т. е. Y=Х^k, где Y ={у_i} - выходной вектор. В про­тивном случае, выходной вектор не совпадет ни с одним эталоном.

Для безошибочной работы сети Хопфилда число запоми­наемых эталонов N не должно превышать 0,15n.

Кроме того, в случае высокой степени корреляции несколь­ких эталонов возможно возникновение перекрестных ассоциаций при их предъявлении на входах сети. Требование достаточного (но не необходимого) условия слабой коррелируемости образов мож­но представить как выполнение следующего неравенства:

или в виде более сильного условия:

Нейронные сети Хопфилда с непрерывными состояниями отличается от вышерассмотренной сети непрерывной активационной функцией нейронов, в качестве которой наиболее часто выби­рают сигмоидальную или логистическую функцию. Концептуально, вопросы организации и функционирования этих сетей схожи.

Недостатком классического варианта сетей Хопфилда явля­ется их тенденция к стабилизации в локальных, а не глобальных минимумах сети. Предложены статистические сети Хопфилда, в которых этот недостаток преодолевается за счет задания стати­стических, а не детерминистских правил изменения состояний нейронов.

Для этого для каждого j-го нейрона вводится вероятность изменения его состояния p_j как функция от величины, на которую выход нейрона s_j превышает его порог (для бинарной сети Хоп­филда):

где , - параметр, изменяемый в процессе стабилиза­ции сети.

Тогда после начального задания весовых коэффициентов нейронов процедура поиска минимума энергии сети для установ­ленного входного вектора выглядит следующим образом.

ШАГ 1. Задать большое значение параметра .

ШАГ 2. Установить на выходе j-го нейрона значение «1» с вероятностью р_j и значение «0» с вероятностью 1- р_j.

ШАГ 3. Постепенно уменьшать значение параметра , пока не будет достигнуто равновесие.