Нейронные сети Хопфилда и Хэмминга

НС Хопфилда –это НС с обратными связями. Функционирование таких сетей характеризуется релаксационными процессами обработки информации, которые происходят до тех пор, пока не установится состояние равновесия. В 1982 году американский биофизик Д. Хопфилд представил математический анализ релаксационных сетей с обратными связями. Поэтому такие НС получили название сетей Хопфилда. НС Хопфилда реализует существенное свойство автоассоциативной памяти – восстановление по искаженному (зашумленному) образцу ближайшего к нему эталонного. В этом случае входной вектор используется как начальное состояние сети, и далее сеть эволюционирует согласно своей динамике. Причем любой пример, находящийся в области притяжения хранимого образца, может быть использован как указатель для его восстановления. Выходной восстановленный образец формируется, когда сеть достигает равновесия.

Архитектура сети представлена на рис.2. Она состоит из одного слоя нейронов, число которых определяет число входов и выходов НС. Подача входных векторов осуществляется через отдельные входы нейронов.

Рис.2

Каждый нейрон имеет синаптические связи со всеми остальными нейронами сети. При этом первый слой является распределительным, а второй слой осуществляет нелинейное преобразование взвешенной функции. Свойства НС Хопфилда:

· наличие обратных связей «со всех на все»;

· расчет весовых коэффициентов нейронов проводится на основе исходной информации перед началом функционирования, и все обучение сводится именно к расчету без обучающих итераций;

· при предъявлении входного вектора, сеть «сходится» к одному из запомненных в сети эталонов, представляющих множество равновесных точек, которые являются локальными минимумами функции энергии.

· проблема устойчивости сети Хопфилда была решена после доказательства Кохоненом и Гроссбергом теоремы, определяющей достаточное условие устойчивости сетей с обратными связями.

Теорема: Сеть с обратными связями является устойчивой, если матрица ее весов симметрична (Wij=Wji) и имеет нули на главной диагонали (wij=0).

Динамическое изменение состояний сети может быть выполнено синхронно или асинхронно. В первом случае все элементы модифицируются одновременно, во втором случае обработке подвергается один элемент. Этот элемент выбирается случайно.

Рассмотрим НС Хопфилда с пороговой активационной функцией, выходы которой имеют значения 0 и 1, если взвешенная сумма превышает некоторый порог.

Предварительно матрицей весовых коэффициентов задан набор эталонов. Каждый эталон соответствует одной из равновесных точек, характеризующих минимум энергии функции Ляпунова.

n n n n

E= -1/2 ∑∑ Wij ∙ Yi ∙ Yj - ∑ XjYj +∑Tj Yj,

i=1j=1 j=1 j=1

где Е искусственная энергия сети;

Wij – вес от выхода i-го нейрона к входу j-го нейрона;

Xj,Yj- вход и выход j-го нейрона;

Tj – порог j-го нейрона.

Главное свойство функции Е состоит в том, что в процессе эволюции она уменьшается и достигает локального минимума, в котором сохраняет энергию.

Итак, на вход сети подается входной вектор Х и в результате серии итераций (один и тот же вектор подается несколько раз, но обратные связи разные и они работают) НС должна выделить эталон, соответствующий входному вектору.

После отдельной итерации общее изменение энергии сети, вызванное изменением состояний всех нейронов, составит:

N n

ΔE= - ∑ (∑ (Wij ∙ Yi)+Xj – Tj) Δ Yj,

j=1 i<>j

где Δ Yj – изменение выхода j-го нейрона после итерации.

Анализ этого выражения показывает, что любое изменение состояния нейронов либо уменьшит значение Е, либо оставит его без изменения. Второй случай показывает, что сеть достигла устойчивого состояния (локального минимума) и выделение ею эталона, наилучшим образом соответствующим входному. При распознавании входного вектора (частично представленного или искаженного) выходы сети будут содержать соответствующий эталон. В противном случае, выходной вектор не совпадает ни с одним эталоном.

Для безошибочной работы сети Хопфилда число запоминаемых эталонов N не должно превышать 0,15*n.

Недостатком классического варианта сети Хопфилда является их тенденция к стабилизации в точках локального, а не глобального минимума энергии сети Е. Одним из вариантов устранения этого недостатка является применение стохастических методов задания состояний нейронов. Для этого для каждого j-го нейрона вводится вероятность изменения его состояния Pj как функция от величины, на которую выход нейрона Sj превышает его порог Тj.

Pj= 1/ (1+exp (- ΔE j /φ)),

где ΔE j= Sj – Тj,

φ – параметр, изменяемый в процессе стабилизации сети.

Тогда после начального задания весовых коэффициентов сети процедура поиска минимума энергии сети после предъявления входного вектора выглядит следующим образом:

1. Задать небольшое значение φ;

2. Установить на выходе j-го нейрона значение 1 с вероятностью Pj и значение 0 с вероятностью 1- Pj;

3. Постепенно уменьшать значение φ, пока не будет достигнуто равновесие.

НС выполняет вычисления, следуя по пути, уменьшающему вычислительную энергию сети. Это происходит до тех пор, пока путь не приведет на дно впадины. Данный процесс аналогичен скатыванию капли по склону, когда она минимизирует свою потенциальную энергию в поле тяготения.

Если процесс начинается с приближенной или неполной информации, то он следует по пути, который ведет к ближайшей впадине. Это соответствует операции ассоциативного распознавания.

Энергия сети Хопфилда для системы с дискретным временем. При этом используется пороговая функция активации.

Y_i (t+1)=sign(Si(t))

(Si(t))=∑ w_{ij *}y_i(t)-Ti

j=1

В результате энергия нейрона уменьшается от итерации к итерации и согласно первой теореме гарантирует устойчивость нейрона.