Особенности обучающихся нейронных сетей

В основе современной теории нейронных сетей лежат множества представлений о работе нервной системы. Основным из них является следующее:

правила модификации локальны, т.е. изменение состояния каждого пластического элемента обусловлено только его текущим состоянием и активностью сети в точке ее локализации, а также, возможно, от некоторого диффузионного управляющего сигнала, одинакового для всех пластических элементов.

Дадим краткое описание структурных и функциональных особенностей обучающихся НС, при построении которых реализованы эти принципы.

Пластичность НС

В теории НС предполагается, что поведение системы является результатом взаимодействия многих элементов. Каждый из которых ограничивает действие других и сам ограничивается другими на пути системы к формированию оптимального состояния (наблюдаемого поведения). Знание, определяющее это поведение, распределено в состояниях модификации пластических элементов.

Будем рассматривать вариант НС с синаптической пластичностью (СП). Выделяют три вида СП:

1) появление новых связей;

2) исчезновение существующих связей;

3) модификация.

Активность НС

Единственным выходным сигналом нейрона в процессе обучения является импульсивная активность клетки. Активность определяет синаптическое возбуждение или торможение других нейронов связанных с данным нейроном. Активность всей нейронной системы описывается вектором , где n – общее число нейронов (рис. 3.14).

Степень взаимодействия элементов определяется матрицей весов их синаптических связей W, компоненты которой w_ij задают величину и знак связи от j -го элемента к i -му (рис. 3.15). Если j -ый элемент не связан i -ым, то w_ij=0.

Синаптическое возбуждение в i -ом нейроне в момент времени t создается активностью нейронов сети и внешних источников информации

. (3.1)

В дискретном времени активность i -го нейрона a_i в момент времени t+1 задается некоторой неубывающей функцией от синаптического возбуждения – функцией реактивности

. (3.2)

В непрерывном времени связь между активностью нейрона и его синаптическим возбуждением задается некоторым процессом

(3.3)

Режимы работы НС

В зависимости от используемого принципа управления, для сетей функционирующих в дискретном времени различают два режима работы:

- синхронный;

- асинхронный.

В синхронном режиме вычисляется синаптическое возбуждение (4.1) и активность нейронов (4.2) на каждом такте времени для всех нейронов сети.

В асинхронном режиме вычисляется синаптическое возбуждения и активность на каждом такте только одного нейрона, выбранного случайно или в соответствии с заданной последовательностью.

Для сетей с симметричными связями (w_ij=w_ji) и при отсутствии связей нейронов самих на себя (w_ii=0) допустима простая физическая аналогия:

активности каждого элемента ставится в соответствие ориентация одного атома кристалла, а силе синаптической связи между элементами – коэффициент, определяющий вклад одного атома в силовое поле около другого атома.

Тогда по аналогии с энергией кристалла можно ввести понятие энергии нейронной сети:

. (3.4)

Второе слагаемое соответствует вкладу в энергию кристалла внешнего силового поля, которое имитируется в НС внешним синаптическим возбуждением и смещением.

Для сети, работающей в асинхронном режиме, вычисляется изменение энергии сети при изменении активности i-го нейрона:

. (3.5)

Существует проблема попадания сети в локальные минимумы. В локальных минимумах активность сети может стабилизироваться до того, как она достигнет глобального экстремума. На рис. 4.4. это продемонстрировано для сети с одним весом.

Допустим, что первоначально вес взят равным значению в точке А. Если случайные шаги по изменению веса малы, то любые отклонения от точки А увеличивают целевую функцию и будут отвергнуты. Лучшее значение веса, принимаемое в точке В, никогда не будет найдено, и система будет поймана в ловушку локальным минимумом, вместо глобального минимума в точке В. Если же случайные коррекции веса очень велики, то целевая функция будет принимать значения на всем отрезке значений веса. Вес будет меняться так резко, что он никогда не установится в желаемом минимуме.

Необходимо изменять величину шага (колебания поверхности) в течение всего алгоритма нахождения минимума в зависимости от точки поверхности. Т.е. при уменьшении величины шага вблизи точки В сила колебаний должна быть достаточной, чтобы вывести шарик из точки А, но уже не достаточной, чтобы вывести его из точки В.