Классификация архитектур НС

2) каждый из входов может принимать только одно из двух состояний: возбужденное («1») и невозбужденное («0»);

3) в нейроне различаются тело и волокна («аксон», «дендриты», «синапсы»).

Различают определенные типы волокон:

- возбуждающие («+1»);

- тормозящие («-1»);

- запрещающие, которые блокируют прохождение сигнала по волокну («0»).

Мак-Каллок и Питтс доказали, что при весах, подобранных соответствующим образом, совокупность параллельно функционирующих нейронов подобного типа способна выполнять универсальные вычисления.

Архитектура нейронных сетей

Основные понятия

План

1. Классификация архитектур НС.

2. Особенности обучающихся нейронных сетей

3. Классификация принципов обучения нейронных сетей

4. Схемы обучения нейронных сетей

4.1. Схема обучения нейронной сети без учителя

4.2. Схема обучения нейронной сети с учителем

Классификация архитектур НС

Рассмотрим классификацию искусственных нейронных сетей по различным признакам.

1. Вид сигналов в нейронной сети. По используемым сигналам на входах и выходах НС разделяют на аналоговые и бинарные.

2. Характер активационных функций. Если активационная функция одна для всех нейронов сети, то сеть называют однородной. Если же активационная функция зависит еще от некоторых параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).

3. Тип активационной функции. По типу активационной функции, используемой на различных слоях НС, различают линейные и нелинейные сети.

Теорема. Любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью (рис. 3.2).

4. Модельное время НС. По модельному времени (моделированию времени) нейронные сети подразделяются на сети с непрерывным и дискретным временем.

5. Способ синхронизации. Как и в любой ВС в нейронных сетях различают два способа синхронизации: – синхронный и асинхронный. При программной реализации на цифровых ЭВМ нейронных сетей вопрос синхронизации не актуален. Для других способов реализации он весьма важен.

6. Топология. Под топологией нейронной сети будем понимать графическую иллюстрацию соединения нейронов между собой в этой сети.

Нейросеть, также как и биологический аналог, должна иметь каналы для связи с внешним миром. Одни каналы обеспечивают поступление информации из внешнего мира на НС, другие выводят информацию из нейросети во внешний мир. Поэтому одни элементы нейронной сети рассматривается как входные, другие же - как выходные. Часть нейронов может не сообщаться с внешним миром, а взаимодействовать с входными, выходными и такими же нейронами ("скрытые" нейроны).

Очевидно, что существует огромное количество способов соединения нейронов, растущее с увеличением числа нейронов в сети.

По этому признаку выделяют две базовые архитектуры НС – однослойные и многослойные сети.

Однослойные нейронные сети

В однослойных сетях нейроны соединяются либо по принципу каждый с каждым - полносвязанные сети, либо регулярно - регулярные сети.

В полносвязных сетях каждый нейрон передает свой выходной сигнал остальным нейронам (рис. 3.3). Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

Если полносвязная сеть функционирует до получения ответа заданное число тактов k, то ее можно представить как частный случай k-слойной сети, все слои которой одинаковы, и каждый из них соответствует такту функционирования полносвязной сети.

Существенное различие между полносвязной и слоистой сетями становится очевидным, когда число тактов функционирования заранее не ограничено – слоистые сети так работать не могут.

В регулярных сетях для каждого нейрона характерна строгая определенность числа связей (рис.3.4). Число связей нейрона зависит от места его расположения в сети. Особенностью сетей с регулярной топологией является один вид функции активации для всех нейронов этой сети.

Регулярная топология нейронной сети, приведенная на рис. 3.4, не является единственной. Возможно другое число связей у угловых, граничных и внутренних нейронов, На рис. 3.5 приведен пример регулярной гексагональной топологии.

Многослойные нейронные сети

В многослойных сетях нейроны группируют по слоям. Внешние слои многослойной сети называют входным и выходным слоями. Внутренние слои называют скрытыми. Число скрытых слоев неограниченно. Слоистые сети описываются неполносвязным ориентированным графом (и часто называются персептронами).

Обычно вектор входных сигналов подается на все нейроны первого слоя сети. Вектор выходных сигналов образуется выходами всех нейронов последнего слоя. Структура внутренних (скрытых) слоев может быть организована по-разному. Число нейронов в каждом слое может быть любым и никак заранее не связано с количеством нейронов в других слоях.

Среди многослойных сетей выделяют:

сети с прямыми связями;

сети с перекрестными связями;

сети с обратными связями;

сети с латеральными связями.

Нейронная сеть с прямыми связями

Все нейроны входного слоя активизируются вектором входного сигнала, а все нейроны выходного слоя определяют выходной вектор.

На рис. 3.6 и 3.7 представлены сетей с прямыми связями с одним и двумя слоями и точками ветвления на входе.

Если в НС все узлы каждого слоя соединены со всеми узлами смеждых слоев, то такая сеть называется полносвязной сетью прямого распространения. Если некоторые из синаптических связей отсутствуют, то сеть называется неполносвязной. На рис. 3.8 показана двухслойная полносвязная сеть с прямыми связями. Она называется сетью 10-4-2, т.к. имеет 10 точек ветвления, 4 скрытых и 2 выходных нейрона.

Нейронная сеть с перекрестными связями

Вариант двухслойной сети с перекрест­ными связями приведен на рис. 3.9. Здесь нейроны вто­рого слоя имеют синаптические связи как с выходов нейронов первого слоя, так и непосредственно с входа НС. В общем случае в многослойных сетях произвольной структуры возможны различные конфигурации перекрестных связей.

Нейронная сеть с обратными связями

Обратной связью можно охватывать как отдельный слой, так и несколько слоев и даже всю сеть. На рис. 3.10 приведена четырехслойная сеть с различными обратными связями.

Нейронная сеть с латеральными связям

В нейронных сетях с латеральными связями используются боковые связи. Такие связи обычно используются для сетей распознавания графических объектов.

Латеральные связи бывают тормозящими и возбуждающими. На рис. 3.11 приведен пример контрастирования сигналов соседних нейронов в отдельном слое.

7. Мерность связей. С точки зрения представления слоёв и связей сети различают одномерные и многомерные (двумерные) НС.

В двумерных сетях каждый нейрон своими синаптическими связями проецируется на небольшую область следующего слоя (рис. 3.12). В данном случае слои представляют не одномерными, а плоскими, т.е. двухмерными. При подобном уменьшении числа межнейронных связей можно значительно сократить объем вычислений при программном моделировании сети и объем аппаратуры при аппаратной реализации.

8. Направление связей между нейронами. По данному признаку нейронные сети сгруппированы в два больших класса: сети прямого распространения (ациклические), в которых графы не имеют петель, и рекурсивные сети, или сети с обратными связями (рис. 3.13).

На рис. 3.13 представлены типовые сети каждого класса. Сети прямого распространения являются статическими, т.е. на заданный входной вектор они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекурсивные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.

9. Способ решения задачи. С точки зрения этого критерия классификации Нс делят на формируемые, сети с формируемой матрицей связи, обучаемые и комбинированные (смешанные).

Формируемые сети

Сети этого вида проектируют для формализуемых задач, имеющих четко сформулированный в нейросетевом базисе алгоритм решения конкретной задачи.

Сети с формируемой матрицей связей

Сети этого вида применяют для трудноформализуемых задач.

Обучаемые сети

Этот вид сетей используют для решения неформализуемых задач.

Комбинированные сети

Этот класс сетей сочетает в себе признаки двух, а то и трех основных видов.