Структурные элементы искусственных нейронных сетей

Нейронной сетью (НС) называется динамическая система, состоящая из связанных между собой эле­ментарных процессоров, которые называются формальными нейронами. Она способна генерировать выходную информацию в ответ на входное воздействие и представляет собой направленный граф.

Нейронная сеть является основной операционной частью НК (нейронных ЭВМ), реализующей алгоритм решения задачи.

Формальным нейроном называется элементарный вычислитель (процессор), используе­мый в узлах нейронной сети.

Для описания алгоритмов и устройств в нейроинформатике выработана специальная "схемотехника", в которой элементарные устройства – сумматоры, синапсы, нейроны и т.п. объединяются в сети, предназначенные для решения задач.

Наиболее важный элемент нейросистем – это адаптивный сумматор. Адаптивный сумматор вычисляет скалярное произведение вектора входного сигнала x на вектор параметров w (рис. 2.4)

(2.1)

Для многих задач необходимо иметь линейную неоднородную функцию выходных сигналов. Ее получают с помощью неоднородного адаптивного сумматора, имеющего n+1 вход и получающего на 0-й вход постоянный единичный сигнал (рис. 2.5)

, (2.2)

где w₀ = q, x₀ = 1.

Очевидно, что различие формул (2.1) и (2.2) состоит лишь в способе нумерации входов.

Нелинейный функциональный преобразователь сигнала получает скалярный входной сигнал S и преобразует его в соответствии с функцией f(S) (рис. 2.6). Точка ветвления служит для рассылки одного сигнала по нескольким адресам (рис. 2.7).

Линейная связь ‑ синапс ‑ отдельно от сумматоров не встречается, однако для некоторых рассуждений бывает удобно выделить этот элемент (рис. 2.8). Он умножает входной сигнал x на «вес синапса» w. Также иногда используют элемент, называемый «выходная звезда». В нем связи присоединены не к входному сумматору, а к точке ветвления (рис. 2.9). Выходная звезда аналогична (двойственна) адаптивному сумматору, его выходные связи производят умножение сигнала на свои веса.

Стандартный формальный нейрон обычно состоит из входного сумматора, нелинейного преобразователя и точки ветвления на выходе (рис. 2.10). Его математическая модель выглядит следующим образом

. (2.3)

На практике чаще всего в моделях нейронов используют сочетание рассмотренных элементарных устройств, представленное на рис. 2.10. Однако существует множество вариантов их комбинации в зависимости от специфики решаемой задачи. К нестандартным моделям нейронов относится нейрон конвейера, паде-нейрон, нейрон с квадратичным сумматором, нейрон со счетчиком совпадений.

Для задачи моделирования данных при помощи кривых для восстановления пробелов в таблицах используют конвейер, состоящий из нейронов следующей структуры (рис. 2.11) (нейрон конвейера).

Паде-нейрон (рис. 2.12) состоит из двух сумматоров, элемента, вычисляю­щего частное от взвешенных сумм, блока нелинейного преобразования. Математическую модель паде-нейрона можно представить в таком виде:

, (2.4)

где v_i – синаптические коэффициенты второго сумматора.

У нейрона с квадратичным сумматором на выходной блок по­дается взвешенная квадратичная форма входного сигнала. Математическая модель этого нейрона описывается следующим выражением:

. (2.5)

Нейрон со счетчиком совпадений, получая на вход n-мерный двоичный входной вектор X, на выходе выдает целое число, равное числу совпадений х_i с w_i, т. е. число тех i, для которых х_i=w_i.