Модели и схемотехника нейронных сетей

Для описания алгоритмов и устройств в нейроинформатике выработана специальная "схемотехника", в которой элементарные устройства – сумматоры, синапсы, нейроны и т.п. объединяются в сети, предназначенные для решения задач

Самый заслуженный и наиболее важный элемент НС – это адаптивный сумматор, который вычисляет скалярное произведение вектора вход. сигнала x на вектор параметров a. Адаптивным называем его из-за наличия вектора настраиваемых параметров a. Для многих задач полезно иметь линейную неоднородную функцию выход. сигналов. Ее вычисление также можно представить с F1 адаптивного сумматора, имеющего n +1 вход и получающего на 0-й вход постоянный единичный сигнал a0 и на выходе => a0+(х, a) – неоднородный адаптивный сумматор.

Нелинейный преобразователь сигнала - получает скалярный вход. сигнал x и переводит его в j(x).

Точка ветвления служит для рассылки одного сигнала по нескольким адресам. Она получает скалярный входной сигнал x и передает его всем своим выходам.

Рис. 1. Адаптивный сумматор.

Рис. 3. Нелинейный преобразователь Рис. 4. Точка ветвления сигнала.

Рис. 5. Формальный нейрон Рис. 6. Линейная связь (синапс)

Рис. 7. Паде-нейрон Рис. 8. Квадратичный адаптивный сумматир

Стандартный формальный нейрон составлен из входного сумматора, нелинейного преобразователя и точки ветвления на выходе.

Линейная связь ‑ синапс – отдельно от сумматоров не встречается, однако для некоторых рассуждений бывает удобно выделить этот элемент. Он умножает входной сигнал x на "вес синапса" a. Веса синапсов сети образуют набор адаптивных параметров, настраивая которые, НС обучается решению задачи. Обычно на диапазон изменения весов синапсов накладываются некоторые ограничения, например, принадлежности веса синапса диапазону [-1,1].

Сети бывают двух видов: слоистые и полносвязные. Слоистые сети: нейроны расположены в несколько слоев. Нейроны 1 слоя получают вход. сигналы, преобразуют их и через точки ветвления передают нейронам 2 слоя и т.д. до k -го слоя, который выдает выход. сигналы. Полносвязные сети: имеют 1 слой нейронов; каждый нейрон передает свой выход. сигнал остальным нейронам, вкл. самого себя.