Функции активации. Модели искусственного нейрона

Лабораторная работа № 1

Модели искусственного нейрона

Цель работы: приобретение навыков исследования функций активации и моделей нейронов с помощью пакета имитационного моделирования Simulink системы MATLAB.

Ключевые слова

■ весовой коэффициент нейрона;

■ взвешенный вход нейрона;

■ входной сигнал (вход) нейрона;

■ выходной сигнал (выход) нейрона;

■ нейрон;

■ слой нейронной сети;

■ смещение нейрона;

■ функция активации (передаточная функция):

■ единичная с жесткими ограничениями;

■ линейная;

■ логистическая;

Простой нейрон

Элементарной ячейкой нейронной сети является нейрон. Структура нейрона с одним скалярным входом представлена на рис. 1.1, а.

а)

б)

Рис. 1.1. Структурная схема нейрона с одним скалярным входом
а) без смещения, б) со смещением

Здесь скалярный входной сигнал (вход) умножается на скалярный весовой коэффициент , и результирующий взвешенный вход является аргументом функции активации нейрона, которая порождает скалярный выходной сигнал (выход) .

Нейрон, представленный на рис. 3.1, б, дополнен скалярным смещением . Смещение суммируется с взвешенным входом и приводит к сдвигу аргумента функции на величину . Действие смещения можно свести к схеме взвешивания, если представить, что нейрон имеет второй входной сигнал со значением, равным 1. Вход функции активации нейрона по-прежнему остается скалярным и равен сумме взвешенного входа и смещения . Эта сумма является аргументом функции активации , которая на выходе выдает сигнал .

Выходной сигнал нейрона можно представить в виде линейной комбинации входных сигналов и 1:

.

Принцип работы нейронной сети состоит в настройке параметров нейрона таким образом, чтобы функционирование сети соответствовало некоторому желаемому поведению. Регулируя весовые коэффициенты или параметры смещения, можно «обучить» сеть выполнению конкретной работы. Возможно также, что сама сеть будет корректировать свои параметры для достижения требуемого результата.

Функции активации

Функции активации (передаточные функции) нейрона могут иметь самые различные выражения. Как правило, функция активации принадлежит классу сигмоидных функций с аргументом и выходом .

Рассмотрим три наиболее часто используемые функции активации:

1) единичная функция активации с жесткими ограничениями; она описывается соотношением

график единичной функции активации с жесткими ограничениями и ее условное обозначение представлены на рис. 1.2.

функция активации с жесткими ограничениями реализована в виде М-файла hardlim в пакете расширения Neural Network Toolbox системы MATLAB;

2) линейная функция активации; она описывается соотношением

,

а ее график и условное обозначение представлены на рис. 1.3;

в пакете расширения Neural Network Toolbox линейная функция активации реализована в виде М-файла purelin;

3) логистическая функция активации; она описывается соотношением

,

а ее график и условное обозначение представлены на рис. 1.4;

эта функция принадлежит классу сигмоидных функций, ее аргумент может принимать любое значение от до , а выход изменяется в диапазоне от 0 до 1;

в пакете расширения Neural Network Toolbox логистическая функция активации реализована в виде М-файла logsig; благодаря свойству дифференцируемости эта функция часто используется в сетях с обучением на основе метода обратного распространения ошибки.

Символы, заключенные в квадрат, в правых верхних углах графиков (см. рис. 1.2 – 1.4), характеризуют функции активации. Эти обозначения будут использованы при изображении структурных схем нейронных сетей.

В пакете расширения Neural Network Toolbox есть и другие функции активации. Кроме того, пользователь может создавать свои собственные функции с помощью языка программирования MATLAB.

Нейрон с векторным входом

На рис. 1.5 изображена схема нейрона с одним векторным входом , состоящим из элементов , , …, . Здесь каждый элемент входа умножается на весовые коэффициенты , , …, соответственно, и взвешенные значения подаются на вход сумматора. Их сумма равна скалярному произведению век­тора весовых коэффициентов на вектор входа .

Нейрон имеет смещение , которое суммируется с взвешенной суммой входов. Результирующая сумма определяется в соответствии с выражением

и является аргументом функции активации . В нотации языка программирования MATLAB это выражение записывается следующим образом:

n = W*p + b.

Схема нейрона, изображенная на рис. 1.5, содержит много лишних деталей. При рассмотрении нейронных сетей, состоящих из большого числа нейронов, будет использоваться укрупненная струк­турная схема нейрона (рис. 1.6).

Вход нейрона изображается в виде темной вертикальной черты, под которой указывается количество элементов входа. Размерность входа указывается под стрелкой, исходящей от входа (на рис. 1.6 она обозначена ). Вектор входа умножается на вектор-строку размерности . Как и прежде, константа 1 рассматривается как вход, который умножается на скалярное смещение . Входом функции активации нейрона является сумма скалярного произведения и смещения . Эта сумма преобразуется функцией активации , на выходе которой образуется величина , являющаяся в данном случае скалярной.

Структурная схема, изображенная на рис. 1.6, называется слоем нейронной сети. Слой характеризуется матрицей весовых коэффициентов , смещением , операциями умножения и суммирования , а также функцией активации . Вектор входов обычно не включается в характеристики слоя.

Каждый раз, когда используется сокращенное обозначение нейронной сети, размерности матриц указываются под обозначениями соответствующих переменных. Подобная система обозначений поясняет строение нейронной сети и связанную с ней алгебру матриц.

На укрупненной структурной схеме для обозначения типа функции активации иногда применяются специальные графические символы наподобие тех, что изображены на рис. 1.2 – 1.4.