Модель искусственного нейрона

Нейрон является составной частью нейронной сети. На рис. 2. показана его структура. Он состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи, (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синоптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона.

wwwww

				å

f

x₁

x_i

x_n

Рисунок 2. Структура искусственного нейрона.

Нейрон в целом реализует скалярную функцию векторного аргумента. Математическая модель нейрона:

s = å w_i´x_i+b (1), y = f(s) (2).

где w_i - вес (weight) синапса, i=1,…….,n; b - значение смещения (bias); s - результат суммирования (sum); x_i - компонент входного вектора (входной сигнал), i=1,…….,n;

у – выходной сигнал нейрона; n - число входов нейрона; f - нелинейное преобразование (функция активации). В общем случае входной сигнал, весовые коэффициенты и смещение могут принимать действительные значения, а во многих практических задачах - лишь некоторые фиксированные значения. Выход (у) определяется видом функции активации и может быть как действительным, так и целым. Синоптические связи с положительными весами называют возбуждающими, с отрицательными весами – тормозящими.

Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов. Чтобы подчеркнуть различие нейронов биологических и искусственных, вторые иногда называют нейроноподобными элементами или формальными нейронами. На входной сигнал (s) нелинейный преобразователь отвечает выходным сигналом f (s), который представляет собой выход (у) нейрона. На рис.3 представлены примеры активационных функций.

пороговая полулинейная

y 1 y

1

0 q s 0 q s

0, s < q

f(s)= 1, s => q 1, s > q

f(s)= ks, s > 0, s < q

0, s =< 0

логистическая (сигмоид)

y

гиперболический тангес (сигмоид)

y

1 1

0,5

0 s 0 s

-1

1 e^as - e^-as

f(s) =; f(s) =;

1 + e^-as e^as + e^-as

Рисунок 3 Примеры активационных функций.

Одной из наиболее распространенных является нелинейная функция активации с насыщением, так называемая логистическая функция или сигмоид (функция S-образного вида): 1

f(s) =

1 + e^-as

При уменьшении а сигмоид становится более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уровне 0,5, при увеличении а сигмоид приближается к виду функции единичного скачка с порогом q. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне (0, 1). Одно из ценных свойств сигмоидальной функции - простое выражение для её производной, вида:

f ^¢ = a×f(s) × [1-f(s)].

Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.