Функции активации

Линейная функция

В этом случае выходное значение нейронного элемента равняется взвешенной сумме:

где — коэффициент наклона прямой.

Изменение порога линейного элемента эквивалентно сдвигу функции активации по оси абсцисс.

Пороговая функция (бинарная)

Функция хорошо изучена, легко программируется, но не позволяет применять дифференциальные методы обучения.

Область определения: (-∞; +∞)

Множество значений: {0,1}.

"Пологая ступенька"

Позволяет линейно переходить из состояния 0 в состояние 1, удобна в использовании, но не позволяет использовать дифференциальные методы обучения.

‘

"Логистическая кривая"

При уменьшении a функция становится более пологой и вырождается в прямую y=0,5 при

a=0. При увеличении функция становится более резкой и приближается к виду пороговой функции. Эта функция активации применяется при обучении с помощью дифференциальных методов, так как производная этой функции выражается через нее саму.

Гиперболический тангенс

Применяется при обучении сетей с помощью дифференциальных методов.

Шаговая функция

Удобна, проста, но нельзя применять дифференциальные методы обучения.

Знаковая функция (биполярная пороговая)

Проста, удобна, зависит от знака суммы импульсов, нельзя применять дифференциальные методы обучения.

Гауссова кривая

Применяется в случаях, когда необходимо реагировать на определенный сигнал.

Применяется в сетях с дифференциальными методами обучения.