Главная Случайная страница Контакты | Мы поможем в написании вашей работы! | ||
|
Нейрон является составной частью нейронной сети. На рис. 2. показана его структура. Он состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи, (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синоптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона.
wwwww
| |||||||
|
xi
xn
Рисунок 2. Структура искусственного нейрона.
Нейрон в целом реализует скалярную функцию векторного аргумента. Математическая модель нейрона:
s = å wi´xi+b (1), y = f(s) (2).
где wi - вес (weight) синапса, i=1,…….,n; b - значение смещения (bias); s - результат суммирования (sum); xi - компонент входного вектора (входной сигнал), i=1,…….,n;
у – выходной сигнал нейрона; n - число входов нейрона; f - нелинейное преобразование (функция активации). В общем случае входной сигнал, весовые коэффициенты и смещение могут принимать действительные значения, а во многих практических задачах - лишь некоторые фиксированные значения. Выход (у) определяется видом функции активации и может быть как действительным, так и целым. Синоптические связи с положительными весами называют возбуждающими, с отрицательными весами – тормозящими.
Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов. Чтобы подчеркнуть различие нейронов биологических и искусственных, вторые иногда называют нейроноподобными элементами или формальными нейронами. На входной сигнал (s) нелинейный преобразователь отвечает выходным сигналом f (s), который представляет собой выход (у) нейрона. На рис.3 представлены примеры активационных функций.
пороговая полулинейная
y 1 y
1
0 q s 0 q s
0, s < q
f(s)= 1, s => q 1, s > q
f(s)= ks, s > 0, s < q
0, s =< 0
|
|
|
|
1 1
0,5
0 s 0 s
-1
1 eas - e-as
f(s) =; f(s) =;
1 + e-as eas + e-as
Рисунок 3 Примеры активационных функций.
Одной из наиболее распространенных является нелинейная функция активации с насыщением, так называемая логистическая функция или сигмоид (функция S-образного вида): 1
f(s) =
1 + e-as
При уменьшении а сигмоид становится более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уровне 0,5, при увеличении а сигмоид приближается к виду функции единичного скачка с порогом q. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне (0, 1). Одно из ценных свойств сигмоидальной функции - простое выражение для её производной, вида:
f ¢ = a×f(s) × [1-f(s)].
Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.
Дата публикования: 2015-02-22; Прочитано: 336 | Нарушение авторского права страницы | Мы поможем в написании вашей работы!