Сети на встречного распространения

Одной из наиболее популярных комбинированных сетей является двухслойная сеть встречного распространения CPN (Counterpropagation Network), первым слоем которой является сеть Кохонена, а второй – выходная звезда (нейронная сеть) Гроссберга.

Нейрон в форме входной звезды имеет n входов, которым соответствуют весовые коэффициенты W=(w1,w2,…,wn), один выход Y, являющийся взвешенной суммой этих входов. Таким образом, звезда является детектором состояния входов и реагирует только на свой входной вектор.

Подстройка весов производится по формуле

Wi(t+1)=Wi(t)+ μ*({Xi- Wi(t)), (1)

где Wi(t) –весовой вектор i-ой входной звезды на t-м такте обучения;

μ-скорость обучения (выбирается в начале 0,1-0,2 и затем постепенно уменьшается);

Xi- входной вектор.

Выходная звезда Гроссберга выполняет противоположную функцию- при поступлении сигнала на вход выдается определенный вектор. Нейрон этого типа имеет один вход и m выходов с весами W=(w1,w2,…,wn),которые подстраиваются по формуле

Wi(t+1)=Wi(t)+ ά*({ Yi- Wi(t)), (2)

где Wi(t) – весовой вектор i-ой выходной звезды на t-м такте обучения;

Yi –выходной вектор; ά - скорость обучения. Рекомендуется начать обучение с ά=1 и постепенно уменьшается до 0.

Особенностью нейронов в форме звезд Гроссберга является избирательность памяти. Каждый нейрон помнит свой входной образ и игнорирует остальные. Каждой выходной звезде соответствует конкретная командная функция. Образ памяти связывается с определенным нейроном и а не возникает вследствие взаимодействия нейронов.

Сеть со встречным распространением CPN представляет собой соединение самоорганизующейся сети Кохонена и выходной звезды Гроссберга. Топология сети представлена на рис1.

Здесь выходы сети Кохонена не являются выходами сети, а служат лишь входами для выходного слоя – выходной звезды Гроссберга.

Создатель этой сети З. Хехт-Нильсен рекомендует использовать эти архитектуры для решения задач аппроксимации функций и заполнения пробелов в таблице данных.