Модели нейронных сетей

Развитие теории нейронных сетей. Исследования нейронных сетей дали первые интересные результаты, когда Уоррен Маккаллок (Warren McCulloch) и Уолтер Питтс (Walter Pitts) показали, что сеть, построенная из двузначных (binary valued) нейронов, способна выполнять простые логические вычисления. В 1949 г. Дональд Хебб в своей книге «Организация поведения» (Organization of Behavior) предложил правдоподобный механизм обучения. Большинство современных правил обучения сетей происходят от правила Хебба или его модификаций. Правило Хебба очень простое: каждый раз, когда два нейрона возбуждаются одновременно, соединение между ними должно быть усилено.

В 1950-х гг. доминирующей фигурой в исследованиях нейронных сетей был психолог Фрэнк Розенблатт (Frank Rosenblatt). Он изобрел класс нейронных сетей, названных Перцептроны (Perceptrons). Перцептрон был создан как модель биологической сенсорной системы, в которой использовались несколько слоев пороговых нейронов и вариант правила Хебба для обучения. В 1960-х Марвин Мински (Marvin Minsky) и Сеймур Пейперт (Seymour Papert) показали, что большой класс важных проблем не может быть решен Перцептронами. Анализ возможностей Перцептронов они опубликовали в 1969 г. в книге «Перцептроны».

В конце 1960-х и в начале 1970-х немногие исследователи продолжали работать по нейронным сетям. Наиболее известные из них Стефен Гроссберг (Stephen Grossberg), Джеффри Хайтон (Geoffery Hiton), Тейво Кохонен (Teuvo Kohonen), Кунихико Фукушима (Kunihiko Fukushima), Дж. А. Андерсон (J. A. Anderson). Андерсон и Кохонен (1972) разработали Линейный ассоциатор (Linear associator). Стефен Гроссберг одним из первых проанализировал некоторые свойства конкурентного обучения (1976). Дж. А. Андерсон при участии Джеймса Макклиланда (James McClelland) и Давида Румельхарта (David Rumelhart) работали над идеей параллельно распределенных вычислений.

В 1982 г. Джон Хопфилд, профессор химии и биологии в Калифорнийском технологическом институте (California Institute of Technology), опубликовал статью, в которой показал, что нейронные сети способны восстанавливать нечеткий входной образ, и подкрепил это теоретически. Две ключевые идеи присутствовали в этой и последующих его статьях: введение в систему обратных связей и функции глобальной вычислительной энергии, характеризующей состояние системы. Со времени опубликования первой статьи Хопфилда разработано несколько новых моделей нейронных сетей и правил обучения, демонстрирующих такие замечательные способности, как распознавание образов, терпимость к искажениям, предсказание.

Классификация нейронных сетей. Два принципа построения нейронной сети демонстрирует рис. 6.6: некоторые сети содержат обратные связи, а некоторые – нет. Если выход каждого нейрона не зависит от выходов последующих нейронов, – это сеть без обратных связей, в такой сети отсутствуют циклы.

Рис. 6.6. Простая классификация НС

Нейронные сети могут быть также классифицированы по нейронным передаточным функциям, обычно на линейные и нелинейные модели. Выход линейного нейрона может быть представлен с использованием линейной алгебры, так как значение выхода прямо зависит от суммы значений его входов. В нелинейной модели выход нейрона является нелинейной функцией суммы его входов и может иметь сложную зависимость от этой суммы. Большинство простых нелинейных моделей представляют собой сети из пороговых нейронов. Значение выхода такого нейрона равно единице, если взвешенная сумма его входов превышает заданный порог, в противном случае оно равно нулю.

Нейронные сети могут быть классифицированы далее по способам обучения на обучение с учителем или без учителя. Сети с учителем сравнивают свой выход с правильным ответом в течение тренировки – подобно тому, как дети учат таблицу умножения. Сети без учителя при обучении используют механизм стимул-реакция – подобно тому, как люди учат первый свой язык.

Нейронные сети с обратной связью. В нейронной сети с обратной связью выходные сигналы нейронов возвращаются на входы нейронов того же или предшествующих слоев (рис. 6.7).

Нейронная сеть с обратной связью (feedback network) не то же самое, что обратное распространение ошибки (back propagation). Обратное распространение ошибки – это не сеть, а метод тренировки сетей без обратных связей. Нейронные сети с обратной связью (feedback networks) не используют обратное распространение ошибки (back propagation) для тренировки.

Модели сетей с обратной связью бывают конструируемые или тренируемые. В конструируемой модели матрица весов создается. Модель Хопфилда и двунаправленная ассоциативная память (Bidirectorial Associative Memories – BAM) являются двумя хорошо известными конструируемыми моделями нейронных сетей с обратной связью. Так как всегда присутствует некоторый элемент случайности, нейронные сети с обратной связью выдают для одних и тех же входов не всегда те же самые, но обычно весьма близкие решения.

В модели Хопфилда (см. рис. 6.8) выход каждого нейрона соединен со входом каждого другого нейрона. Поэтому процесс реакция-стимул-реакция между нейронами происходит до тех пор, пока сеть не «успокоится» в некотором фиксированном состоянии, называемом устойчивым состоянием.

Тренировка сети с обратной связью много сложнее, так как адаптация влияет на сигналы как тогда, когда они движутся в прямом направлении, так и тогда, когда они возвращаются на входы предшествующих нейронов. Сложную процедуру адаптивной тренировки нейронных сетей с обратной связью (Adaptive Resonance Theory – ART) разработали Стефен Гроссберг и Гэйл Карпентер (Gail Carpenter).

Вычислительная энергия есть математическая функция, определяющая устойчивые состояния сети и пути, ведущие в них. Если набор значений входов сети линейно упорядочить и представить векотором чисел, то функция вычислительной энергии может быть изображена как кривая поверхность. Устойчивые состояния (минимумы энергии) окажутся во впадинах этой поверхности.

Нейронные сети без обратных связей. Это вторая важная категория нейронных сетей. В нейронных сетях без обратной связи (рис. 6.9) сигналы идут лишь в одном направлении, в них нет циклов.

Ранние модели нейронных сетей были линейными сетями без обратной связи. В 1972 году Дж. А. Андерсон и Тейво Кохонен независимо предложили одну и ту же модель для ассоциативной памяти (линейный ассоциатор). Сегодня большинство нейронных сетей используют нелинейные модели нейронных сетей без обратной связи.

Рис. 6.9. Нейронная сеть без обратных связей

Можно математически строго показать, что любая сеть с обратной связью имеет эквивалентную ей сеть без обратной связи, решающую ту же задачу. Сеть без обратной связи имеет несколько меньший объем памяти, но работает лучше, чем сеть с обратной связью. Работают сети без обратной связи быстрее, поскольку нуждаются лишь в одном проходе сигнала через систему для получения решения. Сети же с обратной связью должны циклически повторять проходы до тех пор, пока не прекратятся изменения выходов нейронов. Обычно это требует от 3 до 1000 циклов.