Способы реализации нейронных сетей

Искусственные нейронные сети (ИНС) могут быть реализованы программным или аппаратным способом.

Вариантами аппаратной реализации являются нейрокомпью­теры (НК), нейроплаты и нейроБИС (большие интегральные схемы). Одна из самых простых и дешевых нейроБИС - модель MD 1220 фирмы Micro Devices, которая реализует сеть с 8 нейронами и 120

синапсами. Среди перспективных разработок можно выделить модели фирмы Adaptive Solutions (США) и Нitachi (Япония). Раз­рабатываемая фирмой Adaptive Solutions нейроБИС является од­ной из самых быстродействующих: объявленная скорость обра­ботки составляет 1,2 млрд. межнейронных соединений в секунду (мнс/с). Схемы, производимые фирмой Hitachi, позволяют реа­лизовывать ИНС, содержащие до 576 нейронов.

Большинство современных нейрокомпьютеров представляют собой персональный компьютер или рабочую станцию, в состав которых входит дополнительная нейроплата. К их числу относят­ся, например, компьютеры серии FMR фирмы Fиjitsи. Возмож­ностей таких систем вполне хватает для решения большого числа прикладных задач методами нейроматематики, а также для раз­работки новых алгоритмов. Наибольший интерес представляют специализированные нейрокомпьютеры, в которых реализованы принципы архитектуры нейросетей. Типичными представителя­ми таких систем являются компьютеры семейства Mark фирмы TRW (первая реализация перцептрона - электронное устройство, моделирующее нейронную сеть, разработанная Ф. Розен­блатом, называлась Mark 1). Модель Mark 111 фирмы TRW пред­ставляет собой рабочую станцию, содержащую до 15 процессоров семейства Motorola 68000 с математическими сопроцессорами. Все процессоры объединены общей шиной. Архитектура системы, поддерживающая до 65 000 виртуальных процессорных элемен­тов с более чем 1 млн настраиваемых соединений, позволяет об­рабатывать до 450 тыс. мнс/с.

Другим примером является нейрокомпьютер NETSIM, со­зданный фирмой Texas Instmments на базе разработок Кембридж­ского университета. Его топология представляет собой трехмер­ную решетку стандартных вычислительных узлов на базе процес­соров 80188. Компьютер NETSIM используется для моделирова­ния сетей Хопфилда-Кохонена. Его производительность дости­гает 450 млн. мнс/с.

В тех случаях, когда разработка или внедрение аппаратных реализаций нейронных сетей обходятся слишком дорого, приме­няют более дешевые программные реализации-нейропакеты (НП). Нейропакетом называется программная система, эмулирующая среду НК на обычном компьютере.

В соответствии с классификация НПпредложенной Галушкиным А.И. НП делятся на семь основных классов.

1. НП для разработки других НП (инструментарий построения НП).

2. Универсальные НП. Под универсальностью понимается возмож­ность моделиро-вания ИНС разной структуры и с разными алгоритмами обу­чения.

З. Специализированные НП, использующие нейроны сложной функ­циональности

и включающие специализированные средства для:

. обработки изображений;

. распознавания образов;

. распознавания рукописных и печатных символов;

. распознавания речи;

. управления динамическими системами;

. финансового анализа и др..

4. Нейронные ЭС.

5. Пакеты генетического обучения ИНС.

6. Пакеты нечеткой логики, использующие ИНС.

7. Интегрированные пакеты, использующие ИНС.

Примеры НП первого класса:

. OWL (разработчик - Hyper Logic Corp.);

. Neuro Windows (разработчик -Ward Systems Group);

. NNet+ (разработчик - NeuroMetric Vision System);

. Neural Network Toolbox for Matlab (разработчик - Math Works);

. Neuro Office (разработчик - ЗАО «АльфаСистем»).

Архитектура универсального НП представлена на рис. 5.

Процесс разработки модели ИНСсостоит из четырех этапов:

1) визуальное проектирование структуры и топологии ИНС;

2) определение синаптической карты и функций активации нейронов;

3) обучение построенной ИНС;

4) тестирование обученной ИНС (в том числе оценивание скорости

работы ИНС).

Укрупнен­ные структуры подсистемы формирования ИНС и подсистемы проведения экспериментов с ИНС изображены на рис. 6 и рис. 7.

Интерфейс опытного пользователя нейропакета (в том числе средств визуального представления нейросети и результатов на всех этапах работы)

Подсистема формирования нейросети

Рис. 5 Архитектура универсального нейропакета.

Рис. 6 Укрупнённая структура подсистемы формирования нейросети.

Выбор алгоритма обучения нейросети

Библиотека алгоритмов обучения.

.

Рис. 7 Укрупнённая структура подсистемы проведения экспериментов с нейросетью.

Аппаратной базой для НП служат рабочие станции или персональные ЭВМ, обладающие высокой производительностью.

Главным показателем эффективности функционирования НП служит

скорость обучения ИНС. Поскольку во многих НП механизм обучения реализован на основе алгоритма «обратного распространения ошибки», данный показатель у них принимает близкие значения и для оценки НП выделяются 11 следующих дополнительных критериев:

1) простота формирования и обучения ИНС при использовании ин­туитивно понятного графического интерфейса НП;

2) простота подготовки обучающей выборки;

3) наглядность и полнота представления информации в процессе фор­мирования и обучения ИНС;

4) состав поддерживаемых нейронных моделей, критериев и алгоритмов обучения;

5) возможность создания собственных (т. е. нетиповых) нейронных структур;

6) возможность использования собственных критериев оптимизации;

7) возможность использования собственных алгоритмов обучения ИНС;

8) простота обмена информацией между НП и другими приложениями;

9) открытая архитектура пакета (возможность его расширения за счет

внешних программных модулей);

10) наличие генератора исходного кода;

11) наличие макроязыка для ускорения работы с НП.

Названные критерии можно разделить на три класса:

· первые три критерия оценивают НП с точки зрения начинающих

пользователей;

· критерии с четвертого по восьмой оценивают НП с точки зрения

опытных пользователей;

· последние три критерия оценивают НП с точки зрения

профессиональных разработчиков НП.