Ход работы. Первая теорема Розенблатта доказывает существование элементарного перцептрона, способного выполнить любую классификацию заданного множества черно-белых

Первая теорема Розенблатта доказывает существование элементарного перцептрона, способного выполнить любую классификацию заданного множества черно-белых изображений, т.е. она показывает, что перцептрон является универсальным устройством для решения любой задачи классификации изображений.

Теорема 2.1. Пусть дано множество черно-белых изобра-жений на некоторой сетчатке , тогда для любой классификации C (W) множества W черно-белых изображений на два подмножества W ¹, W ² существует не пустой класс элементарных перцептронов с сетчаткой S, способных выполнить эту классификацию.

Доказательство. Для доказательства достаточно показать существование хотя бы одного элементарного перцептрона, способного выполнить произвольную классификацию C (W). Рассмотрим перцептрон, каждому изображению на сетчатке S которого соответствует один А -элемент – нейрон A_k, функционирование которого определяется выражением:

(2.24)

где – выходной сигнал нейрона А_k; – сигнал на входе нейрона А_k,

; (2.25)

- выходной сигнал j -го S- элемента,

(2.26)

w_jk – вес связи между j -м S- элементом и k -м А- нейроном; – порог срабаты-вания k -го А- элемента; .

Для каждого изображения W_k зададим веса w_jk соотноше-нием:

(2.27)

При предъявлении любого изображения перцептрону, удов-летворяющему соотношениям (2.24) – (2.27), только на входе одного k -го А -ней-рона, будет сигнал, равный в соответствии с соотношением (2.25) числу m, и только на выходе этого нейрона в соответствии с выражением (2.24) будет единичный выходной сигнал. Теперь для правильного выполнения разделение исходного множества W на два подмножества W ¹, W ² с помощью элементарного перцептрона необходимо только всем весам связей между R- и A- нейронами, которые соответствуют A- элементам, возбуждаемым изображениями подмножества W ¹, придать положительные значения, а всем весам связей А- ней-ронов, которые возбуждаются изображениями подмножества W ², - отрицательные значения, а затем задать выходной сигнал R- нейрона выражением вида:

где – входной сигнал R- элемента.

В этом случае все изображения подмножества W ¹ будут кодироваться положительным единичным выходным сигналом нейронной сети, а подмно-жества W ² – отрицательным, т.е. будет правильно выполняться классификация C (W) исходного множества W изображений.

Хотя построенная таким образом нейронная сеть не имеет существенного практического значения, однако ее наличие показывает, что элементарный перцептрон является универсальным устройством классификации любого множества изображений на два класса. В том случае, когда число изображений множества W превышает число А- нейронов, элементарный перцептрон теряет свою универсальную способность классифицировать изображения.

Теорема 2.2. Если число n изображений в множестве W больше числа А -элементов элементарного перцептрона, то существует некоторая класси-фикация С (W) множества W черно-белых изображений на два подмножества W ¹, W ², которая не может быть выполнена перцептроном.

Теорема 2.3. Для любого элементарного перцептрона с конечным числом А -нейронов вероятность выполнения классификации С (W), которая выбирается из равномерного распределения по всем возможным классификациям множества изображений на два класса, стремится к нулю при n, стремящемся к бесконечности.

Теорема 2.1 доказывает существование элементарного перцептрона, способного выполнять любую заданную классификацию С (W) изображений некоторого множества W на два класса, однако она не указывает алгоритмов достижения этой способности в процессе обучения нейронной сети. Розенблаттом была доказана важная для теории элементарных перцептронов теорема о наличии таких алгоритмов для α-перцептронов.

Рассмотрим некоторую классификацию С (W) множества W изображений на два подмножества W ¹, W ², которая может осуществляться перцептроном с R -элементом, выходной сигнал которого удовлетворяет условиям:

(2.28)

Положим также, что:

(2.29)

Определение 2.9. Метод коррекции ошибок без квантования – этот метод системы подкрепления с коррекцией ошибок, когда при ошибочной реакции R- элемента с порогом q на некоторое изображение к весу каждой из связей, соединяющих активные А- нейроны с R- элементом, прибавляется величина , где коэффициент выбирается из условия, что после коррекции весов связей выполняется соотношение (2.28), т.е. перцептрон правильно классифицирует предъявленное изображение. В методе коррекции ошибок с квантованием применяется это же правило коррекции весов связей, но величина в общем случае гораздо меньше и правильный сигнал на выходе R- нейрона, как правило, достигается не за одну итерацию.

Теорема 2.4. Пусть дан элементарный α-перцептрон, множество черно-белых изображений , некоторая классификация С (W) этих изображений на два подмножества, которая может быть выполнена α-перцеп-троном. Изображения подаются на вход перцептрона в произвольной последовательности, в которой каждое из них появляется неоднократно, через конечное число предъявлений других изображений. Тогда процесс обучения перцептрона методом коррекции ошибок (с квантованием или без квантования подкрепления) независимо от начальных значений весов связей между R- и А- элементами всегда приводит за конечное число итераций к множеству весов связей, с помощью которых α-перцептрон может выполнить заданную классификацию изображений.

Теорема 2.4 доказывает наличие сходящегося детерминированного метода обучения с коррекцией ошибок для элементарного перцептрона с квантованием или без квантования подкрепления. Следующая теорема доказывает, что обучение элементарного перцептрона может быть выполнено и при менее жестких требованиях к виду коррекции – методом коррекции ошибок со случайным законом подкрепления, когда при появлении ошибки сигнал подкрепления формируется как в α-системе, но знак подкрепления с вероятностью 0,5 может быть положительным или отрицательным.

Теорема 2.5. Пусть дан элементарный α-перцептрон с конечным числом значений весов связей между R- и А- нейронами, множество черно-белых изображений , некоторая классификация C (W) этих изображений на два подмножества, которая может быть выполнена α-перцептроном при некотором наборе весов связей между R- и А- нейронами, изображения подаются на вход перцептрона в произвольной последо-вательности, в которой каждое из них появляется неоднократно через конечное число предъявлений других изображений. Тогда процесс обучения перцептрона, величина сигналов подкрепления которого формируется как и в α-системе с квантованием подкрепления, а знак подкрепления выбирается с вероятностью 0,5 положительным или отрицательным, может быть выполнен за конечное время с вероятностью, равной единице, независимо от начальных значений весов связей между R‑ и А‑ нейронами.

Естественно, что метод со случайным знаком подкрепления требует большего объема вычислений при обучении перцептрона, чем прямая коррекция ошибок с квантованием или без квантования подкрепления. Еще большего объема вычислений требует метод, в котором производится случайный выбор не только знака, но и величины подкрепления. Розенблаттом доказана теорема о том, что с вероятностью, равной единице, обучение перцептрона может быть выполнено за конечное время и методом коррекции случайными возмущениями, когда подкрепление формируется как в α-системе, но при этом величина η и знак подкрепления для каждого веса связи выбираются отдельно и независимо в соответствии с некоторым заданным законом распределения вероятностей.

Менее универсальной системой подкрепления, чем α-система и системы со случайным формированием подкрепления, является γ-система. Это доказыва-ет следующая теорема Розенблатта.

Теорема 2.6. Пусть дан элементарный γ-перцептрон, подмножество черно-белых изображений и некоторая классификация C (W) этих изображений на два класса W ¹, W ². Тогда для выполнения классификации C (W) может существовать набор весов связей, недостижимый для γ-системы подкреплений.

Доказательство. Пусть функционирование А -нейронов определяется выражением:

где – соответственно выходной и входной сигналы k -го A- нейрона; – порог срабатывания А- нейронов.

Пусть также каждый А- нейрон возбуждается только одним изображением из множества W, а классификация C (W) осуществляется с помощью R- элемента, функционирование которого описывается соотношением:

где – соответственно выходной и входной сигналы R- нейрона. Выберем классификацию C (W), которая относит все изображения к классу или к классу . Очевидно, что в первом случае решение существует только тогда, когда веса всех связей между R- и А- элементами положительны (или отрицательны, если все изображения относятся к классу ). Если для первого случая начальные веса всех связей между R- и А- нейронами отрицательны, а для второго – положительны, то в силу свойства консервативности γ-системы подкрепления относительно суммы всех весов связей между R- и А- нейронами, она не сможет выполнить правильную настройку весов связей перцептрона для рассматриваемой классификации C (W).

3. Индивидуальные задания

3.1. Разработайте структуру элементарного перцептрона, способного распознавать первые две буквы Вашего имени и Вашей фамилии. При этом обоснуйте выбор:

- числа рецепторных нейронов (число n S- элементов перцептрона должно быть в пределах );

- числа нейронов скрытого слоя;

- величины шага в алгоритме обучения перцептрона;

- вида функций активации нейронов каждого слоя;

- величины порогов нейронов каждого слоя.

3.2. Обучите нейронную сеть методом a-подкреплений и методом g‑подкреплений. Сравните работу обоих методов.

4. Содержание отчета

4.1. Тема лабораторных занятий.

4.2. Индивидуальное задание.

4.3. Результаты выполнения пунктов 3.1 и 3.2 индивидуального задания.

Ход работы

Работу виртуальной машины упрощенно иллюстрирует рисунок 1.1. На компьютере устанавливается базовая операционная система, после чего устанавливается программное обеспечение виртуальной машины (ВМ). Оно позволяет установить одну или несколько гостевых операционных систем и запускать в них программы, разработанные для данных ОС. В качестве ПО виртуализации в наших лабораторных работах будет использоваться Microsoft Virtual PC 2007 SP1.

Рис.1.1. Схема работы виртуальных машин.

Создание виртуальной машины

Из меню Пуск (Программы -> Microsoft Virtual PC) запустим консоль управления виртуальными машинами (рис 1.2). Нажав кнопку New…, приступим к созданию новой машины. При создании новой машины надо будет описать расположение ее файлов (файла «машины» с расширением.vmc и файла виртуального жесткого диска с расширением.vhd). Поэтому в запустившемся после нажатия кнопки мастере указываем:

- создание новой машины (Create a virtual machine);

Рис.1.2. Создание новой виртуальной машины

- имя и расположение файла;

- тип устанавливаемой операционной системы. Если это ОС разработки Microsoft, будут автоматически выставлены рекомендуемый объем оперативной памяти и виртуального жесткого диска. Поэтому в окне выбора ОС вместо значения по умолчанию.Other. выберите из выпадающего списка Windows Server 2003

- в следующих окнах мастера согласимся с предлагаемым объемом выделяемой машине оперативной памяти (256 MB); укажем, что надо создать новый виртуальный жесткий диск (A new virtual hard drive) и уменьшим предлагаемый размер с 65 Гб до 40Гб. Размер и имя можно оставить и по умолчанию, изменение настроек предлагается «чтобы потренироваться». Тут надо отметить, что при использовании данного мастера файл виртуального диска создается минимального размера и увеличивается по мере надобности, т.е. сразу 40 Гб не потребуется.

После сделанных настроек в окне консоли (рис.1.3) появится новая виртуальная машина, которую можно запустить, выделив ее и нажав кнопку Start. При этом может появиться сообщение об ошибке «The virtual machine could not be started because there was not enough memory available on the host» - виртуальная машина не может быть запущена, потому что недостаточно памяти. Это произойдет, например, если на компьютере установлено меньше 1 Гб оперативной памяти или в момент запуска виртуальной машины запущено много других программ. В последнем случае, проблема может быть решена завершением работы временно ненужных запущенных программ. Если же мало физической памяти, то через настройки виртуальной машины (кнопка Settings в консоли) можно попробовать несколько уменьшить размер памяти, выделяемой виртуальной машине. Но надо помнить, что минимально рекомендуемый объем памяти для Windows Server 2003 – это 512 МБ и сильно урезать его без потери работоспособности ОС не получится.

Рис.1.3. Консоль управления виртуальной машиной.

Среди прочих настроек виртуальной машины хотелось бы отметить параметры сети (рис. 1.4). Выбрав раздел «Networking», можно указать число адаптеров виртуальной машины, а также параметры для каждого адаптера.

· Local – создание локальной сети только между запущенными виртуальными машинами. Доступа к физическому компьютеру, а также к реальной сети у виртуальных машин нет. Недостатком данного способа является то, что для организации простейшей локальной сети требуется не менее двух запущенных виртуальных машин, что накладывает повышенные требования на ресурсы физического компьютера.

· Shared Networking – специальный вид сети для доступа виртуальной машины к ресурсам TCP/IP физического компьютера. В этом случае используется механизм трансляции сетевых адресов NAT, виртуальный сетевой адаптер получает адрес из зарезервированного диапазона 192.168.x.y и может «обращаться» к внешним узлам, используя базовую ОС, как NAT-устройство. Этот вариант позволит, например, получить из виртуальной машины доступ в Интернет, если на «физической» машине используется dial-up соединение.

· Сетевой адаптер на физическом компьютере (указывается название адаптера) – сетевой адаптер виртуальной машины напрямую подключается к адаптеру физического компьютера. В этом случае виртуальная машина становится обычным узлом реальной сети. Недостатками способа являются, во-первых, факт присутствия в реальной сети машины, на которой студенты имеют права администратора, во-вторых, необходимость наличия сетевого адаптера на физическом компьютере, что не всегда возможно.

· Microsoft Loopback Adapter – адаптер виртуальной машины подключается к особому виртуальному адаптеру физической машины, который называется Microsoft Loopback Adapter (Адаптер Microsoft замыкания на себя). В этом случае организуется внутренняя сеть между виртуальными машинами и физическим компьютером, причем виртуальные машины не имеют доступа в реальную сеть.

Среда выполнения лабораторного практикума может быть настроена с использованием всех перечисленных способов. Пока остановимся на конфигурации с одним сетевым адаптером и типом соединения Shared networking.

Рис. 1.4. Настройка сетевых адаптеров виртуальной машины.

Для первого входа пользователя понадобится знание следующих команд.

Команды виртуальной машины

Вместо сочетания клавиш «Alt+Ctrl+Del» надо нажимать «правый Alt+Del».

«Правый Alt+Enter» – переключение между обычным и полноэкранным режимом.

Захваченный виртуальной машиной указатель мыши освобождается нажатием на правую клавишу Alt и выводом курсора из окна виртуальной машины. После установки расширений (после установки гостевой ОС) эти действия больше не понадобятся, и указатель мыши будет свободно перемещаться между окном виртуальной машины и остальной областью экрана.

Самостоятельное з адание.

1. Запустите программу Microsoft Virtual PC 2007. Откроется Virtual PC Console (Консоль виртуального компьютера). В этой консоли вам нужно выбрать виртуальную машину с установленной операционной системой Microsoft Windows Server 2003 и открыть её настройки (Settings).

Другой вариант – в правом нижнем углу (в системном трее) находится значок Microsoft Virtual PC 2007.

Просмотрите настройки виртуальной машины:

· File Name – имя файла виртуальной машины.

· Memory – объем используемой памяти. Рекомендуется распределять имеющуюся физическую память поровну между всеми запущенными виртуальными машинами, а также физическим компьютером.

· Hard Disk – местонахождение файла жесткого диска виртуальной машины.

· Undo Disk – важная опция, позволяющая не сохранять все изменения, произведенные в течение сеанса работы с виртуальной машиной. Такая возможность необходима в случае, если на одном физическом компьютере с одной виртуальной машиной работают несколько пользователей.

· Networking – сетевые настройки. Выберите один сетевой адаптер (Number of networks adapters). В появившемся списке выберите адаптер Microsoft замыкания на себя. Таким образом, создается сетевое соединение физического компьютера и виртуальной машины, не влияющее на реальную сеть.

· Остальные настройки оставьте неизменными.

2. Выключите виртуальную машину. Выберите в меню окна виртуальной машины пункт Action (Действие), затем Close (Закрыть). Существует три способа завершения работы:

· Start – Shut Down (Пуск – Выключение);

· Turn off – полное выключение, аналог «Выключения» на физическом компьютере;

· Save state – сохранить состояние. На жестком диске в специальном файле сохраняется текущее состояние виртуальной машины и при следующем старте работа начинается с него (аналог «Спящего режима»).

Выберите Start – Shut Down.

3. Для конфигурации установленной гостевой ОС нам потребуютсяимена физического компьютера и название рабочей группы.

Существует два способа узнать имя и рабочую группу компьютера. Первый способ: откройте окно системных свойств (щелкните правой кнопкой мыши по значку Мой компьютер – Свойства). На вкладке Имя компьютера определите имя компьютера и название рабочей группы.

Второй способ (с помощью командной строки): для определения имени компьютера воспользуйтесь утилитой hostname.

Чтобы узнать название рабочей группы, примените утилиту nbtstat (утилита отображает информацию о протоколе NBT – NetBIOS через TCP/IP). В командной строке введите: nbtstat –a <имя компьютера>.

Выпишите имя физического компьютера и название рабочей группы.

@ Поместите в отчет скриншоты, в которых отражены:

окно Имя компьютера с названием рабочей группы виртуальной машины,

результат выполнения утилиты hostname,

окно Сетевое окружение.

@ Для всех заданий поместите в отчете скриншоты, отражающие правильность выполнения заданий.