Обучение перцептронов с помощью a- и g-систем подкрепления

Определение 2.7. Системой подкрепления нейронной сети называется любой набор правил, с помощью которых можно изменять во времени состояние памяти сети (или матрицу взаимодействия).

Определение 2.8. Положительным (отрицательным) подкреплением назы-вается такой процесс коррекции весов связей, при котором вес связи w_ij (t), начи-нающейся на выходе активного i -го элемента и оканчивающейся на входе j -го элемента, изменяется на величину Δ w_ij (t), знак которой совпадает со знаком выходного сигнала j -го нейрона (знак которой противоположен знаку выходного сигнала j -го нейрона).

Существует большое число различных систем подкрепления, большая часть из которых представляет лишь исторический интерес. Поэтому остановимся только на системе подкрепления с коррекцией ошибок, которая является основной в настоящее время.

В системе подкрепления с коррекцией ошибок прежде всего необходимо определить, является ли реакция перцептрона правильной. До тех пор, пока выходной сигнал R -элемента принимает желанное значение, величина сигнала подкрепления η равна нулю. При появлении неправильной реакции перцептрона используется подкрепление, величина и знак которого в общем случае определяется монотонно возрастающей функцией f:

(2.1)

где R^* – желаемая реакция; R – полученная реакция; f (0) = 0.

Таким образом, при появлении ошибки для коррекции весов связей используется сигнал, знак которого противоположен знаку выходного сигнала R -элемента. В связи с этим рассмотренный метод коррекции весов получил название системы с отрицательным подкреплением.

Конкретным примером системы подкрепления с коррекцией ошибок является альфа-система подкрепления. В этой системе при наличии ошибок веса всех активных связей, которые оканчиваются на R -элементе, изменяют на одинаковую величину η, а веса всех неактивных связей оставляют без изменений. Перцептроны, в которых применяется альфа-система подкрепления, называются альфа-перцептронами.

При использовании альфа-системы подкрепления сумма весов всех связей между R - и A -нейронами может возрастать (или убывать) от шага к шагу, что должно приводить к нежелательным ситуациям, когда многие связи имеют максимальные (или минимальные) веса и не могут использоваться в дальнейшем процессе обучения нейронной сети. Для устранения этого недостатка α-системы подкрепления была предложена гамма-система подкрепления, которая обладает свойством консервативности относительно суммы Σ₁ весов всех связей между нейронами, т.е. сумма Σ₁ остается постоянной в процессе обучения перцептрона. Это достигается за счет того, что при наличии ошибочной реакции перцептрона сначала веса всех активных связей изменяются на одинаковое значение η, а вслед за этим из весов всех активных и пассивных связей вычитается величина, равная отношению суммы изменения весов всех активных связей к числу всех связей. Изменение весов отдельных связей при этом определяется соотношением:

(2.2)

где Δ w_ij – в общем случае приращение веса связи между i -м A -нейроном и j -м R -нейроном, для элементарного перцептрона j = const = 1; η – величина сигнала подкрепления; N_ак – число активных связей; N – число связей, оканчивающихся на входе j -го элемента.

При такой системе коррекции весов связей выполняется равенство:

из которого и следует консервативность гамма-системы подкрепления относи-тельно суммы весов всех обучаемых связей.

Замечание 2.1. Отметим, что соотношение (2.2) в неявной форме предпо-лагает, что корректируемые веса w_ij связей достаточно далеки от своих граничных значений w_{ij min}= 0 и w_{ij max} =1, т.е.

(2.3)

Если неравенства (2.3) нарушаются, а требование консервативности относительно суммы Σ₁ весов связей остается неизменным, то соотношение (2.2) необходимо уточнить. Пусть, например, среди активных связей N_{а гр.} связей имеют граничные значения весов или и для них выполняются условия

(2.4)

Пусть также N_{а бгр.} активных связей имеют веса, близкие к граничным, для которых справедливы неравенства

(2.5)

В этом случае общая сумма S_a первоначальных изменений весов активных связей будет равна:

, (2.6)

где – граничное значение веса связи между k- м и j -м нейронами, ; – приращения веса связи, определяемое по соотношению (2.2) без учета наличия множества – знаковая функция.

Если предположить, что для всех пассивных связей выполняются соотношения (2.3), тогда из весов пассивных связей и весов активных связей, для которых не выполняется соотношение (2.4) или (2.5), вычитается величина . С учетом этих замечаний соотношение (2.2) принимает вид:

Примером еще одного общего способа обучения перцептронов является метод коррекции ошибок случайными возмущениями. Он предусматривает, как и альфа-система подкрепления, при появлении ошибок – коррекцию весов активных связей, но знак и величина коррекции для каждой связи выбирается случайно в соответствии с некоторым заданным распределением вероятностей.

Пример 2.1. Выполним обучение элементарного перцептрона с бинарными S - и A -нейронами и биполярным R -нейроном (рис. 2.3) распознаванию изображений букв Н и П (рис. 2.4 а, б) на рецепторном поле из девяти элементов (рис 2.4 в).

При этом потребуем, чтобы при предъявлении изображения буквы Н на выходе R- элемента был сигнал “–1”, при появлении второго изображения – сигнал “+1”.

а б в

Рис 2.4. Изображения букв Н и П

Зададим в таблицах 2.1 и 2.2 веса связей (), () соответственно между бинарными S - и A -нейронами и между A -нейронами и биполярным нейроном R с помощью генератора случайных чисел, генерирующего их из конечного множества {0,1; 0,2; …; 0,9}.

Таблица 2.1. Веса связей перцептрона между S - и A -элементами

	S 1	S 2	S 3	S 4	S 5	S 6	S 7	S 8	S 9
A1	0,3	0,2	0,1	0,6	0,5	0,4	0,9	0,6	0,7
A2	0,2	0,1	0,3	0,4	0,5	0,6	0,7	0,1	0,9
A3	0,3	0,5	0,1	0,6	0,5	0,4	0,9	0,4	0,7
A4	0,4	0,3	0,2	0,1	0,8	0,7	0,6	0,6	0,9
A5	0,5	0,3	0,3	0,6	0,1	0,2	0,9	0,2	0,7
A6	0,6	0,5	0,4	0,1	0,2	0,3	0,8	0,5	0,8

Таблица 2.2. Веса связей перцептрона между R - и A -элементами

	A 1	A 2	A 3	A 4	A 5	A 6
R	0,2	0,8	0,6	0,9	0,8	0,1

Подадим на вход перцептрона изображение буквы Н (рис 2.4 а). Это изображение возбуждает все S -нейроны, кроме второго и восьмого. Единичные сигналы с выходов возбужденных бинарных S -нейронов через связи, весовые коэффициенты которых заданы табл. 2.1, поступают на входы А- нейронов. Суммарный входной сигнал на входе i -го А- элемента определяется соотно-шением:

, (2.8)

где – сигнал на входе i -го А- нейрона; – сигнал на выходе j -го S -ней-рона; w_ji – вес связи между j -м S- нейроном и i -м А- элементом.

Для первого А- нейрона имеем

Аналогично вычисляются сигналы на входах остальных А- элементов. Результаты этих вычислений приведены во второй строке табл. 2.3. В третьей строке этой таблицы – результаты расчетов сигналов на входах А- элементов при предъявлении перцептрону изображения буквы П.

Таблица 2.3. Величины сигналов на входах A- элементов

Изображе-ние	Сигналы на входах A -элементов
Uвх.A 1	Uвх.A 2	Uвх.A 3	Uвх.A 41	Uвх.A 5	Uвх.A6
Буква Н	3,5	3,6	3,5	3,7	3,3	3,2
Буква П	3,2	3,2	3,4	3,2	3,6	3,5

Для упрощения расчетов положим, что пороги всех А- нейро-нов одинаковы

Если величина порога выбрана меньше 3,2, то при предъявлении любого изображения будут возбуждены все А- нейроны, а если выбрать > 3,7, то на выходах всех нейронов будут нулевые сигналы. В обоих этих случаях перцептрон не может выполнять распознавание предъявляемых изображений.

Очевидно, что для обеспечения работоспособности нейронной сети порог необходимо выбрать между 3,2 и 3,7 и таким образом, чтобы при предъявлении разных изображений возбуждались различные множества M ₁, M ₂ А- элементов, причем желательно, чтобы эти множества не пересекались, т.е.

. (2.9)

Пусть выходной сигнал А- элементов определяется соотношением

тогда условие (2.9) выполняется при = 3,5 и при предъявлении изображения буквы Н будут возбуждены элементы А ₁, А ₂, А ₃и А ₄, а при предъявлении буквы П – нейроны А ₅ и А ₆. Рассчитаем с учетом данных табл. 2.2 сигналы на входе R- нейрона при предъявлении изображений букв Н и П:

При величине порога R- элемента и предъявлении изображения буквы Н на выходе перцептрона будет сигнал “+1”, а при предъявлении второго изображения – сигнал “–1”, что не соответствует исходным требованиям к выходным сигналам нейронной сети. Используем для настройки перцептрона α-систему подкрепления при величине сигнала подкрепления η равном 0,1 и при предъявлении последовательности изображений Н, П, Н, П, … в моменты времени t ₁, t ₂, t ₃, …. Процесс адаптации весов связей между R- и A- нейронами иллюстрируется в табл. 2.4.

Таблица 2.4. Адаптация весов связей перцептрона с помощью -системы

подкрепления

Весовые коэффи-циенты и входные сигналы	Моменты времени
	0,2	0,1
	0,8	0,7		0,6		0,5
	0,6	0,5		0,4		0,3
	0,9	0,8		0,7		0,6
	0,8		0,9
	0,1		0,2		0,3		0,4	0,5	0,6	0,7
	2,5	2,1	–	1,7	–	1,4	–	–	–	–
	0,9	–	1,1	–	1,3	–	1,4	1,5	1,6	1,7

Во втором столбце таблицы при t=t₀ приведены значения исходных весов связей и величины сигналов , на входе R -элемента при предъявлении соответственно изображений букв Н и П. При первом предъявлении изображения буквы Н в момент времени t ₁ (обозначено ) в силу наличия ошибочного сигнала на выходе перцептрона корректируются веса активных связей на величину η = 0,1. Эта коррекция уменьшает суммарный входной сигнал до величины 2,1.

Пусть функционирование R -элемента описывается соотношением:

где – порог R- элемента, тогда для достижения правильной реакции R‑ элемента на изображение буквы Н необходимы две повторные коррекции весов связей . Результаты этих коррекций приведены в табл. 2.4 соответственно в пятом и седьмом столбцах при и . После момента времени , так как выполняется соотношение (2.9), из входной последовательности могут быть исключены изображения буквы Н и предъявляться только изображения буквы П. Результаты коррекции весов связей , определяющих сигнал на входе R -элемента при предъявлении изображения буквы П, приведены в последней строке таблицы. Поскольку в рассматриваемом примере коррекция входного сигнала R- элемента при предъявлении изображения буквы П осуществляется только с помощью весов двух связей, причем, после второй коррекции вес связи принимает максимальное значение и в дальнейшем возрастать не может, то процесс обучения нейронной сети правильной реакции на второе изображение более длительный и заканчивается только при .

В табл. 2.5 приведены результаты настройки элементарного перцептрона при тех же исходных данных, но с помощью γ-системы подкрепления. Во втором столбце табл. 2.5 при t=t₀ приведены исходные веса связей и величины сигналов на входе R- элемента при предъявлении изображений букв Н и П, а также сумма весов всех связей между R- и А- нейронами. Значения весов связей в третьем столбце таблицы получены после предъявления изображения буквы Н в момент времени . Так как то, используя соотношение (2.2) для расчета приращения весов активных связей, получим:

, (2.10)

а для приращений весов пассивных связей имеем:

. (2.11)

Зная приращения весов связей и используя соотношение:

нетрудно получить и численные значения, приведенные в третьем столбце табл. 2.5.

Таблица 2.5. Адаптация весов связей перцептрона с помощью -системы

подкрепления

Весовые коэффи-циенты и входные сигналы	Моменты времени
	0,2	0,1666	0,1333	0,1000	0,0800	0,0600	0,0400	0,0200	0,0000	0,0000
	0,8	0,7666	0,7333	0,7000	0,6800	0,6600	0,6400	0,6200	0,6000	0,5750
	0,6	0,5666	0,5333	0,5000	0,4800	0,4600	0,4400	0,4200	0,4000	0,3750
	0,9	0,8666	0,8333	0,8000	0,7800	0,7600	0,7400	0,7200	0,7000	0,6750
	0,8	0,8667	0,9341	1,0000	1,0000	1,0000	1,0000	1,0000	1,0000	1,0000
	0,1	0,1667	0,2341	0,3004	0,1380	0,4604	0,5404	0,6204	0,7004	0,7754
	2,5	2,3664	–	2,1000	–	1,9400	–	1,7800	–	1,6250
	0,9	–	1,1682	–	1,3800	–	1,5404	–	1,7004	1,7754
	3,4	3,3998	3,4004	3,4004	3,4000	3,4004	3,4004	3,4004	3,4004	3,4004

При предъявлении изображения буквы П в момент времени актив-ными являются только нейроны A ₅ и A ₆, поэтому N_aк = 2 и соотношение (2.2) дает следующие численные значения приращений весов связей:

(2.12)

(2.13)

Зная приращения и используя выражение:

несложно получить данные четвертого столбца табл. 2.5.

При расчете приращений весов связей при по соотношениям (2.10), (2.11) оказывается, что приращение Δ w ₅ больше, чем возможно изменение веса связи :

.

Поэтому для выполнения условия консервативности относительно суммы весов связей необходимо величину разности

использовать для изменения весов связей, которые не приняли граничных значений. Один из возможных способов использования разности – изменить каждую из таких (N – 1) активных и пассивных связей на величину:

Численные значения весов связей при приведены в пятом столбце табл. 2.5.

При расчете весов связей с помощью выражений (2.12), (2.13) для , необходимо учитывать, что изменяться может вес только одной активной связи:

(2.14)

(2.15)

(2.16)

Аналогично при имеем:

(2.17)

(2.18)

(2.19)

Используя соотношения (2.14) – (2.19), аналогичным образом рассчитываются веса связей при При число активных А- нейронов при предъявлении изображения буквы Н будет равно четырем, но в выражении (2.17) необходимо использовать N_aк =3, поскольку весовой коэффициент =0. Уменьшается до четырех и число весов связей, которые используются для обеспечения постоянства суммы весов всех изменяемых связей перцептрона.

В результате получаем:

Таким образом, при предъявлении буквы Н на входе R -элемента сигнал меньше величины порога и, следовательно, на выходе R -нейрона будет требуемый сигнал “-1”, а при предъявлении изображения буквы П на выходном нейроне появится заданный сигнал “+1”.

Как следует из соотношения (2.2) в γ-системе подкрепления при одной и той же величине сигнала подкрепления η, что и в α-системе, приращение веса корректируемой активной связи меньше, чем в α-системе. В связи с этим можно ожидать, что в общем случае процесс настройки нейронной сети вторым методом требует большего числа итераций. Однако анализ данных таблиц 2.4 и 2.5 рассматриваемого примера показывает, что число итераций при использовании g-системы подкрепления не больше, чем при применении α-сис-темы. Это объясняется следующим. Если веса всех связей далеки от граничных значений, то общая сумма изменения весов в α-системе связана только с активными связями:

.

В γ-системе аналогичная сумма может быть равна, меньше или больше , так как на каждой итерации корректируются веса всех связей:

.

С помощью первого слагаемого в этом выражении подсчитывается сумма изменения весов активных связей, а с помощью второго – сумма изменения весов пассивных связей. После преобразований имеем:

. (2.20)

Из анализа выражения (2.20) следует, что в зависимости от соотношения величин N_ак и N возможны три выражения:

(2.21)

(2.22)

. (2.23)

Из соотношений (2.21) – (2.23) можно сделать вывод, что в общем случае по числу итераций в процессе обучения элементарного перцептрона ни одна из рассматриваемых систем подкрепления не имеет заметного преимущества.