Обучение нейросетей-классификаторов

Обучаемая нейросеть может иметь любое количество нейронов, которое, однако, не должно быть меньше числа классов в задаче, решению которой обучается нейросеть. Обычно количество нейронов устанавливается равным числу входных сигналов в задаче или меньшим. Как правило, в полносвязных нейросетях, применяемых нами, все нейроны являются входными (каждый из них принимает один, часть или все входные сигналы). Выходными считаются последние нейроны, причем их число в сети-классификаторе равно числу классов в задаче. После работы сети с одним примером выходные сигналы снимаются с каждого выходного нейрона отдельно.

При решении классификационной задачи нужно интерпретировать ответы выходных нейронов, так как окончательным ответом является класс, к которому относится пример. Интерпретация производится следующим образом: так как число выходных нейронов совпадает с количеством классов в решаемой задаче, каждый выходной нейрон отвечает за класс с соответствующим номером. Номер выходного нейрона, выдавшего наибольший выходной сигнал, и есть номер класса, к которому, по мнению нейросети, относится данный пример. Однако при обучении необходимо не только установить факт совпадения или несовпадения ответов, но и вычислить оценку, показывающую, насколько вычисленный ответ отличается от требуемого. Это достигается вычислением разности между двумя максимальными выходными сигналами, выданными выходными нейронами. При этом выявляется не только выходной нейрон, выдавший максимальный сигнал, но и выходной нейрон, выдавший второй по величине сигнал. Если число выходных нейронов больше двух (n-арная классификация), ответы остальных нейронов не имеют значения. Если разность не превышает заранее установленного значения (уровня надежности), оценка приравнивается к нулю, и пример считается распознанным абсолютно правильно, и коррекции синаптических весов на данном примере не требуется.

Ситуацию распознавания примера в задачах классификации можно представить в виде некоторых действий, производящихся в пространстве, размерность которого равна числу классов в задаче. В случае бинарной классификации рабочее пространство представляет собой квадратный участок плоскости (двухмерного пространства), минимальные и максимальные координаты которого ограничены значениями -1 и 1.

Рассмотрим рис. 8.5. Значения вертикальной координатной оси соответствуют выходным сигналам 1-го выходного нейрона (отвечающего за 1-й класс), значения горизонтальной координатной оси - выходным сигналам второго выходного нейрона (2-й класс). Пространство разделяется на две части диагональной линией. В текущий момент времени параметры очередного примера подаются на входные нейроны нейросети. После всех преобразований ответ примера проецируется в определенную точку пространства и в зависимости от значений, снятых с выходных нейронов, попадает в одну из областей, разделенных диагональю. Область каждого класса в пространстве соответствует как можно большим значениям (1) "своей" оси координат и как можно меньшим значением (-1) другой оси координат.

Рис. 8.5. Схема проекции обучающих примеров в двухмерном пространстве при бинарной классификации. 1- пример 1-го класса, попавший в зону “надежности”; 2 - пример 1-го класса, распознанный правильно, но с недостаточным уровнем надежности

Таким образом, чем больше будет значение, снятое с какого-либо выходного нейрона, тем больше будет значение координаты точки по оси, соответствующей этому нейрону, и наоборот. Ситуация, когда значения, снятые с обоих нейронов, равны, приведет к попаданию точки на диагональ (независимо от значений чисел). Пунктирной линией отсечены зоны “надежности”, находящиеся у углов квадрата, соответствующих классам задачи. Чем больше расстояния между линиями, тем больше заданный уровень надежности и, соответственно, требования к сети. Пример, ответ которого “попал” в свою область и, к тому же, в зону надежности, считается распознанным абсолютно верно.

В процессе обучения ответы примеров, подаваемых сети многократно, постепенно "разводятся" как можно дальше от диагонали и как можно ближе к углам, каждый из которых соответствует определенному классу. После того, как все примеры попали в зоны “надежности”, соответствующие их классам, сеть считается обученной полностью. Постепенно повышая уровень надежности, можно добиваться большей точности ответов сети и лучшего распознавания примеров обучающей выборки.

В приведенной схеме число входных нейронов точно соответствовало количеству обучающих параметров (размерности вектора входных сигналов). Однако в наших экспертных системах мы использовали более гибкую и одновременно более мощную подачу входных сигналов на вход нейросети. Суть ее заключается в том, что вектор входных сигналов перед подачей на сеть преобразуется умножением на адаптивную матрицу приема сигналов, содержащую подстраиваемые, как и веса синапсов, значения. Кроме повышения скорости и качества обучения, это дает возможность задавать число нейронов в сети произвольным, независимым от числа обучающих параметров. Сети с небольшим числом нейронов, естественно, занимают меньше места на диске и в памяти компьютера, быстрее загружаются с диска для выдачи ответа (иногда для тестирования примеров приходится каждый раз загружать сети с диска, особенно, если сетей много, а все они одновременно не помещаются в оперативной памяти).