Алгоритмы обучения. Методы Хебба

Различают алгоритмы обучения с учителем и без учителя.

Алгоритмы обучения с учителем

Такой алгоритм, при котором известны входные и выходные векторы, то есть известны условия задачи и решение. В процессе обучения изменяются параметры сети так, чтобы на выходе получилось результаты, которые нам уже известны. При обучении с учителем задаются множества пар векторов {X,Y}, которое называется обучающим множеством.

{X} = {x1, x2, …, xN} – множество образов

{Y} = {y1, y2, …, yN} – множество допустимых результатов

N – количество элементов в образе.

При обучении изменяются параметры сети таким образом, что сеть научится правильно отображать множество X на множество Y. Количество элементов в обучающем множестве строго не регламентировано, но должно быть достаточным для обучения сети.

Обучение без учителя

Процесс обучения заключается в подстраивании весовых коэффициентах, в некоторых сетях в процессе обучения изменяется и структура нейросети и количество нейронов (сети с

самоорганизацией). Изменения весов могут производиться только на основании информации о состоянии нейронов и уже известных весов. На этом алгоритме по аналогии с принципом самоорганизации нейронов в живых системах построены методы Хебба.

Метод Хебба

Хебб заметил, что синоптическое соединение двух нейронов усиливается, если оба нейрона возбуждены. Для изменения веса он предложил следующую формулу:

Wij(t+1)=Wij(t)+yi[n-1] * yj[n]

· Si – уравнение возбуждения i-ого нейрона;

· Sj – уравнение возбуждения j-ого нейрона;

· Wij(t) и Wij(t+1) весовой коэффициент синапса, соединяющего эти нейроны, на итерациях t и t+1 соответственно;

Этот метод позволяет ответить на сложный вопрос: "Как происходит обучение без учителя?". В методе Хебба обучение является локальным действием, охватывающим только два нейрона. Здесь не нужна система обратных связей.

Сигнальный метод Хебба

В данном методе изменение веса проводится по следующей формуле:

Wij(t+1)=Wij(t)+a *yi[n-1] * yj[n]

· yi[n-1] выходное значение нейрона i слоя n-1;

· yj[n] выходное значение нейрона j слоя n;

· Wij(t) и Wij(t+1) весовой коэффициент синапса, соединяющего эти нейроны, на итерациях t и t+1 соответственно;

· a - коэффициент скорости обучения.

При обучении без учителя выполняются следующие шаги:

1) начальные значения весов инициализируются некоторыми небольшими случайными значениями;

2) на входы сети подается входной образ и сигнал о возбуждении распространяется по всем слоям, при этом для каждого нейрона рассчитывается сумма его входов и к полученной сумме применяется функция активации, получаем выходное значение

3) на основании полученных выходных значений по формулам вычисляются новые значения весовых коэффициентов

4) переходим к шагу 2 до тех пор, пока выходные значения не стабилизуются с заданной точностью. На шаге 2 попеременно показываем все входные значения.