Машина Больцмана

Это модификация сети Хопфилда, в которой используется так называемое стохастическое функционирование, в результате чего сеть приобретает возможность в большем количестве случаев достигать глобального экстремума энергетической функции находить правильное решение. Машина Больцмана и сеть Хопфилда имеют следующие общие характеристики:

предназначена для решения задач ассоциативной памяти;

однослойная, рекуррентная;

состояния принимают значения ±1;

весовая матрица межнейронных связей симметричная;

нейроны не имеют обратных связей к самим себе, т.е. значения диагональных элементов весовой матрицы равны нулю;

нейроны обновляют свое состояние по одному в единицу времени и выбираются случайно.

Они также имеют важное отличие: алгоритм обновления состояний нейронов машины Больцмана является вероятностным, а не детерминированным, как в сети Хопфилда, а сами нейроны называются стохастическими.

Стохастический нейрон j изменяет свое состояние s_j в зависимости от значения его внутреннего выхода v_j с вероятностью P (v_j). Тогда состояние j -го нейрона определяется следующим образом:

Вероятность изменения состояния нейрона определяется с помощью функции

,

где T – параметр, определяющий характер функционирования нейрона. Если T ® 0, то функция становится пороговой и правило активации стохастического нейрона сводится к правилу функционирования нейрона сети Хопфилда. Чем больше T, тем сильнее вероятностный характер функционирования стохастического нейрона. При T ® ¥ вероятность смены состояния составляет 1/2.

Функционирование нейронов можно объяснить и в терминах изменения энергии сети D E.

Вероятность смены состояния j -го нейрона на некотором шаге процесса функционирования сети от состояния s_j к состоянию – s_j равна ,

где D E_j – изменение энергии в результате смены состояния.

Алгоритм функционирования машины Больцмана:

1. Вычисление весовых коэффициентов в соответствии с правилом Хебба;

2. Инициализация состояний s_j значениями тестового вектора;

3. Выбор начального значения параметра ;

4. Обновление состояний нейронов сети по (3);

5. Возвращение к этапу 4. После L итераций (количество итераций определяют эмпирически) уменьшение параметра T;

6. Возвращение к этапу 4 до тех пор, пока не будет найдено стабильное состояние, соответствующее минимуму энергетической функции.

Уменьшение значения параметра T предполагается медленным. Если это требование не соблюдать, то сеть игнорирует малые энергетические изменения и может не достичь глобального. Сходимость алгоритма машины Больцмана слишком медленна. На практике используют процедуру с ограничением по времени:

определяют T ₀;

правило изменения T определяют рекуррентно как T_i = a T_{i –1}, где i = 1, 2, …, и 0.8 < a < 0.99;

определяют конечное значение T_k.