Непараметрический алгоритм классификации, основанный на частотном методе распознавания образов

Второй подход анализа дискретных признаков основан на использовании частотного метода и алгоритмов непараметрической статистики. Пусть имеется выборка статистически независимых наблюдений дискретной случайной величины , где - «указания учителя» о принадлежности ситуации к одному из классов.

Рассмотрим применение непараметрического алгоритма на примере двуальтернативной задачи распознавания образов в условиях, когда компоненты - бинарные переменные. Для простоты восприятия разобъём исходную обучающую выборку на две подвыборки, соответствующих классам

, .

Идея данного подхода состоит в преобразовании на основе частотного метода дискретных случайных величин в квазинепрерывные и использовании непараметрических оценок плотностей вероятности для построения решающего праввила (4.20).

Сформируем обучающую выборку

.

Если компоненты вектора независимы, то частота встречаемости ситуации для элементов первого класса определяется в виде

,

где

;

;

- единичная функция типа (4.19).

Аналогично определяем частоту встречаемости признаков ситуации для элементов второго класса

;

;

- единичная функция типа (4.19).

Теперь полученную выборку можно использовать для построения решающих правил, например типа (4.12). Для этого необходимо по выборке оценить плотности вероятности для первого и второго классов

, (4.21)

, (4.22)

где – множество номеров точек, принадлежащих к -му классу .

При этом решающее правило будет иметь вид

.

Оптимизация решающего правила по коэффициентам размытости осуществляется из минимума эмпирической ошибки распознавания образов (4.5) по выборке методом «скользящего экзамена».