Непараметрические алгоритмы классификации множеств случайных величин

Пусть имеется обучающая выборка , составленная из множеств независимых наблюдений признаков классифицируемых объектов и «указаний учителя» об их принадлежности к одному, например, из двух классов .

Законы распределения неизвестны и характеризуются наблюдениями .

Подобные условия встречаются при исследовании объектов, параметры которых многократно измеряются в течении короткого интервала времени; при оценивании качества партии изделий по случайно выбранному их ограниченному набору; при обработке больших массивов статистических данных.

Идея предлагаемого подхода заключается в замене операций над множествами на менее трудоемкие и хорошо разработанные операции над функциями либо над их параметрами, используя методы локальной аппроксимации.

С этих позиций непараметрическое решающее правило классификации в двуальтернативной задаче распознавания образов представляется в виде

где уравнение разделяющей поверхности

(4.45)

восстанавливается по обучающей выборке объёма , где - оценки функций распределения;

- «указания учителя».

В качестве критерия близости между оценками функций распределения и используется, например, ядерная мера

Предложенная мера близости основана на использовании критерия Смирнова для проверки гипотезы с уровнем доверия

, ,

где , - соответственно количество элементов множества и .

Превышение порогового значения критерия Смирнова означает нарушение гипотезы .

Выбор оптимальных осуществляется в режиме «скользящего экзамена» из условия минимума эмпирической ошибки распознавания образов

,

где индикаторная функция

Литература

1. Лапко, А.В., Ченцов С.В., Крохов С.И., Фельдман Л.А. Обучающиеся системы обработки информации и принятия решений. - Новосибирск: Наука, 1996 - 296с.

2. Лапко А.В., Ченцов С.В. Многоуровневые системы принятия решений. - Новосибирск: Наука, 1997. – 190 с.

3. Лапко А.В., Ченцов С.В. Непараметрические системы обработки информации: Учебное пособие. – М.: Наука, 2000. – 350 с.

4. Лапко А.В., Лапко В.А., Соколов М.И., Ченцов С.В. Непараметрические системы классификации. - Новосибирск: Наука, 2000. – 240 с.

5. Лапко В.А., Соколов М.И. Непараметрические методы обработки данных: Учеб. пособие. – Красноярск: ИПЦ КГТУ, 2001. – 116 с.

6. Лапко В.А. Непараметрические коллективы решающих правил. - Новосибирск: Наука, 2002 – 168 с.

7. Лапко В.А. Компьютерное моделирование систем и статистический анализ данных: Методические указания для выполнения лабораторных работ. – Красноярск: ИПУ КГТУ, 2006. – 48 с.

8. Лапко В.А. Теория принятия решений. Непараметрические модели восстановления стохастических зависимостей и распознавания образов: Методические указания для выполнения лабораторных работ. – Красноярск: ИПУ КГТУ, 2006. – 27 с.

9. Лапко А.В., Лапко В.А. Непараметрические системы обработки неоднородной информации. – Новосибирск: Наука, 2007. – 174 с.

Дополнительная литература

1. Шибзухов З.М. Конструктивные методы обучения нейронных сетей. - М.: Наука, 2006. - 159 с.

2. Журавлев Ю. И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения. – М.: Фазис, 2005. - 159 с.

3. Лбов Г.С., Бериков В.Б. Устойчивость решающих функций в задачах распознавания образов и анализа разнотипной информации. - Новосибирск: Изд-во ИМ СО РАН, 2005. - 220 с.

4. Горелик А.Л. Методы распознавания. Учебное пособие. - М.: Высш. шк., 2004.- 274 с.

5. Рубан А.И. Методы анализа данных: Учебное пособие, 2–е изд. – Красноярск: ИПЦ КГТУ, 2004 – 319 с.

6. Головченко В.Б. Комбинирование моделей неопределённости. – Новосибирск: Наука, 2002. – 190с.

7. Загоруйко Н.Г. Прикладные методы анализа данных и знаний. – Новосибирск: Изд-во Ин-та математики, 1999. – 270с.

8. Журавлёв, Ю.И. Избранные научные труды / Ю.И. Журавлёв. – М.: Издательство Магистр, 1998. – 420 с.

9. Растригин Л.А. Адаптация сложных систем.- Рига: Зинатне, 1982. - 375 с.

10. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. - М.: наука, 1974. - 414 с.

Контрольные вопросы

1. Привести постановки задач применения алгоритмов распознавания образов при исследования медико-биологических, экологических и технических систем.

2. Записать критерии оптимальности байесовских алгоритмов распознавания образов.

3. Получить непараметрические оценки байесовских решающих функций, используя оценку типа Розенблатта-Парзена.

4. Получить непараметрические оценки решающих функций, соответствующие критериям максимального правдоподобия и максимума апостериорной вероятности, используя интегральную либо регрессионную оценку плотности вероятности.

5. Как осуществляется оптимизация непараметрической решающей функции?

6. Основная идея метода дихотомии в многоальтернативной задаче распознавания образов.

7. Методика построения непараметрических алгоритмов распознавания образов коллективного типа.

8. Выбор опорных точек при построении непараметрических алгоритмов распознавания образов коллективного типа.

9. Принцип формирования непараметрического решающего правила, основанного на оценках плотностей вероятности признаков классифицируемых объектов.

10. Методика оптимизации непараметрических решающих правил в задаче распознавания образов, основанных на оценках плотностей вероятности.

11. Синтез частотного алгоритма распознавания образов в пространстве независимых и зависимых дискретных признаков.

12. Построение многоуровневых алгоритмов распознавания образов.

13. Условия применения многоуровневых алгоритмов распознавания образов.

14. Преимущества многоуровневых алгоритмов распознавания образов по сравнению с традиционными методами классификации, основанными на прямой обработке информации.

15. Методика дополнительного учёта взаимосвязи между признаками классифицируемых объектов при синтезе непараметрических алгоритмов распознавания образов.

16. Условия применения нелинейных непараметрических коллективов решающих правил в задачах распознавания образов и их преимущества.

17. Методика построения гибридных алгоритмов распознавания образов при различных уровнях априорной информации и особенностях обучающей выборки.

18. Синтез коллектива непараметрических алгоритмов распознавания образов, основанных на рандомизированном методе их оптимизации.

19. Синтез статистических алгоритмов распознавания образов в условиях неоднородных обучающих выборок.

20. Методика построения непараметрических алгоритмов классификации множеств случайных величин.