Регрессионная оценка плотности вероятности

Вычислительная эффективность непараметрических алгоритмов во многом зависит от объёма n статистических данных и снижается по мере его увеличения, что проявляется в росте временных затрат обработки информации. Поэтому возникает задача уменьшения объёма выборки, таким образом, чтобы не повлиять на точность оценки плотности вероятности.

Пусть дана выборка статистически независимых наблюдений случайной величины , распределённой с неизвестным законом.

Методика формирования регрессионной оценки плотности вероятности:

1. Разобьём область определения на непересекающихся интервалов длинной таким образом, чтобы в каждый интервал попало минимум 2-3 наблюдения.

Пусть количество наблюдений в каждом -м интервале.

2. Находим оценки вероятностей попадания наблюдений в каждый -й интервал по формуле:

.

3. Предполагаем, что в каждом интервале имеет место равномерный закон распределения наблюдений. Исходя из этого, находим высоты полученных прямоугольников. Площади прямоугольников соответствуют оценкам вероятности попадания случайной величины в j -й интервал. Так как площадь , то высота прямоугольников (оценка плотности вероятности для -го интервала) .

4. На основе полученной информации сформируем статистическую выборку (см. рис. 2.27), где - центры введённых интервалов. Из исходной информации видно, что задача оценивания плотности вероятности переходит в проблему восстановления стохастических зависимостей (рис. 2.28).

Рис. 2.27. Графическая интерпретация выборки для построения регрессионной оценки плотности вероятности

Для восстановления зависимости воспользуемся схемой

Рис. 2.28. Объект исследования

При этом оптимальное решающее правило в смысле минимума среднеквадратического критерия является условным математическим ожиданием

.

Плотность вероятности имеет равномерный закон распределения, т.к. являются центрами равных непересекающихся интервалов.

Исходя из свойства плотности вероятности , функция (рис. 2.29).

Рис. 2.29. Вид плотности распределения вероятностей для величины .

Подставим в оценку типа Розенблата-Парзена, получим:

,

где - выражение математического ожидания с ядерной плотностью, т.к. обладает всеми свойствами плотности вероятности (положительная функция и площадь равна единице). Так как ядерная функция является симметричной и строится с центром в ситуации , то

.

Тогда

.

В итоге после сокращений получаем формулу регрессионной оценки плотности вероятности

(2.12)

Проверим, обладает оценка (2.12) основным свойством плотности вероятности,

.

Учитывая, что площадь ядерной функции равна 1, имеем

.

Если - многомерная случайная величина, то регрессионная оценка плотности вероятности имеет вид:

. (2.13)