Линейная парная регрессия и метод наименьших квадратов

Парная регрессия представляет собой уравнение, описывающее связь между двумя переменными: зависимой переменной и независимой переменной . Иногда переменную называют результатом, а переменную – фактором: , при этом функция может быть как линейной, так и нелинейной. В данной главе более детально рассмотрим линейную парную регрессию. Предположим, что у нас есть набор значений двух переменных Соответствующие пары можно изобразить на одной плоскости:

Параметр соответствует отрезку прямой, отсекаемому линией регрессии при пересечении с осью ординат, параметр b определяет наклон линии регрессии к оси абсцисс. При этом параметр a традиционно принято называть свободным членом регрессии, а параметр – коэффициентом регрессии, который показывает, на сколько единиц в среднем изменится значение при изменении на одну единицу.

Допустим, что нашей задачей является подбор функции из параметрического семейства функций наилучшим образом описывающая зависимость от В качестве меры отклонения функции от исходных наблюдений можно использовать:

- сумму квадратов отклонений;

- сумму модулей отклонений;

- другие меры отклонений.

Согласно методу наименьших квадратов (МНК) неизвестные параметры модели выбираются таким образом, чтобы сумма квадратов отклонений эмпирических значений от модельных была минимальной:

Среди преимуществ метода наименьших квадратов следует особенно отметить лёгкость вычислительной процедуры и хорошие по статистическим свойствам оценки. Данные факты объясняют широкое применение данного метода в статистическом анализе. Из недостатков наиболее существенным является – чувствительность к выбросам. Согласно необходимому условию экстремума функции нескольких переменных, необходимо найти частные производные по этим переменным и приравнять их к нулю. После ряда преобразований получим:

Разделим обе части полученной выше системы на , получим систему нормальных уравнений:

Решив полученную систему относительно неизвестных параметров , получим:

Таким образом, остатки, оцененные таким образом, можно представить следующим образом:

Свойства оценок МНК определяются предположениями относительно свойств случайного возмущения в модели наблюдений. Эти предположения обычно называются условиями Гаусса – Маркова.

Условия Гаусса-Маркова:

1. – условие, гарантирующее несмещённость оценок МНК.

2. – условие гомоскедастичности, его нарушение приводит к проблеме гетероскедастичности.

3. – условие отсутствия автокорреляции предполагает отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Если данное условие не выполняется, то в модели возникает проблема автокорреляции случайных возмущений.

4. для всех условие независимости случайного возмущения и объясняющей переменной. Значение любой независимой переменной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии.

Достаточно часто накладывают ещё одно условие на остатки модели, но данное условие не является условием Гаусса-Маркова: , оно очень полезно для проверки многих гипотез.

Свойства оценок, полученных с помощью МНК:

1. Линейность оценок – оценки параметров и представляют собой линейные комбинации наблюдаемых значений объясняемой переменной .

2. Несмещённость оценок:

3. Состоятельность оценок:

4. Эффективность – данное свойство означает, что оценка имеет минимальную дисперсию в заданном классе оценок:

Теорема Гаусса-Маркова: если выполнены условия Гаусса-Маркова, тогда оценки , полученные с помощью метода наименьших квадратов, являются линейными, несмещёнными, эффективными и состоятельными оценками.

Финансовой называется операция, начальное и конечное состояние которой имеют денежную оценку, и, цель проведения которой заключается в максимизации дохода в виде разности между конечной и начальной оценками. При этом практически все финансовые операции проходят в условиях неопределенности и, следовательно, их результат невозможно предсказать заранее. Поэтому при проведении финансовой операции возможно получение, как прибыли, так и убытка.

Поэтому, задача анализа доходности и риска финансовой операций заключается в оценке финансовой операции с точки зрения ее доходности и риска. Наиболее распространенным способом оценки финансовой операций является представление дохода операции как случайной величины и оценка риска операции как среднего квадратического отклонения этого случайного дохода.

Например, если доход от проведения некоторой финансовой операции есть случайная величина , то средний ожидаемый доход – это математическое ожидание случайной величины :

,

Где есть вероятность получить доход .

Т. к. среднеквадратическое отклонение

, где

– это мера разбросанности возможных значений дохода вокруг среднего ожидаемого дохода, то его можно считать количественной мерой риска операции и обозначить как :

.

Допустим, что по четырем финансовым операциям , , , ряды распределения доходов и вероятностей получения этих доходов имеют вид:

Тогда, т. к. , то средний ожидаемый доход каждой операции имеет вид:

,

,

,

.

Т. к. , то риски каждой финансовой операции имеют вид:

,	,
,
,	,
,
,	,
,
,	,
.

Нанесем средние ожидаемые доходы и риски каждой операции на плоскость (рис. 14.).

Рисунок 14 – Средние ожидаемые доходы и риски

Тогда, чем правее точка на графике, тем более доходная операция, чем точка выше – тем более она рисковая.

Для определения опе­рации опти­мальной по Парето, необходимо на графике найти точку, которую не доминирует никакая другая точка.

Так как точка доминирует точку , если и , то из графика на рисунке 14. видно, что 3-ая операция доминирует 2-ую операцию, а 1-ая операция доминирует 3-ую и 2-ую операции. Но 1-ая и 4-ая операции несравнимы, т. к. доходность 4-ой операции больше, но и риск ее тоже больше, чем доходность и риск 1-ой операции, следовательно, 1-я операция является оптимальной по Парето.

Для нахождения лучшей операции можно применить взвешивающую формулу, которая для пар дает одно число, по которому можно определить лучшую операцию. Допустим, что взвешивающей формулой будет , тогда:

, ,

, .

Отсюда видно, что 1-ая финансовая операция – лучшая, а 2-ая – худшая.