Модель регрессии 3 страница

, (5.49)

имеющая F-распределение с степенями свободы и степенями свободы. Разность показывает, как влияют на переменную y дополнительные m-m₁ параметров регрессии в совокупности по отношению к той неопределенности, которая заложена в регрессии с m объясняющими переменными. Чем больше разность, тем больше влияние дополнительных параметров регрессии.

По заданному уровню значимости и известным степеням свободы и f₂ находится критическое значение по таблицам распределения Фишера. Критической областью (область отклонения гипотезы Н₀) будут все значения F, удовлетворяющие неравенству . В этом случае следует считать, что дополнительные параметры регрессии оказывают существенное влияние на линию регрессии и ими пренебрегать нельзя.

В противном случае () гипотеза Н₀ не отвергается и параметрами можно пренебречь. Значимость ошибки (вероятность отвергнуть гипотезу Н₀ в то время, как она верна) составляет или в 100 случаях из 100 будет принята гипотеза Н₁, в то время как верна гипотеза Н₀.

Возможна такая ситуация, когда необходимо проверить равенство коэффициентов регрессии в регрессионной модели

,

построенной по выборке . В этом случае выдвигается относительно параметров генеральной совокупности гипотеза Н₀: , против альтернативной гипотезы Н₁: .В данном случае гипотеза Н₁ будет двусторонней гипотезой. Однако, если известны соотношения, что или , гипотеза Н₁ может быть трансформирована в гипотезу Н₁₁: для построения односторонней критической области по заданному уровню значимости, или в гипотезу Н₁₂: для построения односторонней критической области в зависимости от дополнительной информации относительно параметров .

Для проверки гипотезы Н₀ используется статистика [9, стр. 208]

(5.50)

с степенями свободы.

Оценки дисперсий оценок параметров регрессии имеют вид

где – элементы обратной матрицы .

По заданному уровню значимости и числу степеней свободы определяется (в зависимости от типа гипотезы Н₁) критическое значение по таблицам t – распределения. Критическая область (область значений t) определяется неравенством , т.е. если выполняется это неравенство то гипотеза Н₀ отвергается.

Следующий интересный случай, который часто встречается на практике, заключается в следующем.

Исследуются два процесса. Для первого процесса производится выборка объема n₁. Для второго – n₂. Результаты эксперимента и взаимно независимы. По результатам эксперимента строятся две линии регрессии

, ,

отражающие одно и то же физическое явление.

Следует дать заключение - применима ли линия регрессии для описания второго процесса и применима ли линия регрессии для описания первого процесса. По всей видимости, эти линии регрессии и взаимозаменяемы, если их параметры регрессии и соответствующих генеральных совокупностей незначимо отличаются друг от друга. Таким образом, возникает задача проверки нулевой гипотезы Н₀: , против альтернативной гипотезы Н₁: , .

Альтернативная гипотеза Н₁ может быть построена как для двусторонней критической области, так и для односторонней критической области.

Задача проверки гипотезы Н₀ разбивается на несколько этапов.

1. Выдвигается гипотеза Н₀₁: , т.е. остаточные дисперсии двух исследуемых процессов равны.

Альтернативная гипотеза Н₁₁: .

Для проверки гипотезы Н₀₁ используется статистика

, (5.51)

имеющая F – распределение с и степенями свободы. Причем предполагается, что . Если , используется статистика

. . (5.52)

По заданному уровню и степеням свободы и f₂ определяется критическое значение . Если , гипотеза Н₀ отклоняется. Ошибка отклонить правильную гипотезу Н₀ будет в 100 случаях из 100 серий испытаний.

Если гипотеза Н₀ не отклоняется, вычисляется сводная оценка остаточной дисперсии

. (5.53)

2. Второй этап вычислений проводится, если принята гипотеза Н₀, и проверяется гипотеза : , против альтернативной двусторонней гипотезы :

Для проверки гипотезы используется статистика

(5.54)

имеющая t – распределение с f=n₁+n₂-4 степенями свободы.

Оценки дисперсии вычисляются по формуле (5.33).

По заданному уровню значимости и числу степеней свободы f из таблиц t – распределения находится критическое значение порога .

Если , гипотеза Н₀ отвергается и можно утверждать, что разница между и значима.

Если , гипотеза Н₀ принимается и можно утверждать, что расхождение между и незначительно и существующее расхождение определяется шумами измерения. Если хотя бы для одного параметра гипотеза Н₀ отвергается, считается, что генеральная совокупность с параметром для первого процесса не идентична генеральной совокупности с для второго процесса.

Положим, все гипотезы Н₀₁: приняты. Тогда вычисляется оценка коэффициентов регрессии, как среднее взвешенное

(5.55)

В качестве уравнения регрессии по х можно принять величину

, (5.56)

где - средневзвешенная оценка параметра регрессии.

Предложенная методика может быть применена для уточнения параметров регрессии по серии выборок ,..., из одной и той же генеральной совокупности. Серии имеют различные количества наблюдений из-за потери части наблюдений.

Пример 5.1.

П 1. Оценка параметров регрессии

Рассмотрим модель применения регрессионного анализа к восстановлению логистической кривой по экспериментальным данным при , . Логистическая кривая отображена на рисунке П 1 сплошной кривой. Шум имитировался псевдослучайной независимой последовательностью, распределенной по нормальному закону с математическим ожиданием, равным нулю, и средне квадратичным отклонением, равным 0.08. Выбрано 20 точек отсчета и значения складывались со значениями шума . В результате образовались значения, отображенные на рисунке П 1 точками. Значения результатов эксперимента для полученной реализации приведены в таблице П 5.1.

Таблица П 5.1

x	y(x)	x	y(x)	x	y(x)	x	y(x)
	-0.03072		0.109802		0.590109		0.840467
	-0.02847		0.081143		0.879917		0.995829
	0.052456		0.206593		0.890103		0.866193
	0.164612		0.213295		0.815493		0.982444
	0.159817		0.546995		0.830255		1.043403

Положение точек на рисунке П1 зависит от значений реализации шума и может изменяться от эксперимента к эксперименту.

Модель регрессии:

.

В качестве примера выберем функции в виде степенного

ряда[1], наиболее часто применяемого на практике, и остановимся на m=5:

.

В результате регрессионная модель примет вид

.

Коэффициенты регрессии определяются по критерию минимума среднеквадратичной ошибки.

Матрица имеет размерность . Значения функции вычислены в дискретных точках , 0.6

В результате решения системы нормальных уравнений имеем оценки коэффициентов регрессии , которые приведены в таблице П 5.2:

Таблица П 5.2

-0.35296	0.650084	-0.34293	0.077623	-0.007172	0.000231

По найденным коэффициентам регрессии на рисунке П 2 нанесены точки, вычисленные по кривой регрессии . На этом же рисунке для сравнения изображена кривая f(x).

П 2. Анализ ошибок

2.1 Выборочная дисперсия вычисляется по формуле (5.17) и равна =DY = 0.159084.

2.2 Оценка дисперсии шума (остаточная дисперсия) производится по формуле (5.22) и равна = 0.0058723.

2.2 Дисперсия , обусловленная регрессией, вычисляется по формуле (5.22) и равна =DY1 = 0.153212.

2.3 Коэффициент детерминации вычисляется по формуле (5.23) и равен Byx = 0.963088.

2.4 Мера неопределённости, содержащаяся в остаточном шуме, вычисляется по формуле и равна Uyx = 0.0369119.

2.5 Запишем ковариационную матрицу , определяющую статистическую связь между параметрами , и вычисленную по формуле (5.32):

2.6 Оценка среднеквадратического отклонения оцениваемого параметра равна корню квадратному от диагональных элементов матрицы , (Таблица П 5.3):

Таблица П 5.3

0.205901	0.301040	0.139341	0.027261	0.002361	0.000074

П 3. Значимость коэффициента детерминации

Проверим гипотезу о том, что коэффициенты регрессии не оказывают влияние на кривую . Значение статистики определяется по формуле(5.43) и равно F= 73.05.

Положим уровень значимости 0.05. Для данного уровня значимости по таблицам распределения Фишера с числом степеней свободы =5 и =14 определим критическое значение .

Из сравнения статистики F и критического значения гипотезу следует отвергнуть, т. е. один или несколько параметров оказывают существенное влияние на функцию .

П 4. Значимость оценок параметров регрессии

Произведем проверку значимости каждого коэффициента регрессии по уровню значимости =0.05. Если коэффициент не влияет на функцию , то можно принять его значение равным нулю. Поэтому проверяется гипотеза : =0, против двусторонней альтернативой гипотезы : ¹0. Считаем, что распределено по закону Стьюдента с числом степеней свободы, равной n-m-1=14. По таблицам t-распределения определим критическое значение = 1.76131

Статистика для проверки гипотезы имеет вид ,

где - дисперсия, равная диагональным элементам матрицы S.

Ниже приведена таблица П 5.4 значений , , .

Таблица П 5.4

	-0.35296	0.650084	-0.34293	0.07762	-0.007172	0.000231
	0.205901	0.30104	0.13934	0.02726	0.002361	0.000074
	-1.71422	2.15946	-2.46113	2.84742	-3.03727	3.10137

Как видно из таблицы, для всех значений соблюдается соотношение , то есть гипотеза для этих значений отвергается. Так как , параметр регрессии не оказывает существенного влияния на кривую регрессии и её можно исключить.

На рисунке П 3 изображена кривая y(x) с исключенным коэффициентом . Как видно из этого рисунка, аппроксимация логистической кривой степенным полиномом y(x) дает не очень хорошее приближение. В то же время кривая регрессии y(x) без учета значимости коэффициентов регрессии позволило построить кривую y(x), изображенную на рисунке П4.

Как видно, эта кривая «ближе» к кривой f(x). Ожидать совпадения кривой f(x) и полинома y(x) не приходится, т.к. даже в отсутствии шума среднеквадратическое приближение полинома y(x) к логистической кривой имеет вид, изображенный на рисунке П 5. Поэтому необходимо более аккуратно подходить к выбору функции .

Пример 5.2.

Рассмотрим сумму двух гармонических сигналов

(П 1)

с параметрами , , 5, 8, , , заданных на интервале наблюдения Т=2. Все величины представлены в относительных единицах. На рисунке П 6 представлена реализация сигнала .

Предположим, амплитуды и фазы составляющих сигнала неизвестны, измерения значений сигнала производятся с интервалом 0.03125 на фоне нормального не коррелированного шума с дисперсией, равной 1. Число точек отсчета 64.