Коэффициент детерминации между объясняющими переменными

Для решения системы нормальных уравнений очень важно знать соотношения между объясняющими переменными x_k. Используя понятие коэффициента детерминации, введем меру зависимости этих переменных между собой. Обозначим через коэффициент детерминации, характеризующий степень обусловленности k- й объясняющей переменной остальными объясняющими переменными, входящими в данную регрессию.

Укажем формулу для вычисления коэффициента детерминации между объясняющими переменными. Для ее вывода исходят из матрицы дисперсий и ковариаций объясняющих переменных :

(31)

где - дисперсия объясняющей переменной x_k,а при - ковариация объясняющих переменных x_k и x_l. Умножив каждый элемент (31) на n-1, получим матрицу сумм квадратов отклонений и произведений отклонений:

(32)

где , а . Матрицу, обратную к , обозначим через :

(33)

Коэффициент детерминации между объясняющими переменными вычисляется по формуле

(34)

где и — элементы k -й строки и k -гo столбца матриц и соответственно.

Пример.

Вернемся к примеру с тремя объясняющими переменными из приложения Б. Построим следующие матрицы:

(Элементы матрицы указаны с округлением.) По (34) получим:

В силу того что величина коэффициента детерминации между переменными также заключена в пределах от 0 до 1, результаты вычислений отражают небольшую зависимость между объясняющими переменными.

Различные коэффициенты детерминации не могут быть единственным критерием оценки регрессии. Неосторожное их использование может привести к ошибочным заключениям. Например, если эмпирические данные представляют собой временной ряд или между переменными существуют не только непосредственные, но и многообразные косвенные связи, то применение коэффициента детерминации становится весьма проблематично. Поэтому далее мы еще будем обсуждать способы оценки точности подбора функции регрессии.

15. Отбор факторов при построении множественной регрессии

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Он включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии.

Включение в уравнение множественной регрессии того или иного набора факторов связано прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям.

Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.

Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.

Включение в модель факторов с высокой интеркорреляцией, может привести к нежелательным последствиям – система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми.

Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором факторов, то для нее рассчитывается показатель детерминации , который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии факторов. Влияние других, не учтенных в модели факторов, оценивается как с соответствующей остаточной дисперсией .

При дополнительном включении в регрессию фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться:

и .

Если же этого не происходит и данные показатели практически не отличаются друг от друга, то включаемый в анализ фактор не улучшает модель и практически является лишним фактором.

Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по критерию Стьюдента.

Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй – на основе матрицы показателей корреляции определяют статистики для параметров регрессии.

Коэффициенты интеркорреляции (т.е. корреляции между объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если . Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.

Пусть, например, при изучении зависимости матрица парных коэффициентов корреляции оказалась следующей:

Таблица 2.1

		0,8	0,7	0,6
	0,8		0,8	0,5
	0,7	0,8		0,2
	0,6	0,5	0,2

Очевидно, что факторы и дублируют друг друга. В анализ целесообразно включить фактор , а не , хотя корреляция с результатом слабее, чем корреляция фактора с , но зато значительно слабее межфакторная корреляция . Поэтому в данном случае в уравнение множественной регрессии включаются факторы , .

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем два фактора связаны между собой линейной зависимостью, т.е. имеет место совокупное воздействие факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой и нельзя оценить воздействие каждого фактора в отдельности.

Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:

Затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в «чистом» виде, ибо факторы коррелированы; параметры линейной регрессии теряют экономический смысл.

Оценки параметров ненадежны, обнаруживают большие стандартные ошибки и меняются с изменением объема наблюдений (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы были бы равны нулю. Так, для уравнения, включающего три объясняющих переменных

матрица коэффициентов корреляции между факторами имела бы определитель, равный единице:

.

Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны единице, то определитель такой матрицы равен нулю:

.

Чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И, наоборот, чем ближе к единице определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

Существует ряд подходов преодоления сильной межфакторной корреляции. Самый простой путь устранения мультиколлинеарности состоит в исключении из модели одного или нескольких факторов. Другой подход связан с преобразованием факторов, при котором уменьшается корреляция между ними.

Одним из путей учета внутренней корреляции факторов является переход к совмещенным уравнениям регрессии, т.е. к уравнениям, которые отражают не только влияние факторов, но и их взаимодействие. Так, если , то возможно построение следующего совмещенного уравнения:

.

Рассматриваемое уравнение включает взаимодействие первого порядка (взаимодействие двух факторов). Возможно включение в модель и взаимодействий более высокого порядка, если будет доказана их статистическая значимость по -критерию Фишера, но, как правило, взаимодействия третьего и более высоких порядков оказываются статистически незначимыми.

Отбор факторов, включаемых в регрессию, является одним из важнейших этапов практического использования методов регрессии. Подходы к отбору факторов на основе показателей корреляции могут быть разные. Они приводят построение уравнения множественной регрессии соответственно к разным методикам. В зависимости от того, какая методика построения уравнения регрессии принята, меняется алгоритм ее решения на ЭВМ.

Наиболее широкое применение получили следующие методы построения уравнения множественной регрессии:

Метод исключения – отсев факторов из полного его набора.

Метод включения – дополнительное введение фактора.

Шаговый регрессионный анализ – исключение ранее введенного фактора.

При отборе факторов также рекомендуется пользоваться следующим правилом: число включаемых факторов обычно в 6–7 раз меньше объема совокупности, по которой строится регрессия. Если это соотношение нарушено, то число степеней свободы остаточной дисперсии очень мало. Это приводит к тому, что параметры уравнения регрессии оказываются статистически незначимыми, а -критерий меньше табличного значения.

16. Мультиколлениарность

При изучении множественной линейной регрессии часто сталкива­ются с наличием линейной связи между всеми или некоторыми объяс­няющими переменными. Это явление называется мультиколлинеар­ностью. На наш взгляд, впервые на проблему мультиколлинеарности обратил внимание Р. Фриш. Мультиколлинеарность между объясня­ющими переменными вызывает технические трудности, связанные с уменьшением точности оценивания или даже с невозможностью оцен­ки влияния тех или иных переменных. Причина заключается в том, что вариации в исходных данных перестают быть независимыми и поэтому невозможно выделить воздействие каждой объясняющей переменной в отдельности на зависимую переменную. Продемонстрируем это на про­стом примере.

Пусть исследуется зависимость себестоимости от объема производст­ва и введенных в действие основных фондов. Следует ожидать, что объ­ем производства зависит также от основных фондов. Если мы обе пере­менные выберем в качестве объясняющих, то, очевидно, коэффициенты регрессии не будут точно отражать зависимость себестоимости от обоих факторов, так как основные фонды оказывают дополнительное влияние на себестоимость через объем производства.

Каковы последствия мультиколлинеарности в регрессионном и кор­реляционном анализе? Прежде чем ответить на этот вопрос, рассмотрим формы ее возникновения. Мультиколлинеарность может проявляться в функциональной (явной) и стохастической (скрытой) форме. Функцио­нальная форма мультиколлинеарности возникает, когда по крайней мере одна из объясняющих переменных связана с другими объясняю­щими переменными линейным функциональным соотношением. Линей­ный коэффициент корреляции между этими двумя переменными в та­ком случае равен + 1 или -1.

Пусть следует построить уравнение регрессии в виде . При этом известно, что переменные х₂ и х₁ связаны линейным соотношением . В этом случае можно показать, что опреде­литель матрицы (X' X) равен нулю, т.е. ранг матрицы X меньше т+1, и матрица (Х'Х) вырожденная. Это приводит к нарушению предпосылки и к тому, что система нормальных уравнений не имеет однозначного решения, если по крайней мере одна из объясняющих переменных может быть представлена в виде линейной комбинации остальных.

Однако на практике функциональная форма мультиколлинеарности встречается довольно редко. Значительно чаще мультиколлинеар­ность проявляется в стохастической форме. Она имеет место, когда по крайней мере между двумя объясняющими переменными существует более или менее сильная корреляция. Система нормальных уравнений тогда хотя и имеет решение (так как определитель матрицы Х'Х отли­чен от нуля и матрица Х'Х невырожденная), но обнаруживаются не­обычайно большие стандартные ошибки. Под стохастической формой мультиколлинеарности может скрываться функциональная из-за на­кладывающихся на нее ошибок наблюдения, измерения или специфика­ции модели, когда нелинейная регрессия рассматривается как линей­ная или учитываются не все переменные. Чем сильнее корреляция меж­ду объясняющими переменными, тем меньше определитель матрицы Х'Х. Это приводит к серьезному понижению точности оценки парамет­ров регрессии, искажению оценок дисперсии остатков, дисперсии коэф­фициентов регрессии и ковариации между ними. В этом случае говорят, что стандартная ошибка «взрывается». Следствием падения точности является ненадежность коэффициентов регрессии и отчасти неприемле­мость их использования для интерпретации как меры воздействия соот­ветствующей объясняющей переменной на зависимую переменную. Оценки коэффициентов становятся очень чувствительны к выборочным наблюдениям. Небольшое увеличение объема выборки может привести к очень сильным сдвигам в значениях оценок. Кроме того, стандарт­ные ошибки входят в формулы критериев значимости. Поэтому приме­нение самих критериев становится также ненадежным. Из сказанного ясно, что исследователь должен пытаться установить стохастическую мультиколлинеарность и по возможности устранить ее.

Причина возникновения мультиколлинеарности в экономических явлениях — многообразие объективно существующих соотношений между объясняющими переменными. Это касается регрессии, постро­енной как на результатах одновременных обследований, так и по дан­ным, полученным из временных рядов. В общем случае во временных рядах имеют дело с трендом, который, во-первых, не требует обязатель­ной для регрессии независимости отдельных наблюдений, а во-вторых, в определенной степени автоматически приводит к регрессии с другими объясняющими переменными, если они обладают такой же тенденцией. Кроме того, следует отметить, что для тех переменных, которые нахо­дятся в объективной связи, ошибка прогноза при мультиколлинеарно­сти объясняющих переменных в общем относительно мала, если на время упреждения не изменяются все прочие условия.

Теперь перейдем к вопросам установления функциональной и сто­хастической мультиколлинеарности. Функциональную мультиколли­неарность установить легко, так как получающаяся система нормаль­ных уравнений не имеет однозначного решения. Стохастическую фор­му мультиколлинеарности мы можем обнаружить с помощью следую­щих показателей.

Для измерения стохастической мультиколлинеарности можно использовать коэффициент множественной детерминации. В разделе 4.6 мы показали, что при отсутствии корреляции между объясняющими переменными, т. е. при отсутствии мультиколлинеарности, коэффици­ент множественной детерминации равен сумме соответствующих коэф­фициентов парной детерминации:

(1.1)

где у — зависимая переменная, a x_k — объясняющая, k = 1,.., т. При наличии мультиколлинеарности соотношение (9.1) не соблюдается. Поэтому в качестве меры мультиколлинеарности можно предложить разность M₁:

(1.2)

Чем меньше эта разность, тем меньше мультиколлинеарность.

Другой показатель разработан А. Е. Хорлом *, он основан на использовании для измерения мультиколлинеарности числителя фор­мулы коэффициента множественной детерминации. В предположении множественной регрессии числитель коэффициента детерминации можно представить следующим образом:

(1.3)

для j, k =1,2,..., m; i = 1,2,... n и j k. Выражение

(1.4)

является числителем формулы коэффициента парной корреляции между переменными Xj и х_к. При отсутствии коллинеарности между этими переменными он равен нулю. Поэтому в качестве общего показателя мультиколлинеарности можно использовать разность М₂:

(1.5)

Если значение M ₂ мало, то считаем, что мультиколлинеарность тоже незначительна.

В качестве показателя мультиколлинеарности можно также вос­пользоваться выражением (9.2), разделив его на В_у.₁₂... _m:

(1.6)

Чем больше M₃, тем интенсивнее мультиколлинеарность.

Известен также показатель мультиколлинеарности, являющий­ся производным от (1.5). Разделив правую и левую части выражения (1.5) на , получим

(1.7)

Величина М ₄ заключена в границах . Чем больше M ₄ приближается к 1, тем сильнее мультиколлинеарность. Показатели M₁, М₂, М₃ и М ₄ являются весьма приближенными. Их недостаток заключается в том, что неизвестны их распределения и поэтому нельзя установить их критические значения. Кроме того, с помощью этих по­казателей нельзя определить, какие из переменных «ответственны» за мультиколлинеарность. Теперь рассмотрим методы исключения или уменьшения мультиколлинеарности. Часто довольно трудно решить, какие из набора линейно связанных объясняющих переменных исклю­чить, а какие наиболее полно раскрывают природу и физическую сущ­ность явления и поэтому должны быть учтены в корреляционном и рег­рессионном анализе. В области экономики эти вопросы должны ре­шаться прежде всего исходя из логически-профессиональных сообра­жений. Итак, разработаны следующие методы уменьшения мультикол­линеарности:

а) Исключение переменных

б) Линейное преобразование переменных

в) Исключение тренда

г) Использование предварительной информации

д) Пошаговая регрессия

е) Метод главных компонент

17. Выбор формы уравнения регрессии

Как и в парной зависимости, возможны разные виды уравнений множественной регрессии линейные и нелинейные.

Ввиду четкой интерпретации параметров наиболее широко используются линейная и степенная функции. В линейной множественной регрессии параметры при x называются коэффициентами чистой регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизменном значении других факторов, закрепленных на среднем уровне.

Стандартные компьютерные программы обработки регрессионного анализа позволяют перебирать различные функции и выбрать ту из них, для которой остаточная дисперсия и ошибка аппроксимации минимальны, а коэффициент детерминации максимален.

Если исследователя не устраивает предлагаемый стандартный набор функций регрессии, то можно использовать любые другие, приводимые путем соответствующих преобразований к линейному виду.

Однако чем сложнее функция, тем менее интерпретируемы ее параметры.

При сложных полиномиальных функциях с большим числом факторов необходимо помнить, что каждый параметр преобразованной функции является средней величиной, которая должна быть подсчитана по достаточному числу наблюдений. Если число наблюдений невелико, что, как правило, имеет место в эконометрике, то увеличение числа параметров функции приведет к их статистической незначимости и соответственно потребует упрощения вида функции. Если один и тот же фактор вводится в регрессию в разных степенях, то каждая степень рассматривается как самостоятельный фактор.

В эконометрике регрессионные модели часто стоятся на основе макроуровня экономических показателей, когда ставится задача оценки влияния наиболее экономически существенных факторов на моделируемый показатель при ограниченном объеме информации. Поэтому полиномиальные модели высоких порядков используются редко.

18. Оценка параметров уравнения множественной регрессии.

Оцениваются, как и в парной регрессии, методом наименьших квадратов (МНК). При его применении строится система нормальных уравнений, решение которой и позволяет получить оценки параметров регрессии.

Так, для уравнения y=a+b1*x1+b2*x2+…+bp*xp+E система нормальных уравнений составит:

∑y=n*a+b1*∑x1+b2*∑x2+…+bp*∑xp,

∑y*x1=a*∑x1+b1*∑x1^2+b2*∑x1*x2+…+bp*∑xp*x1,

………………………………………………

∑y*xp=a*∑xp+b1*∑x1*xp+b2*∑x2*xp+…+bp*∑xp^2.

Ее решение может быть осуществлено методом определителей:

a=∆a/∆, b1=∆b1/∆, …bp=∆bp/∆.

Где ∆ - определитель системы; ∆a, ∆b1,… ∆bp - частные определители

При этом:

n ∑x1 ∑x2 …. ∑xp

∑x1 ∑x1^2 ∑x2*x1… ∑xp*x1

∆= ∑x2 ∑x1*x2 ∑x2^2 … ∑xp*x2

…………………………….

∑xp ∑x1*xp ∑x2*xp ….∑xp^2

a ∆a, ∆b1…∆bp получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

Возможен иной подход к определению параметров, когда на основе матрицы парных коэффициентов корреляции строится уравнение регрессии в стандартизованном масштабе:

ty=B1*tx1+B2*tx2+…+bp*txp+E

Где ty, tx1…txp -стандартизованные переменные: ty=(y-y cp)/σy, tx1=(xi-xi cp)/σx1,

для которых среднее значение равно нулю: ty cp = txi =0,

a ср. квадратическое отклонение равно единице: σty= σtx =1;

β - стандартизованные коэффициенты регрессии.

Применяя МНК к уравнению МР в стандартизованном масштабе, после соответствующих преобразований получим систему нормальных уравнений вида

Ryx1=B1+B2*Rx2x1+B3*Rx3x1+…+Bp*Rxpx1,

Ryx2=B1*Rx2x1+B2+B3*Rx3x2+…+Bp*Rxpx2,

…………………………………………………………..

Ryxp=B1*Rxpx1+B2*Rxpx2+B3*Rx3xp+…+Bp.

Решая ее методом определителей, найдем параметры – стандартизованные коэффициенты регрессии (В-коэффициенты). Они показывают, на сколько сигм изменится в среднем результат, если соответствующий фактор хi изменится на одну сигму при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты регрессии Вi сравнимы между собой. Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.

Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать при отсеве факторов - из модели исключаются факторы с наименьшим значением Вj

19. Обобщенный метод наименьших квадратов

Сущность обобщённого МНК

Известно, что симметрическую положительно определенную матрицу можно разложить как , где P- некоторая невырожденная квадратная матрица. Тогда обобщённая сумма квадратов может быть представлена как сумма квадратов преобразованных (с помощью P) остатков . Для линейной регрессии это означает, что минимизируется величина:

где , то есть фактически суть обобщённого МНК сводится к линейному преобразованию данных и применению к этим данным обычного МНК. Если в качестве весовой матрицы W используется обратная ковариационная матрица V случайных ошибок e (то есть ), преобразование P приводит к тому, что преобразованная модель удовлетворяет классическим предположениям (Гаусса-Маркова), следовательно оценки параметров с помощью обычного МНК будут наиболее эффективными в классе линейных несмещенных оценок. А поскольку параметры исходной и преобразованной модели одинаковы, то отсюда следует утверждение — оценки ОМНК являются наиболее эффективными в классе линейных несмещенных оценок (теорема Айткена). Формула обобщённого МНК имеет вид:

Ковариационная матрица этих оценок равна:

20. Частные уравнения регрессии

На основе линейного уравнения множественной регрессии:

y = a + b1*x1 + b2*x2+…+bp*xp+e, могут быть найдены частные уравнения регрессии:

yx1.x2,x3,…,xp = f(x1),

yx2.x1,x3,…,xp = f(x2),

………………………

yxp.x1,x2,…,xp-1 = f(xp),

т.е. уравнения регрессии, которые связывают результативный признак с соответствующими факторами х при закреплении других учитываемых во множественной регрессии факторов на среднем уровне. Частные уравнения регрессии имеют следующий вид:

yx1.x2,x3,…,xp = a + b1*x1 + b2*x2 с чертой наверху + b3*x3 с чертой …+bp*xp с чертой+e,

yx2.x1,x3,…,xp = a + b1*x1 с чертой + b2*x2 + b3*x3 с чертой …+bp*xp с чертой+e,

…………………………………………………………………………………………………….

yxp.x1,x2,…,xp-1 = a + b1*x1 с чертой + b2*x2с чертой +…+bp-1*xp-1 с чертой + bp*xp +e,

При подстановке в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем:

y с домиком (^) наверху x1..x2x3..xp = A1+b1*x1;

y с домиком (^) наверху x2..x1x3..xp = A2+b2*21;

………………………………………………….

y с домиком (^) наверху xp..x1x2..xp-1 = Ap+bp*xp;

где

A1= a + b2*x2 с чертой наверху + b3*x3 с чертой …+bp*xp с чертой,

A2= a + b1*x1 с чертой наверху + b3*x3 с чертой …+bp*xp с чертой,

……………………………………………………………………………..

Ap= a + b1*x1 с чертой наверху + b2*x2 с чертой …+bp-1*xp-1 с чертой.

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне. Эффект влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности:

Эyxi=bi*(xi/y c^ наверху xi.x1x2…xi-1xi+1…xp), где

bi – коэффициент регрессии для фактора xi в уравнении множественной регрессии;

y c^ наверху xi.x1x2…xi-1xi+1…xp – частное уравнение регрессии.

21. Множественная корреляция.

Как многократно подчеркивалось, в практике социально-эконо­мических исследований чаще всего встречаются сложные взаимосвязи между явлениями. Отсюда возникает задача определения интенсив­ности, или тесноты, связи между более чем двумя явлениями (перемен­ными). Для этой цели используется коэффициент множественной кор­реляции, или совокупный коэффициент корреляции, который харак­теризует тесноту связи одной из переменных с совокупностью других.

Рассмотрим вначале корреляцию между тремя переменными. По аналогии с формой записи коэффициента множественной детерминации” обозначим коэффициент множественной корреляции через r _y∙12

Он показывает интенсивность связи при условии, что переменная i одновременно зависит от переменных х₁ и х₂. В предположении линей­ной связи между переменными мы можем исходя из коэффициента детерминации (3.)

(2.34)

с учетом ( = - коэф. кореляции) записать:

(2.35)

Далее обратимся к (2.36):

() + () (2.36)

Подставим (2.36) в (2.35):

(2.37)

Разделив числитель и знаменатель (2.37) на и учитывая выра­жения дисперсий и , а также ковариации s₁₂, получим

(2.38)

Применив формулы (2.28), (2.29) и (2.4), после соответствующих сокращений получим

(2.39)

Умножим первое из уравнений (2.31) на b₁’, а второе — на b₂’. Затем

сложим правые и левые части этих уравнений:

(2.40)

Правые части равенств (2.39) и (2.40) равны. Отсюдa

(2.41)

или

(2.42)

Учитывая теперь (2.26) и (2.27), получим формулу коэффициента множественной корреляции в виде, очень удобном для практических вычислений:

(2.43)

Из (2.43) видно, что коэффициент множественной корреляции заключен в пределах 0 ≤ ≤ 1.

С помощью коэффициента множественной корреляции нельзя сде­лать вывод о характере взаимосвязи, т.е. о положительной или отри­цательной корреляции между переменными. Только если все коэффициенты парной корреляции имеют одинаковый знак, то можно этот знак отнести также к коэффициенту множественной корреляции и утверждать о соответствующем характере множественной связи. Чем больше значение коэффициента приближается к единице, тем взаимо­связь сильнее. Легко увидеть, что (2.43) для случая r₁₂= 0 принимает вид

= + (2.44)

Итак, если объясняющие переменные х₁ и x ₂ не коррелированы, т. е. связь между ними отсутствует, то квадрат коэффициента множест­венной корреляции равен сумме квадратов коэффициентов парных кор­реляций. Другими словами, он равен сумме интенсивности взаимосвя­зи между у и х₁, а также между у и х₂. Следовательно, при некоррели­рованности объясняющих переменных анализ взаимосвязи облегча­ется.

Коэффициент множественной корреляции используется, кроме того, как показатель точности оценки функции регрессии, по нему можно судить, достаточно ли выбранные объясняющие переменные обуслов­ливают количественную вариацию зависимой переменной. Если ко­эффициент множественной корреляции, который, как мы покажем да­лее, тесно связан с коэффициентом множественной детерминации, при­нимает значения, близкие к 1, то вариация зависимой переменной почти полностью определяется изменениями объясняющих перемен­ных. Включенные в анализ объясняющие переменные оказывают силь­ное влияние на зависимую переменную.

Коэффициент множественной корреляции не меньше, чем абсолют­ная величина любого коэффициента парной и частной корреляции с та­ким же первичным индексом. Это справедливо независимо от того, существует между объясняющими переменными причинная связь или нет. Мы не будем останавливаться на доказательстве этого утверждения.

Выражение коэффициента множественной корреляции для любого числа объясняющих переменных можно получить путем обобщения (2.42):

(2.45)

Используя матричную форму записи (2.32) и обобщая формулу (2.43), получим

= r’ R^-1 r. (2.46)

22. Частная корреляция.

Как неоднократно подчеркивалось, экономические явления чаще всего приходится описывать многофакторными моделями. В связи с этим возникают две задачи:

1) определение тесноты связи одной из переменных с совокуп­ностью остальных переменных, включенных b анализ; это является задачей изучения множественной корреляции;

2) определение тесноты связи между двумя переменными при фиксировании или исключении влияния остальных. Интенсивность такой связи оценивается с помощью коэффициентов частной корреляции. Если переменные коррелируют друг с другом, то на величине ко­эффициента парной корреляции частично сказывается влияние других переменных. Если, например, между х₁ и х₂ существует тесная связь, и, кроме того, у зависит от х₁, то у будет также коррелировать с х₂. Вполне возможно, что корреляция между у и х₂ не прямая, а косвен­ная, возникающая вследствие воздействия х₁. Поэтому необходимо исследовать частную корреляцию между у и х₂ при исключении влия­ния х₁ на у. Исключаемые переменные могут закрепляться как на средних, так и на других уровнях, выбранных в соответствии с интере­сующими нас участками изменения переменных, между которыми определяется связь в «чистой» форме. Здесь следует учитывать профес­сионально-теоретические соображения об изучаемом явлении.

Измерение частного воздействия отдельных перемен­ных выполняется на основе частной регрессии и частной корреляции. Следуя форме записи коэффициента частной детерминации, обозначим через r _y1∙2 коэффициент частной корреляции, с помощью которого оце­нивается интенсивность связи между переменными у и х₁ при исклю­чении влияния х₂. В соответствии с данным определением, например, r₁₂._у также будет коэффициентом частной корреляции, измеряющим тесноту связи между переменными х₁ и х₂ при исключении влияния у.

В то время как при рассмотрении множественной кор­реляции используется мера зависимости одной из переменных с сово­купностью других, при изучении частной корреляции определяется частное воздействие каждой отдельной переменной при предполо­жении ее связи с остальными переменными.

Рассмотрим задачи исследования частной корреляции на при­мере взаимосвязи трех переменных. Проанализируем коэффициент частной корреляции между переменными у и х₁ при исключении влия­ния х ₂. Основываясь на формуле (2.48)

b₁ (2.48)

построим коэффициент детерминации по аналогии с (2.49)

(2.49)

и потребуем в соответствии с ( = - коэф. кореляции), чтобы этот коэффициент детерминации был равен квадрату коэффициента частной корреляции. Это требование вполне оправдано, так как ко­эффициент детерминации должен вычисляться по данным, из которых исключено влияние переменной х₂. Итак, получаем

(2.50)

Учитывая, что = 0, (2.50) можно привести к виду

(2.51)

Формула (2.51) мало пригодна для практических вычислений. Для получения более удобного выражения выполним некоторые преобра­зования. Подставим (2.48) в (2.51). Учитывая далее

а также то, что коэффициенты частной регрессии равны коэффи­циентам множественной регрессии, получим

(2.52)

Введем следующие обозначения. Пусть b_y1.2 — коэффициент ча­стной регрессии у на x₁; b₀₍₁₂₎ — постоянная, а b₁₂ — коэффи­циент регрессии x₁ на х₂; b _0(У2) — постоянная, а b_y2 — коэффициент регрессии у на х₂.

В соответствии c

получим выражение

(2.53)

которое будет необъясненной дисперсией для регрессии х ₁ на х₂. Отсюда делаем заключение, что знаменатель в (2.52) представляет со­бой необъясненную дисперсию для регрессии у на х₂. Исходя из этих соображений (2.52) записываем в виде

(2.54)

Мы знаем, что общую дисперсию можно разло­жить на две составляющие — объясненную и необъясненную диспер­сии. Используем это обстоятельство в дальнейших наших рассужде­ниях. Разделим обе части тождества

на и, учитывая (2.6), после некоторых простых преобразований получим

(2.55)

По аналогии можно записать

(2.56)

Подставим (2.56) в (2.54)

(2.57)

Теперь подставим (2.24) в (2.57) и выполним некоторые преобразования:

(2.58)

Таким образом, мы получили формулу коэффициента частной корре­ляции, удобную для практических вычислений. По аналогии можно легко записать выражения для других коэффициентов частной корреляции.

Вычисление коэффициентов частной корреляции сводится к нахождению коэффициентов парной корреляции. Благодаря выведенным формулам легко установить соотношения между этими коэффициента­ми. Так, если r_у2 = r₁₂ = 0, то r_у1.2 = r_у1. Если r₁₂ = 0 (т.е. перемен­ные х₁ и х₂ не коррелированы), то |r_y1.₂| > |r_у1| и |r_у2.1| > |r_у2|. Итак, с уменьшением взаимодействия между х₁ и х₂ следует ожидать увели­чения коэффициента частной корреляции по сравнению с соответствующим коэффициентом парной корреляции. Это увеличение тем сильнее, чем больше |r_у1| или |r_у2|. Далее, |r_y1.₂| > |r_у1|, если r_у2 = 0 и |r_у2.1| > |r_у2|, если r_y1 = 0. В обоих случаях неравенства тем боль­ше, чем сильнее взаимодействие между х₁ и х₂, а следовательно, чем больше r₁₂. Если коэффициенты корреляции r_у2 и r₁₂ имеют противопо­ложные знаки, то всегда |r_y1.₂| > |r_у1|.

Обобщим теперь выражение коэффициента частной корреляции на любое число объясняющих переменных. Воспользуемся для этого фор­мулой (2.57). После извлечения корня квадратного из обеих частей ра­венства получим

(2.59)

По аналогии запишем

(2.60)

Так как r_1y.2 = r_y1.2, то, перемножая соответственно правые и левые части (2.59) и (2.60), получим

(2.61)

В соответствии с (2.28) и (2.29)

(2.62)

Обобщая, можно записать

(2.63)

Формула (2.63) позволяет нам вычислять коэффициент частной кор­реляции по коэффициентам частной регрессии.

По аналогии с (2.58), обобщая на любое число объясняющих пере­менных, получим

(2.64

Как видно из (2.64), вычисление коэффициента частной корреля­ции порядка m сводится к определению коэффициентов частной кор­реляции порядка m -1. При использовании (2.64) сначала необ­ходимо знать коэффициенты парной корреляции, а затем приступать к вычислению коэффициентов корреляции более высокого порядка. При более чем четырех переменных вычисление частных коэффициентов корреляции желательно производить на КВМ.

23. Оценка надежности результатов множественной регрессии и корреляции.

24. Нелинейные модели регрессии. Множественная нелинейная регрессия

Несколько явлений могут быть соединены между собой нелинейными соотношениями. В этом случае для описания зависимостей сле­дует воспользоваться множественной нелинейной регрессией. Здесь также различают множественную нелинейную регрессию первого и второго классов. Все рассуждения, приведенные в разделе 5.1, относи­тельно этой проблематики имеют силу и для данной регрессии.

Исходя из логических соображений процедура построения урав­нения множественной нелинейной регрессии должна быть аналогична процедуре определения простой нелинейной регрессии. Рассмотрим следующий пример квазилинейной регрессии, ограничившись двумя объясняющими переменными:

(1.30)

Если профессионально-теоретический анализ экономического явле­ния позволяет функции от объясняющих переменных представить в виде

(1.31)

и

(1.32)

то зависимость (1.30) выражается так:

(1.33)

Применяя метод наименьших квадратов, находят параметры а, Ь_1, с ₁..., d₂. Но в этом случае уравнение (1.33) можно относительно про­сто свести к линейному виду, обозначив , , и . Ограничившись только этим указанием, мы не будем за­писывать уравнение в линейной форме.

Задачей множественной линейной регрессии является построение линейной модели связи между набором непрерывных предикторов и непрерывной зависимой переменной. Часто используется следующее регрессионное уравнение:

(1)

Здесь а_i - регрессионные коэффициенты, b₀ - свободный член(если он используется), е - член, содержащий ошибку - по поводу него делаются различные предположения, которые, однако, чаще сводятся к нормальности распределения с нулевым вектором мат. ожидания и корреляционной матрицей .

Такой линейной моделью хорошо описываются многие задачи в различных предметных областях, например, экономике, промышленности, медицине. Это происходит потому, что некоторые задачи линейны по своей природе.

25. логарифмические модели

Пусть некоторая экономическая зависимость моделируется формулой (степенная зависимость от X)

где во и в1 — параметры модели (константы, подлежащие определению), є — случайный член.
Эта функция может отражать зависимость спроса Y на благо от его цены X (в данном случае в lt; 0) или от дохода X (в данном случае вgt; 0; при такой интерпретации переменных X и Y функция (8.1) называется функцией Энгеля). Функция (8.1) может отражать также зависимость объема выпуска Y от использования ресурса X (производственная функция), в которой 0 lt;в lt; 1, а также ряд других зависимостей.
Модель (8.1) не является линейной функцией относительно X. Стандартным и широко используемым подходом к анализу функций данного рода в эконометрике является логарифмирование по основанию e = 2,71828... Прологарифмировав обе части (8.1), имеем логарифмическую модель:

которая является линейной в логарифмических переменных.

Линейная модель (8.3) подробно рассмотрена ранее. Если все необходимые предпосылки классической линейной регрессионной модели для (8.3) выполнены, то по МНК можно определить наилучшие линейные несмещенные оценки коэффициентов во и в1.
Параметры модели (8.3) оцениваются по обычным формулам парной регрессии с учетом замены переменных:

Здесь b0 — оценка параметра в0, b1 — оценка параметра Д1.
Очевидно, оценка параметра в0 равна b0 = ebo = exp(b0).
Отметим, что коэффициент в1 определяет эластичность переменной Y по переменной X, т. е. процентное изменение Y для данного процентного изменения X. Действительно, продифференцировав левую и правую части (8 3) по X получим'

Коэффициент в является константой, указывая на постоянную эластичность. Поэтому зачастую двойная логарифмическая модель (или модель (8.1) называется моделью постоянной эластичности.
Заметим, что в случае парной регрессии обоснованность использования логарифмической модели проверить достаточно просто. Вместо наблюдений (x,,y,) рассматриваются наблюдения

{lnxi,lnyi)i = 1,2,..., п. Вновь полученные точки наносятся на
корреляционное поле. Если их расположение соответствует прямой линии, то произведенная замена удачна и использование логарифмической модели обосновано.
Пример 8.1. Пусть имеются следующие данные (табл. 8.1).

Данные для анализа степенной модели

X	5	6	7	4	8	1	3	10	9	2
Y	3,2	3,5	3,7	3,0	3,7	1,6	3,0	4,0	3,9,	2,5

Если рассматривать линейную модель, то получим результат, представленный на рис. 8.1. Если рассмотреть степенную модель и прологарифмировать обе переменные, то получим результат, представленный на рис. 8.2.

1пХ
Рис 8.2. Степенная модель (линейная в логарифмах)

Таблица 8.2
Расчетная таблица для определения параметров степенной модели

Х	У	Х = ln Х	У* = ln у	Х*2	* * Ху
5	3,2	1,6094	1,1632	2,5903	1,872
6	3,5	1,7918	1,2528	3,2104	2,2446
7	3,7	1,9459	1,3083	3,7866	2,5459
4	3	1,3863	1,0986	1,9218	1,523
8	3,7	2,0794	1,3083	4,3241	2,7206
0,5	1,6	-0,6931	0,47	0,4805	-0,326
3	3	1,0986	1,0986	1,2069	1,2069
10	4	2,3026	1,3863	5,3019	3,1921
9	3,9	2,1972	1,361	4,8278	2,9904
2	2,5	0,6931	0,9163	0,4805	0,6351
2		14,411	11,363	28,131	18,605

1= \l — L /
Данная модель легко обобщается на большее число переменных. Например,

Здесь коэффициенты вь ві являются эластичностями переменной Y по переменным Х1 и Х2 соответственно.
Хорошо известна производственная функция Кобба-Дугласа:

(здесь не указан случайный член, но должен входить в модель мультипликативно).
После логарифмирования обеих частей получим:

Здесь а, в — эластичности выпуска по затратам капитала и труда соответственно. Сумма этих коэффициентов является таким важным экономическим показателем, как отдача от масштаба. При а + в = 1 говорят о постоянной отдаче от масштаба (во сколько раз увеличиваются затраты ресурсов, во столько же раз увеличивается выпуск). При а + в lt;1 имеет место убывающая отдача от масштаба (увеличение объема выпуска меньше увеличения затрат ресурсов). При а + вgt;1— возрастающая отдача от масштаба (увеличение объема выпуска больше увеличения затрат ресурсов).
В общем случае степенная модель множественной регрессии имеет вид:

Она преобразуется в линейную модель после логарифмирования.

26. полулогарифмические модели

Экспоненциальную модель (3.1) в виде (3.2) называют также полулогарифмической.

К полуэкспоненциальным относят также модель вида:

27 Обратная модель

28 Степенная модель

29 Показательная модель

30 Линеаризация нелинейных моделей

При нелинейной зависимости признаков, приводимой к линейному виду, параметры множественной регрессии также определяются по МНК с той лишь разницей, что он используется не к исходной информации, а к преобразованным данным.

Применяется для полиномиальных, гиперболических, полулогарифмических моделей.

31. Преобразование случайного отклонения.

32. Соотношения между коэффициентами множественной и частной корреляции, регрессии и детерминации

Покажем, что между коэффициентами множественной и частной корреляции, регрессии и детерминации существуют соотноше­ния, позволяющие производить вычисления одних коэффициентов по известным другим. Ограничимся наиболее важными соотношениями. Разделим числитель и знаменатель правой части формулы (5.1)

(5.1)

на

.

Путем простого преобразования с учетом

а также (2.52) и (2.53) получим сле­дующее соотношение:

(5.2)

Сравнивая (5.2) с (2.54), можно сделать вывод, что