Нелинейные модели регрессии

Модели регрессии, нелинейные по факторным переменным.

На практике при исследовании взаимосвязей социально-экономическими явлениями и процессами встречаются не только линейные, но и нелинейные регрессионные зависимости между результативной и факторными переменными. Нелинейные модели регрессии делятся на модели, нелинейные по факторным переменным и модели, нелинейные по оцениваемым коэффициентам.

Модели регрессии, нелинейные по факторным переменным, являются линейными по коэффициентам регрессии, т.е. переменная у_i линейно связана с оцениваемыми коэффициентами β ₀... β _n модели регрессии.

К моделям регрессии, нелинейным по факторным переменным, относятся полиномиальные функции выше второго порядка и гиперболическая функция.

Как полиномиальная функция n -го порядка или n -ой степени модель регрессии, нелинейная по факторными переменным, описывается зависимостью вида:

y_i = b ₀ + b ₁ x_i + b ₂ x _i ² +…+ b _n x _i ⁿ + e _i.

Специфическая особенность полиномиальных функций - отсутствие явной зависимости приростов факторных переменных от значений результативной переменной у_i.

С помощью полиномиальных функций исследуются процессы с монотонным развитием и отсутствием пределов роста. Большинство экономических показателей отвечает данному условию.

Наиболее часто из полиномиальных функций используется полином второго порядка, или параболическая функция:

y_i = b ₀ + b ₁ x_i + b ₂ x _i ² + e _i..

Он характеризует равноускоренное развитие процесса (равноускоренный рост или снижение уровней).

На практике полиномиальные функции более четвёртого порядка не используются при изучении социально-экономических связей между переменными, потому что полиномиальные функции высоких порядков имеют больше изгибов, и отразить реальную зависимость результативной переменной от факторных переменных практически не способны.

Как гиперболическая функция модель регрессии, нелинейная по факторным переменным, описывается зависимостью вида:

Гиперболическая функция используется при изучении зависимости затрат на единицу продукции от объёма производства.

Модели регрессии, нелинейные по факторным переменным, характеризуются тем, что в результате преобразований могут быть приведены к линейной модели регрессии. Такое преобразование позволяет применять к преобразованной линейной модели регрессии традиционные методы определения неизвестных коэффициентов регрессии (например, классический метод наименьших квадратов), а также методы проверки различных гипотез.

В моделях регрессии, нелинейных по оцениваемым коэффициентам, результативная переменная у_i нелинейно связана с коэффициентами регрессии b ₀... b _n.

Моделями регрессии, нелинейными по оцениваемым коэффициентам, являются:

1) степенная функция ;

2) показательная функция (простая экспоненциальная) ;

3) логарифмическая парабола ;

4) экспоненциальная функция ;

5) кривая Гомперца ;

6) логистическая функция (кривая Перла-Рида)

.

Степенные функции очень часто используются в эконометрических исследованиях. Степенными функциями являются кривые Энгеля, кривые спроса и предложения, производственные функции.

Показательная, логарифмическая и экспоненциальная функции называются кривыми насыщения. Они используются для описания процессов, которые имеют предел роста в изучаемом периоде, например в демографии.

Кривая Гомперца и кривая Перла-Рида относятся к S-образным кривым. Это кривые насыщения, которые имеют точку перегиба. Они используются в демографии, в страховании, при решении задач о спросе на новый товар.

Модели регрессии, нелинейные по оцениваемым коэффициентам, делятся на модели регрессии, подлежащие линеаризации, и модели регрессии, которые нельзя свести к линейному виду.

Примеры моделей регрессии, подлежащих линеаризации:

1) - показательная функция, в которой случайная ошибка e_i мультипликативно связана с факторной переменной х_i;

2) - степенная функция, в которой случайные ошибка e_i мультипликативно связана с факторной переменной х_i.

Примеры моделей регрессии, которые нельзя свести к линейному виду:

1) - показательная функция, в которой случайные ошибка e_i аддитивно связана с факторной переменной х_i;

2) - степенная функция, в которой случайная ошибка e_i аддитивно связана с факторной переменной х_i.

Наиболее применимой в эконометрических исследованиях является полиномиальная функция второго порядка (или параболическая функция) вида:

y_i = b ₀ + b ₁ x_i + b ₂ x _i ² + e _i..

Для определения неизвестных коэффициентов данной модели регрессии b₀, b₁ и b₂ применяется метод наименьших квадратов. При этом необходимо минимизировать функционал F вида:

Процесс минимизации функционала подразумевает вычисление частных производных этой функции по каждому из оцениваемых коэффициентов b₀, b₁ и b₂.

В моделях регрессии, нелинейных по оцениваемым коэффициентам, результативная переменная у_i нелинейно связана с коэффициентами регрессии β₀ … β_n. Одной из наиболее часто используемых разновидностей моделей регрессии, нелинейных по оцениваемым коэффициентам, являются показательные функции регрессии вида:

в которых случайная ошибка e_i мультипликативно связана с факторной переменной х_i. Показательная функция регрессии является нелинейной по коэффициенту регрессии b₁.

Для определения неизвестных коэффициентов данной функции регрессии b₀ и b₁, применяется метод наименьших квадратов. Показательная функция регрессии является внутренне линейной, поэтому её можно свести к линейному виду путем логарифмирования обеих частей функции:

log y_i = log b₀ + x_i log b₁ + log e_i,

После логарифмирования показательной функции регрессии необходимо заменить полученные переменные следующим образом: log y_i = Y; log b₀ =A; log b₁=B; log e_i=E.

В результате замен получим линеаризованную модель регрессии вида:

Y_i= А + Bх_i+ Е_i.

Для определения неизвестных коэффициентов А и B полученной линеаризованной модели регрессии применяется метод наименьших квадратов. Однако в отличие от линейных моделей регрессии в данном случае минимизируется сумма квадратов отклонений логарифмов наблюдаемых значений результативной переменной у от теоретических значений , т.е. минимизируется функционал F вида:

Оценки коэффициентов моделей регрессии, нелинейных по оцениваемым коэффициентам (но внутренне линейных), полученные методом наименьших квадратов, являются смещёнными.

Показатели корреляции и детерминации характеризуют качество построенной модели регрессии. Для нелинейных моделей регрессии показатель корреляции называется индексом корреляции для нелинейных форм связи.

Индекс корреляции можно рассчитать через теорему о разложении сумм квадратов по формуле:

где TSS - общая сумма квадратов модели множественной регрессии с n переменными:

ESS - сумма квадратов остатков модели множественной регрессии с n переменными:

RSS - сумма квадратов объяснённой регрессии модели множественной регрессии с n переменными:

Индекс корреляции для нелинейных форм связи изменяется в пределах [0; +1]. Чем ближе его значение к единице, тем сильнее взаимосвязь между изучаемыми переменными. Гипотеза о значимости индекса корреляции проверяется через F -критерий Фишера аналогично проверке гипотезы о значимости множественного коэффициента корреляции для линейной модели регрессии.

Индекс детерминации для нелинейной модели регрессии равен квадрату индекса корреляции для нелинейных форм связи:

Чем больше значение индекса детерминации, тем лучше модель регрессии описывает анализируемую взаимосвязь между переменными.

Проверка гипотезы о значимости нелинейной модели регрессии состоит в проверке гипотезы о значимости множественного индекса детерминации.

Основной гипотезой, выдвигаемой при проверке значимости нелинейной модели регрессии, является гипотеза Н ₀ о её незначимости: Н ₀: R² = 0. Обратной является гипотеза Н ₁ о значимости нелинейной модели регрессии: Н ₁: R² ≠ 0.

Выдвинутые гипотезы проверяются с помощью F -критерия Фишера.

Критическое значение F -критерия определяется по таблице распределения Фишера-Снедекора:

,

где α - уровень значимости; k ₁ = к – 1 и k ₂ = n – к - число степеней свободы; n – объём выборочной совокупности; к - число оцениваемых по выборочной совокупности коэффициентов,

Наблюдаемое значение F -критерия для проверки гипотезы Н ₀: R² = 0:

Если F _набл > F _крит, то основная гипотеза о незначимости индекса детерминации отклоняется, и нелинейная модель регрессии признается значимой.

Если F _набл ≤ F _крит, то основная гипотеза о незначимости индекса детерминации принимается, и нелинейная модель регрессии признается незначимой.

Проверка гипотезы о вероятной линейной зависимости между исследуемыми переменными осуществляется с помощью коэффициента детерминации r ² и индекса детерминации R ².

Основная гипотеза Н ₀ состоит в предположении возможной линейной зависимости между исследуемыми переменными.

Выдвинутые гипотезы проверяются с помощью t -критерия Стьюдента.

Критическое значение t -критерия определяется по таблице распределения Стьюдента:

где α - уровень значимости; n - объём выборочной совокупности; к - число оцениваемых по выборочной совокупности коэффициентов.

Наблюдаемое значение t -критерия для проверки гипотезы Н ₀:

где ν_R-r - величина ошибки разности (R ² – r ²):

Если t _набл > t _крит, то основная гипотеза отклоняется, и между исследуемыми переменными существует нелинейная взаимосвязь.

Если t _набл ≤ t _крит основная гипотеза принимается, и между исследуемыми переменными существует линейная взаимосвязь.

Если есть возможность выбора между линейной и нелинейной моделями регрессии, то предпочтение всегда отдается более простой линейной форме. Но при этом возникает проблема сравнения линейной и нелинейной моделей регрессии по стандартным критериям для выбора подходящей модели регрессии. Например, сравнение по величине множественного коэффициента детерминации или суммам квадратов отклонений не даст правильных результатов при выборе модели регрессии.

Тест Бокса-Кокса - это один из методов выбора между линейной и нелинейной моделями регрессии.

Предположим, что поставлена задача выбора между линейной и логарифмической моделями регрессии. Тест Бокса-Кокса основывается на утверждении о том, что функции (у -1) и log у являются частными случаями функции вида:

Если параметр λ равен единице, то функция равна F = у-1. Если параметр λ стремится к нулю, то функция равна F=log у.

Расчет оптимального значения параметра λ осуществляется с помощью поиска на решетке или на сетке значений. При этом проводятся серии вычислений с множеством значений параметра λ. Результатом поиска на решетке значений будет значение параметра λ, минимизирующее величину суммы квадратов отклонений.

Коэффициент эластичности для нелинейных моделей регрессии характеризует, на сколько процентов ориентировочно изменится результативная переменная у при изменении величины факторной переменной х на 1 %.

В общем случае коэффициент эластичности рассчитывается по формуле:

где у’_x - первая производная результативной переменной у по факторной переменной х. Средний коэффициент эластичности характеризует процентное изменение результативной переменной у относительно своего среднего значения ` y при изменении факторной переменной х на 1 % относительного своего среднего значения ` x.

В общем случае средний коэффициент эластичности рассчитывается по формуле:

где у (` x) - значение результативной переменной у при среднем значении факторной переменной ` x.

Средний коэффициент эластичности для линейной модели регрессии вида у_i = b₀ + b₁х_i определяется по формуле:

Точечный коэффициент эластичности характеризует процентное изменение результативной переменной у относительно уровня функции у (х₁) при изменении факторной переменной х на 1 % относительно заданного уровня х₁.

В общем случае точечный коэффициент эластичности рассчитывается по формуле:

Производственная функция - это экономико-математическая модель, позволяющая аппроксимировать зависимость результатов производственной деятельности предприятия, отрасли или национальной экономики в целом от повлиявших на эти результаты факторных переменных.

Факторными переменными в производственных функциях могут быть:

1) объём выпущенной продукции (в стоимостном или натуральном выражении);

2) объём основного капитала или основных фондов;

З) объём трудовых ресурсов или трудовых затрат;

4) затраты электроэнергии;

5) количество станков, используемое в производстве.

Однофакторные производственные функции (ОПФ) – это простейшая разновидность производственных функций. результатом, или результативной переменной, в ОПФ является объём производства у. Результативная переменная зависит только от одной факторной переменной х (например, переменной общих производственных затрат). Выделяют несколько видов ОПФ.

Линейная ОПФ может характеризовать зависимость объёма производства у (результативной переменной) от величины затрат какого-либо ресурса х (факторной переменной):

у = β₀ + β₁х.

Параболическая ОПФ характеризуется тем, что с увеличением затрат ресурса х объём производства у вначале возрастает до некоторой максимальной величины, а затем снижается до нуля.

Степенная ОПФ характеризуется тем, что с увеличением затрат ресурса х объём производства у возрастает неограниченно.

Показательная ОПФ характеризуется тем, что с увеличением затрат ресурса х объём производства у также растет, стремясь при этом к значению коэффициента

Гиперболическая ОПФ характеризуется тем, что с увеличением затрат ресурса х объём производства у уменьшается. данная ОПФ на практике не используется.

Двухфакторные производственные функции (ДПФ) характеризуют зависимость результативной переменной объёма производства от двухфакторных переменных. Основными факторными переменными, используемыми в ДПФ, являются переменные объёма основного капитала и трудовых ресурсов.

Общий вид производственной функции Кобба-Дугласа f (х_i):

где а - числовой параметр производственной функции;

х_i - i -ый аргумент или i -ая факторная переменная производственной функции; α _i - показатель степени i -ой факторной переменной производственной функции.

Двухфакторная производственная функция Кобба-Дугласа f (КL):

Q = А ´ К ^α ´ L ^β.

где Q (результативная переменная) – объём выпущенной продукции (в стоимостном или натуральном выражении);

К (факторная переменная) - объём основного капитала или основных фондов; L (факторная переменная) - объём трудовых ресурсов (измеряемый количеством рабочих) или трудовых затрат (измеряемый количеством человеко-дней).

А, α, β - неизвестные числовые параметры функции, на которые накладываются определенные условия: 0≤α≤1, 0≤ β ≤1, A >0, α + β = 1.

Параметр А двухфакторной производственной функции Кобба-Дугласа зависит от единиц измерения результативной и факторных переменных.

На основании условия α + β = 1 двухфакторную производственную функцию Кобба-Дугласа можно записать следующим образом:

Q = А ´ К ^α ´ L ^1-α.

Эффект от масштаба производства (для двухфакторной производственной функции) - это изменение объёма произведённой продукции при пропорциональном изменении затрат труда и капитала

Функция Кобба-Дугласа имеет возрастающий эффект от масштабов производства, если (α + β) > 1, т.е. с увеличением факторных переменных К и L в n раз объём производства Q возрастает в n ^{α + β} раз.

Функция Кобба-Дугласа имеет фиксированный эффект от масштабов производства, если (α + β) = 1, т.е. с увеличением факторных переменных К и L в n раз объём производства Q также возрастает в n раз.

Функция Кобба-Дугласа имеет убывающий эффект от масштабов производства, если (α + β) < 1, т.е. с увеличением факторных переменных К и L в n раз объём производства Q возрастает меньшими, чем n, темпами.