Регрессионный анализ

Одномерная линейная регрессия:

В этом случае функциональная зависимость ищется в виде прямой зависимости, имеющей одну переменную.

Одномерная нелинейная регрессия:

В этом случае зависимость может быть любая, кроме линейной, но зависимая переменная одна.

Многомерная регрессия:

Здесь рассматриваются несколько переменных.

Математический метод, который обеспечивает такую подгонку кривой, при которой экспериментальные точки ложатся на нее наилучшим образом в смысле критерия наименьших квадратов, называется регрессионным анализом.

В схеме регрессионного анализа предполагается, что независимая переменная x является неслучайной функцией, значения которой задаются заранее перед началом наблюдений за системой. Зависимая переменная y -это СВ.

Обычно к этому приводят 2 предположения:

1) x измеряется без ошибок (или ими можно пренебречь), а при измерении y имеются случайные ошибки;

2) y зависит не только от x, но и от ряда неконтролируемых факторов. В этом случае нас интересует лишь среднее значение y при заданном x, т.е. функциональная зависимость y от x:

M [ y / x ] = f [ x, a₀, a₁,...] (11.1)

Алгоритм реализации регрессионного анализа:

1. Сбор данных и представление этих данных в виде прямоугольной таблицы значений;

x x₁ x₂... x_N

y y₁ y₂... y_N табл. 11.1

2. Данные из табл. 25.1 представляются в виде поля разброса в системе координат (x, y)

y

y_N y = a₀ + a₁x

.

y₂ .

y_1.

x₁ x₂ x_N x

3. По виду поля разброса (этап 2) подбирается вид функциональной зависимости (кривая).

Этот этап субъективен.

а) линейная зависимость:

y

y = a₀ + a₁x

a₁ > 0 a₁ < 0

x

б) квадратичная зависимость:

y = a₀ + a₁x + a₂x²

a₂ > 0 a₂ < 0

в) кубическая зависимость:

y = a₀ + a₁x + a₂x² + а₃x³

а₃ > 0 a₃ < 0

г) парабола n-ой степени:

y = a₀ + a₁x + a₂x² + а₃x³ +... + a_nxⁿ

д) логарифмическая кривая:

y = a₀ + a₁ lg x

a₁ > 0

a₁ < 0

е) показательная зависимость:

y = a₀e^a1x

a₁ > 0

a₁ < 0

ж) кубическая логарифмическая кривая:

lg y = a₀ + a₁ lg x

з) зависимость между затратами ресурсов и результатами производственной деятельности может быть представлена в следующем виде:

y = a₀x₁^a1x₂^a2, где

x₁, x₂ -затраты по определенным компонентам;

y - результат производственной деятельности;

а₀, а₁, а₂ - const

и) линейная производственная функция:

y = a₀ + a₁x₁ + a₂x₂ +..., где

x₁и x₂ соответствующие затраты ресурсов;

a_i - норма расхода соответствующих ресурсов, либо среднее значение величины расхода того или иного ресурса.

При подборе кривых помогает анализ вычисления разностей различных порядков y и x.

1) если отношение (Dy / Dx)» const, то y = a₀ + a₁x;

2) если отношение (D lg y / Dx)» const, то в качестве функциональной зависимости выберем y = a₀x^a1;

3) если отношение (D lg y / D lg x)» const, то y = a₀a₁^x;

4) если отношение (D (x/y) / Dy)» const, то y = x / (a₀ + a₁x);

5) если отношение (D² y / D² x)» const, то y = a₀ + a₁x²

Мы можем осуществить выбор кривой по скорости изменения первой производной и по ускорению. Могут быть еще сезонные или периодические составляющие ряда, они аппроксимируются гармоническими функциями.

4. На этом этапе определяются коэффициенты функциональной зависимости (параметры). Этот этап реализуется с помощью метода наименьших квадратов (МНК).

Суть МНК:

МНК - это соотношение (11.2):

S = d₁² + d₂² +... + d_n² (11.2)

d_i = [ y_i’ - (a₀ + a₁x_i )]²

n

S = å [ y_i’ - (a₀ + a₁x_i )]² ® min

i=1

n

dS/da₀ = 2 å [ y_i’ - (a₀ + a₁x_i )] [-1] = 0

i=1

n (11.3)

dS/da₁ = 2 å [ y_i’ - (a₀ + a₁x_i )] [-x_i] = 0

i=1

Решая (11.3) относительно а₀и а₁, получим:

å y_i’ å x_i² - å x_i å y_i’ x_i

a₀ = (11.4)

n å x_i² - (å x_i)²

å x_i y_i’ - å x_i å y_i’

a₁ = (11.5)

n å x_i² - (å x_i)²

5. Оценка прогноза (функциональной зависимости). Здесь может быть использован критерий Фишера или остаточная дисперсия.