Корреляционно-регрессионный анализ

Министерство образования Российской Федерации

ОРЕНБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Финансово-экономический факультет

Кафедра МММЭ

КОНТРОЛЬНАЯ РАБОТА

по дисциплине "Эконометрика"

Корреляционно-регрессионный анализ

ОГУ 061700.5001.03 00

Руководитель работы

__________________ Аралбаева Г.Г.

“____”_____________2002г.

Исполнитель

студент гр.99 з/о ст

______________.Чаплыгина О.Г.

“_____”____________2002г.

Оренбург 2002 г.

Задание

Дана выборка из генеральной совокупности по производственно-хозяйственной деятельности предприятия машиностроения (Приложение 1). Исследуется N=53 объекта по пяти признакам:

X₅ –Удельный вес рабочих в составе ППП;

X₇ –Коэффициент сменности оборудования;

X₁₀ -Фондоотдача;

X₁₄–Фондовооруженность труда;

X₁₇ – Непроизводственные расходы;

Y₁- производительность труда;

На основе полученных данных необходимо:

На основе данных необходимо:

1. По исходным данным построить классическую линейную модель множественной регрессии, оценить значимость полученного уравнения регрессии и его коэффициентов, для значимых параметров построить доверительный интервал.

2. Проанализировать матрицу парных коэффициентов корреляции на наличие мультиколинеарности, если мультиколлинеарность присутствует устранить методом пошагового отбора переменных, отобрать наиболее информативные переменные и с помощью них построить модель регрессии, оценить ее значимость.

3. Проверить построенную модель на гетероскедастичность. Построить обобщенную модель множественной регрессии (случай гетероскедастичности остатков)

4. Проверить модель на наличие автокорреляции (с помощью критерия Дарбина-Уотсона) устранить с использованием обобщенного метода наименьших квадратов на случай автокоррелированности регрессионных остатков

Введение

Пусть имеется p объясняющих переменных и зависимая переменная У. Переменная У является случайной величиной, имеющей при заданных значениях факторов некоторое распределение. Если случайная величина Y непрерывна, то можно считать, что ее распределение при каждом допустимом наборе значений факторов () имеет условную плотность .

Обычно делается некоторое предположение относительно распределения У. Чаще всего предполагается, что условные распределения У при каждом допустимом значении факторов – нормальные. Подобное предположение позволяет получить значительно более «продвинутые» результаты.

Объясняющие переменные могут считаться как случайными, так и детерминированными, т.е. принимающими определенные значения.

Классическая эконометрическая модель рассматривает объясняющие переменные как детерминированные, однако, основные результаты статистического исследования модели остаются в значительной степени теми же, что и в случае, если считать случайными переменными.

Объясняющая часть – обозначим ее Уе – в любом случае представляет собой функцию от значений факторов – объясняющих переменных:

Таким образом, эконометрическая модель имеет вид

Наиболее естественным выбором объясненной части случайной величины У является ее среднее значение – условное математическое ожидание , полученное при данном наборе значений объясняющих переменных (х_1,x₂,..,x_p)

Цель работы: Исследовать корреляционно – регрессионную зависимость между признаком у и группой аргументов .

Объект исследования : Производственные предприятия, занимающиеся производственной деятельностью.

Предмет исследования : корреляционная связь между признаками.

1. По исходным данным построить классическую линейную модель множественной регрессии, оценить значимость полученного уравнения регрессии и его коэффициентов, для значимых параметров построить доверительный интервал.

Построим собственно-линейную функцию регрессии вида: , оценка

Параметры модели будем искать МНК:

Матрица Х имеет размерность 6х53, в первой строке стоят единицы.

Используя пакет STADIA оцениваем уравнение регрессии.

Получаем следующие результаты:

Таблица 1

Коэфф. a0 a1 a2 a3 a4 a5

Значение -14,9 14,4 4 0,906 0,174 0,237

Ст.ошиб. 18,4 19,8 2,91 0,992 0,188 0,216

Значим. 0,575 0,523 0,172 0,631 0,637 0,278

Источник Сум.квадр. Степ.св Средн.квадр.

Регресс. 37,2 5 7,44

Остаточн 292 47 6,22

Вся 330 52

Множеств R R^2 R^2прив Ст.ошиб. F Значим

0,33602 0,11291 0,01854 2,4942 1,2 0,325

Гипотеза 0: <Регрессионная модель неадекватна экспериментальным данным>

Оценка уравнения регрессии:

=-14,9+14,4х1+4,0х2+0,906х3 +0,174х4+0,237х5

(18,4) (19,8) (2,91) (0,992) (0.188) (0.216)

(внизу указаны стандартные ошибки каждого коэффициента регресии.)

Проверка значимости модели.

Проверим значимость построенной модели, выдвигаем гипотезу

H0: (модель незначима)

H1: (модель значима)

Строим статистику распределена по закону Фишера-Снедокора с числом ст. свободы n в числители и N-n-1 в знаменатели. (воспользуемся данными таблицы 1)

В нашем случае F=1,2, Fкр (0,05;5;47)=2,44 т.к Fн>Fкр,то гипотеза Н0 не отвергается и модель не является значимой.

Проверка значимости коэффициентов регрессии.

Проверим на значимость коэффициенты уравнения, выдвигаем гипотезу

Н0:

Н1:

Строим статистику t= распределена по закону Стьюдента с N-n-1 ст.свободы. (воспользуемся данными таблицы 1) (будем принимать коэффициенты регрессии по абсолютному значению)

tb0 =- 0,810 tb3 =0,913

tb1 =0,727 tb=0,926

tb2 =1,375 tb5 =1,097

tкр(0,05;47)=2,013

tb0 ->-tкр tb3

tb1 < tкр tb4 < tкр

tb2 < tкр tb5 < tкр

Среди всех коэффициентов значимыми являются b0, по такой модели прогноз сделать не представляется возможным, поскольку все коэффициенты регрессии при переменных не значимы.

На этом регрессионный анализ можно завершить, так как значимых переменных не обнаружено.

2. Проанализировать матрицу парных коэффициентов корреляции на наличие мультиколинеарности, если мультиколлинеарность присутствует устранить методом пошагового отбора переменных, отобрать наиболее информативные переменные и с помощью них построить модель регрессии, оценить ее значимость.

Коэффициент ковариации нормированных случайных величин называется коэффициентом корреляции, или коэффициентом парной корреляции.

, (1)

где - средние квадратические отклонения случайных величин и

Для удобства расчета корреляционной матрицы, предварительно рассчитывают ковариационную матрицу .

Ковариационная матрица определяется как математическое ожидание произведения центрированного случайного вектора на этот транспонированный вектор

Матрица

(2)

где - центральный смешанный момент второго порядка, коэффициент ковариации i- й и j-й компонент вектора при

Рассмотрим матрицу исходных данных (см. Приложение 1)

1. Найдем центрированную матрицу

, где Х матрица исходных данных размерности 53*6

Найдем оценку вектора , т.е.

где , где n = 53 – объем выборки.

Используя пакет STADIA (Раздел описательная статистика), получаем вектор :

Согласно приведенной формуле рассчитываем центрированную матрицу (Приложение 2)

2. Рассчитываем матрицу

Используя пакет STADIA (меню преобразований), получаем:

=

Оценку ковариационной матрицы получим путем умножения матрицы на множитель

Обозначим оценку ковариационной матрицы S, используя пакет MathCad находим:

оценка ковариационной матрицы.

Для расчета ковариационной матрицы воспользуемся формулой (1) и определением ковариационной матрицы (2), получаем следующую оценку корреляционной матрицы:

Данный расчет можно провести на прямую, используя пакет STADIA, но наша цель бала показать весь процесс расчета корреляционной матрицы. Проанализируем корреляционную матрицу.

1 – я строка и 1 – столбец это признак у , как видим наибольшая связь наблюдается между признаками х7 и х14 очень тесная (-0,938) , если анализировать парную связь между факторными признаками, то можно заметить наибольшую связь между признаком х5 и х17 (-0,938).

Устранение мультиколлинеарности с помощью метода пошаговой регрессии

Устраним мультиколлинеарность методом пошаговой регрессии,

который предполагает, что на каждом шаге мы будем включать в уравнение регрессии тот признак, который будет вызывать наибольшее приращение коэффициента детерминации.

Шаг 1

Строим уравнения регрессии

Находим максимальный коэффициент детерминации (где k=1)

Вычисляем нижнюю границу коэффициента детерминации достигнет своего максимума.

Используя пакет STADIA определяем:

Шаг 2

Строим уравнения регрессии

Находим максимальный коэффициент детерминации (где k=1)

Вычисляем нижнюю границу коэффициента детерминации достигнет своего максимума.

Используя пакет STADIA определяем:

Шаг 3

Строим уравнения регрессии

Находим максимальный коэффициент детерминации (где k=1)

Вычисляем нижнюю границу коэффициента детерминации достигнет своего максимума.

Используя пакет STADIA определяем:

Процесс прекращаем поскольку, меньше таких коэффициентов для уравнений регрессии с двумя переменными.

Подробный анализ, выполненный с помощью программы “Stadia”, приведен в Приложении 1.

Граф.1

Подробные расчеты см. Приложение 1

Таким образом , из анализа исключаются все факторные признаки,

кроме Х7,X9

2. Проверить построенную модель на гетероскедастичность. Построить обобщенную модель множественной регрессии (случай гетероскедастичности остатков)

1.4 Построение и исследование новой модели регрессии.

1.4.1 Вычисление оценок коэффициентов регрессии

Регрессионная модель примет вид:

Вывод т.к. около 1, то можно считать , что связь тесная.

Проверка значимости и построение доверительных интервалов для коэффициентов регрессии

Проверим значимость уравнения регрессии:

H₀:<регрессионная модель незначима>

H₁:<регрессионная модель значима>

F_{вычисленное}=57.1

F_{критическое} (0,05;2;24)=3,40 так как F_{вычисленное} >F_{критическое} ,

то принимается гипотеза Н₁ , следовательно в уравнении коэффициенты регрессии должны быть значимыми.

Проверим значимость коэффициентов регрессии

t_{критическое} =2.064

t_{вычисленное} = .

коэффициент значим.

коэффициент значим

.

коэффициенты значимы, поскольку> t_{критическое} =2.064, <t_{критическое ,}

Построим доверительный интервал для коэффициентов по формуле:

где остаточная дисперсия

Используя пакет STADIA находим доверительный интервал для коэффициента при переменной Х7,Х9.

1.4.2 Построение доверительного интервала для результативного признака

Доверительный интервал для результативного признака будем строить , исходя из формулы:

,

где t-значение статистики Стьюдента при и

степенях свободы.

Построим доверительный интервал прогноза в точке , используя пакет STADIA ,находим:

2. Исследование модели на наличие гетероскедастичности

Критерий ранговой корреляции Спирмена. По выборочным данным строим регрессионную модель, которую оцениваем с помощью МНК. Вычисляем регрессионные остатки: е_i=у_i-ý_i. Данные объясняющих переменных и остатки ранжируют, после чего исследуют зависимость между х_i и ε_i. Для этого выдвигаем гипотезу Нo: нет зависимости между объясняющей переменной и регрессионными остатками ( она равносильна гипотезе о том, что нет явления гетероскедастичности), Нı: есть зависимость, т.е. явление гетероскедастичности наблюдается. Для проверки гипотезы строится статистика, распределенная нормально с математическим ожиданием равным нулю и дисперсией равной 1: t=R_х.е ,

где R_x,e=1-6* -коэффициент ранговой корреляции Спирмена, где D_i²= rang x_i- rang e_i .

На заданном уровне значимости α=0.05 по таблице нормального распределения находим t_кр

Если t_н>t, то нулевую гипотезу отвергаем, значит есть явления гетероскеластичности, в противном случае явление гетероскедастичности наблюдаем. В случае наличия гетероскедастичности, используя ОМНК оценим

регрессию, взяв в качестве матрицы Ω=

Проверим наличие гетероскедастичности по переменной Х7

Приведем график зависимости регрессионных остатков от изменения признака Х7.

По оси ординат (У) отражено значение остатков , по оси абсцисс (х) значение признака. Как видно визуально гетероскедастичность отсутствует.

Ранговый коэффициент корреляции будет R_x,e= 0,0681, t=R_х.е =-0,3472 0,3472<1.96 , следовательно согласно критерию гетероскедастичность линейного вида отсутствует.

Проверим наличие гетероскедастичности по переменной Х9

Приведем график зависимости регрессионных остатков от изменения признака Х9.

По оси ординат (У) отражено значение остатков , по оси абсцисс (х) значение признака. Как видно визуально гетероскедастичность отсутствует.

Ранговый коэффициент корреляции будет R_x,e= -0,1364, t=R_х.е =-0,6955 0,6955<1.96 , следовательно согласно критерию гетероскедастичность линейного вида отсутствует.

3. Устранение гетероскедастичности обобщенным методом наименьших квадратов.

Если явление гетероскедастичности наблюдается, то оценки, полученные с помощью МНК, являются смещенными и состоятельными. В этом случае следует использовать ОМНК для построения коэффициентов регрессии: b_омнк=(Χ^ТΩˉ¹X)ˉ¹X ^ТΩˉ¹Y, где Ω - диагональная матрица, которую необходимо оценить. Тогда оценка регрессии будет иметь вид:Ŷ=Xb_омнк. Проверка на значимость уравнения регрессии осуществляется с помощью статистики , распределенной по закону Фишера -Снедокера.

F_Н= , где Q_R=(Xb)^ТΩ^-1(Хb) , Q_ост=(У-Хb)^ТΩ^-1(У-Хb)

Проверка на значимость коэффициентов регрессии осуществляется с помощью статистики, распределенной по закону Стьюдента.

t_н= , где S_bj=Ŝ ( ( X^ТΩ^-1Х)^-1)_jj , Ŝ=

Поскольку гетероскедастичности нет ,то нет необходимости применения ОМНК.

4. Исследование модели на наличие автокорреляции.

На практике можно провести примеры, когда построенная регрессионная модель оказывается значимой, дисперсии оценок этой модели малы, но модель оказывается неадекватной описываемому процессу. Причина этого может быть в наличии явления автокорреляции - это явление, заключающееся в том, что значения случайной составляющей в любом наблюдении зависит от его значений во всех других наблюдениях. Если в этом случае проанализировать поведение остатков, то зачастую можно выявить следующие тенденции:

● значения регрессионных остатков в соседних точках оказываются одного знака. В данном случае имеет место положительная автокорреляция.

● значения регрессионных остатков в соседних точках оказываются разного знака (по закономерности ). В этом случае имеет место отрицательная автокорреляция остатков.

Явление автокорреляции по поведению остатков можно выявить, если достаточна частота наблюдений. Автокорреляция выявляется с помощью статистики Дарбина- Уотсона:

d=

Если наличие автокорреляции отсутствует, то значение статистики должно быть близкой к двум. При наличии положительной автокорреляции величина d близка к нулю (меньше двух); при отрицательной автокорреляции она близка к значению 4. Вычисляют верхнюю и нижнюю границы для критического значения статистики. Возможны три ситуации:

1) Если d, то делаем вывод о наличии автокорреляции;

2) Если d>d, то нет автокорреляции;

3) Если d, то в этом случае мы не можем ни принять ни отклонить нулевую гипотезу и анализ осуществляется с помощью нового критерия: d’=4-d.

В случае наличия автокорреляции ее необходимо устранить, т.к построенные оценки коэффициентов регрессии будут смещенными и состоятельными. В литературе большое внимание уделяется зависимости первого порядка между регрессионными остатками: =+, где <1; -случайные величины, обладающие свойствоми: М=0; D=, cov(,) =0 при ij т.е. относительно мы имеем линейную регрессионную гомоскедастичную модель. Наша цель- построить ковариационную матрицу вектора регрессионных остатков, найти ее оценку и построить модель ОМНК. Исследуем случайные величины :

М= М=0

D=, т.е. дисперсия регрессионных остатков постоянная величина.

=

Таким образом, указали вид ковариационной матрицы вектора регрессионных остатков. Для оценки коэффициентов регрессии ОМНК необходимо построить матрицу. Используя вид можно указать .

На практике величина неизвестна. Рассмотрим способом оценивания с помощью метода Кокрейна-Оркатта, который представляет собой итерационный подход, включающий следующие этапы:

1. Оценивается регрессия МНК: У=Х;

2. Вычисляются остатки e;

3. Оценивается регрессионная зависимость еот е: е=, коэффициент при е представляет оценку ,

4. Строится . Используя эту матрицу оцениваем регрессионную зависимость У от Х ОМНК.

5. Повторно вычисляют епроцесс возвращается к пункту 3.

Процесс заканчивается, когда значения на последнем и предпоследнем этапах будут примерно одинаковыми.

Таким образом указан один из способов построения матрицы , в случае зависимости регрессионных остатков первого порядка. Используя матрицу можно построить вектор оценок коэффициентов регрессии ОМНК, проверить на значимость уравнение регрессии, построить доверительные интервалы по вышеописанным формулам

Проверим наличие автокорреляции в модели. Составим расчетную таблицу:

Посчитаем критерий Дарбина-Уотсона:

d==5998.124/2736.788= 2.191

Поскольку d>2 то альтернатива отсутствию автокорреляции будет существование отрицательной автокорреляции. По таблице находим для n=27, k=2 (число объясняющих переменных) и уровня значимости a=0,05 : d1=1.24 и d2 = 1.56 Т.к.

4 – d= 1.809 > d2=1.56 следовательно автокорреляции нет.

5. Устранение автокорреляции 1 – го порядка обобщенным методом наименьших квадратов.

Наша цель- построить ковариационную матрицу вектора регрессионных остатков, найти ее оценку и построить модель ОМНК. Исследуем случайные величины :

М= М=0

D=, т.е. дисперсия регрессионных остатков постоянная величина.

=

Таким образом, указали вид ковариационной матрицы вектора регрессионных остатков. Для оценки коэффициентов регрессии ОМНК необходимо построить матрицу. Используя вид можно указать .

На практике величина неизвестна. Рассмотрим способом оценивания с помощью метода Кокрейна-Оркатта, который представляет собой итерационный подход, включающий следующие этапы:

6. Оценивается регрессия МНК: У=Х;

7. Вычисляются остатки e;

8. Оценивается регрессионная зависимость еот е: е=, коэффициент при е представляет оценку ,

9. Строится . Используя эту матрицу оцениваем регрессионную зависимость У от Х ОМНК.

10. Повторно вычисляют епроцесс возвращается к пункту 3.

Процесс заканчивается, когда значения на последнем и предпоследнем этапах будут примерно одинаковыми.

Таким образом указан один из способов построения матрицы , в случае зависимости регрессионных остатков первого порядка. Используя матрицу можно построить вектор оценок коэффициентов регрессии ОМНК, проверить на значимость уравнение регрессии, построить доверительные интервалы по вышеописанным формулам.

Поскольку автокорреляции нет, то нет необходимости применения ОМНК.

Приложение 1

Исходные данные *

• - А.М. Дубров и др. , Многомерные статистические методы М.: Финансы и статистика, 1998 г. – с.320 – 323.

Приложение 2.

Центрированная матрица