1 охарактеризовать регрессивный анализ виды управлений. Основы линейной регрессии. Пример: простой регрессионный анализ
Во время учебы студенты очень часто сталкиваются с разнообразными уравнениями. Одно из них - уравнение регрессии - рассмотрено в данной статье. Такой тип уравнения применяется специально для описания характеристики связи между математическими параметрами. Данный вид равенств используют в статистике и эконометрике.
Определение понятия регрессии
В математике под регрессией подразумевается некая величина, описывающая зависимость среднего значения совокупности данных от значений другой величины. Уравнение регрессии показывает в качестве функции определенного признака среднее значение другого признака. Функция регрессии имеет вид простого уравнения у = х, в котором у выступает зависимой переменной, а х - независимой (признак-фактор). Фактически регрессия выражаться как у = f (x).
Какие бывают типы связей между переменными
В общем, выделяется два противоположных типа взаимосвязи: корреляционная и регрессионная.
Первая характеризуется равноправностью условных переменных. В данном случае достоверно не известно, какая переменная зависит от другой.
Если же между переменными не наблюдается равноправности и в условиях сказано, какая переменная объясняющая, а какая - зависимая, то можно говорить о наличии связи второго типа. Для того чтобы построить уравнение линейной регрессии, необходимо будет выяснить, какой тип связи наблюдается.
Виды регрессий
На сегодняшний день выделяют 7 разнообразных видов регрессии: гиперболическая, линейная, множественная, нелинейная, парная, обратная, логарифмически линейная.
Гиперболическая, линейная и логарифмическая
Уравнение линейной регрессии применяют в статистике для четкого объяснения параметров уравнения. Оно выглядит как у = с+т*х+Е. Гиперболическое уравнение имеет вид правильной гиперболы у = с + т / х + Е. Логарифмически линейное уравнение выражает взаимосвязь с помощью логарифмической функции: In у = In с + т* In x + In E.
Множественная и нелинейная
Два более сложных вида регрессии - это множественная и нелинейная. Уравнение множественной регрессии выражается функцией у = f(х 1 , х 2 ...х с)+E. В данной ситуации у выступает зависимой переменной, а х - объясняющей. Переменная Е - стохастическая, она включает влияние других факторов в уравнении. Нелинейное уравнение регрессии немного противоречиво. С одной стороны, относительно учтенных показателей оно не линейное, а с другой стороны, в роли оценки показателей оно линейное.
Обратные и парные виды регрессий
Обратная - это такой вид функции, который необходимо преобразовать в линейный вид. В самых традиционных прикладных программах она имеет вид функции у = 1/с + т*х+Е. Парное уравнение регрессии демонстрирует взаимосвязь между данными в качестве функции у = f (x) + Е. Точно так же, как и в других уравнениях, у зависит от х, а Е - стохастический параметр.
Понятие корреляции
Это показатель, демонстрирующий существование взаимосвязи двух явлений или процессов. Сила взаимосвязи выражается в качестве коэффициента корреляции. Его значение колеблется в рамках интервала [-1;+1]. Отрицательный показатель говорит о наличии обратной связи, положительный - о прямой. Если коэффициент принимает значение, равное 0, то взаимосвязи нет. Чем ближе значение к 1 - тем сильнее связь между параметрами, чем ближе к 0 - тем слабее.
Методы
Корреляционные параметрические методы могут оценить тесноту взаимосвязи. Их используют на базе оценки распределения для изучения параметров, подчиняющихся закону нормального распределения.
Параметры уравнения линейной регрессии необходимы для идентификации вида зависимости, функции регрессионного уравнения и оценивания показателей избранной формулы взаимосвязи. В качестве метода идентификации связи используется поле корреляции. Для этого все существующие данные необходимо изобразить графически. В прямоугольной двухмерной системе координат необходимо нанести все известные данные. Так образуется поле корреляции. Значение описывающего фактора отмечаются вдоль оси абсцисс, в то время как значения зависимого - вдоль оси ординат. Если между параметрами есть функциональная зависимость, они выстраиваются в форме линии.
В случае если коэффициент корреляции таких данных будет менее 30 %, можно говорить о практически полном отсутствии связи. Если он находится между 30 % и 70 %, то это говорит о наличии связей средней тесноты. 100 % показатель - свидетельство функциональной связи.
Нелинейное уравнение регрессии так же, как и линейное, необходимо дополнять индексом корреляции (R).
Корреляция для множественной регрессии
Коэффициент детерминации является показателем квадрата множественной корреляции. Он говорит о тесноте взаимосвязи представленного комплекса показателей с исследуемым признаком. Он также может говорить о характере влияния параметров на результат. Уравнение множественной регрессии оценивают с помощью этого показателя.
Для того чтобы вычислить показатель множественной корреляции, необходимо рассчитать его индекс.
Метод наименьших квадратов
Данный метод является способом оценивания факторов регрессии. Его суть заключается в минимизировании суммы отклонений в квадрате, полученных вследствие зависимости фактора от функции.
Парное линейное уравнение регрессии можно оценить с помощью такого метода. Этот тип уравнений используют в случае обнаружения между показателями парной линейной зависимости.
Параметры уравнений
Каждый параметр функции линейной регрессии несет определенный смысл. Парное линейное уравнение регрессии содержит два параметра: с и т. Параметр т демонстрирует среднее изменение конечного показателя функции у, при условии уменьшения (увеличения) переменной х на одну условную единицу. Если переменная х - нулевая, то функция равняется параметру с. Если же переменная х не нулевая, то фактор с не несет в себе экономический смысл. Единственное влияние на функцию оказывает знак перед фактором с. Если там минус, то можно сказать о замедленном изменении результата по сравнению с фактором. Если там плюс, то это свидетельствует об ускоренном изменении результата.
Каждый параметр, изменяющий значение уравнения регрессии, можно выразить через уравнение. Например, фактор с имеет вид с = y - тх.
Сгруппированные данные
Бывают такие условия задачи, в которых вся информация группируется по признаку x, но при этом для определенной группы указываются соответствующие средние значения зависимого показателя. В таком случае средние значения характеризуют, каким образом изменяется показатель, зависящий от х. Таким образом, сгруппированная информация помогает найти уравнение регрессии. Ее используют в качестве анализа взаимосвязей. Однако у такого метода есть свои недостатки. К сожалению, средние показатели достаточно часто подвергаются внешним колебаниям. Данные колебания не являются отображением закономерности взаимосвязи, они всего лишь маскируют ее «шум». Средние показатели демонстрируют закономерности взаимосвязи намного хуже, чем уравнение линейной регрессии. Однако их можно применять в виде базы для поиска уравнения. Перемножая численность отдельной совокупности на соответствующую среднюю можно получить сумму у в пределах группы. Далее необходимо подбить все полученные суммы и найти конечный показатель у. Чуть сложнее производить расчеты с показателем суммы ху. В том случае если интервалы малы, можно условно взять показатель х для всех единиц (в пределах группы) одинаковым. Следует перемножить его с суммой у, чтобы узнать сумму произведений x на у. Далее все суммы подбиваются вместе и получается общая сумма ху.
Множественное парное уравнение регрессии: оценка важности связи
Как рассматривалось ранее, множественная регрессия имеет функцию вида у = f (x 1 ,x 2 ,…,x m)+E. Чаще всего такое уравнение используют для решения проблемы спроса и предложения на товар, процентного дохода по выкупленным акциям, изучения причин и вида функции издержек производства. Ее также активно применяют в самых разнообразным макроэкономических исследованиях и расчетах, а вот на уровне микроэкономики такое уравнение применяют немного реже.
Основной задачей множественной регрессии является построение модели данных, содержащих огромное количество информации, для того чтобы в дальнейшем определить, какое влияние имеет каждый из факторов по отдельности и в их общей совокупности на показатель, который необходимо смоделировать, и его коэффициенты. Уравнение регрессии может принимать самые разнообразные значения. При этом для оценки взаимосвязи обычно используется два типа функций: линейная и нелинейная.
Линейная функция изображается в форме такой взаимосвязи: у = а 0 + a 1 х 1 + а 2 х 2 ,+ ... + a m x m . При этом а2, a m , считаются коэффициентами «чистой» регрессии. Они необходимы для характеристики среднего изменения параметра у с изменением (уменьшением или увеличением) каждого соответствующего параметра х на одну единицу, с условием стабильного значения других показателей.
Нелинейные уравнения имеют, к примеру, вид степенной функции у=ах 1 b1 х 2 b2 ...x m bm . В данном случае показатели b 1 , b 2 ..... b m - называются коэффициентами эластичности, они демонстрируют, каким образом изменится результат (на сколько %) при увеличении (уменьшении) соответствующего показателя х на 1 % и при стабильном показателе остальных факторов.
Какие факторы необходимо учитывать при построении множественной регрессии
Для того чтобы правильно построить множественную регрессию, необходимо выяснить, на какие именно факторы следует обратить особое внимание.
Необходимо иметь определенное понимание природы взаимосвязей между экономическими факторами и моделируемым. Факторы, которые необходимо будет включать, обязаны отвечать следующим признакам:
- Должны быть подвластны количественному измерению. Для того чтобы использовать фактор, описывающий качество предмета, в любом случае следует придать ему количественную форму.
- Не должна присутствовать интеркорреляция факторов, или функциональная взаимосвязь. Такие действия чаще всего приводят к необратимым последствиям - система обыкновенных уравнений становится не обусловленной, а это влечет за собой ее ненадежность и нечеткость оценок.
- В случае существования огромного показателя корреляции не существует способа для выяснения изолированного влияния факторов на окончательный результат показателя, следовательно, коэффициенты становятся неинтерпретируемыми.
Методы построения
Существует огромное количество методов и способов, объясняющих, каким образом можно выбрать факторы для уравнения. Однако все эти методы строятся на отборе коэффициентов с помощью показателя корреляции. Среди них выделяют:
- Способ исключения.
- Способ включения.
- Пошаговый анализ регрессии.
Первый метод подразумевает отсев всех коэффициентов из совокупного набора. Второй метод включает введение множества дополнительных факторов. Ну а третий - отсев факторов, которые были ранее применены для уравнения. Каждый из этих методов имеет право на существование. У них есть свои плюсы и минусы, но они все по-своему могут решить вопрос отсева ненужных показателей. Как правило, результаты, полученные каждым отдельным методом, достаточно близки.
Методы многомерного анализа
Такие способы определения факторов базируются на рассмотрении отдельных сочетаний взаимосвязанных признаков. Они включают в себя дискриминантный анализ, распознание обликов, способ главных компонент и анализ кластеров. Кроме того, существует также факторный анализ, однако он появился вследствие развития способа компонент. Все они применяются в определенных обстоятельствах, при наличии определенных условий и факторов.
1. Впервые термин «регрессия» был введен основателем биометрии Ф. Гальтоном (XIX в.), идеи которого были развиты его последователем К. Пирсоном.
Регрессионный анализ - метод статистической обработки данных, позволяющий измерить связь между одной или несколькими причинами (факторными признаками) и следствием (результативным признаком).
Признак - это основная отличительная черта, особенность изучаемого явления или процесса.
Результативный признак - исследуемый показатель.
Факторный признак - показатель, влияющий на значение результативного признака.
Целью регрессионного анализа является оценка функциональной зависимости среднего значения результативного признака (у ) от факторных (х 1 , х 2 , …, х n ), выражаемой в виде уравнения регрессии
у = f (x 1 , х 2 , …, х n ). (6.1)
Различают два вида регрессии: парную и множественную.
Парная (простая) регрессия - уравнение вида:
у = f (x ). (6.2)
Результативный признак при парной регрессии рассматривается как функция от одного аргумента, т.е. одного факторного признака.
Регрессионный анализ включает в себя следующие этапы:
· определение типа функции;
· определение коэффициентов регрессии;
· расчет теоретических значений результативного признака;
· проверку статистической значимости коэффициентов регрессии;
· проверку статистической значимости уравнения регрессии.
Множественная регрессия - уравнение вида:
у = f (x 1 , х 2 , …, х n ). (6.3)
Результативный признак рассматривается как функция от нескольких аргументов, т.е. много факторных признаков.
2. Для того чтобы правильно определить тип функции нужно на основании теоретических данных найти направление связи.
По направлению связи регрессия делится на:
· прямую регрессию, возникающую при условии, что с увеличением или уменьшением независимой величины «х» значения зависимой величины «у» также соответственно увеличиваются или уменьшаются;
· обратную регрессию, возникающую при условии, что с увеличением или уменьшением независимой величины «х» зависимая величина «у» соответственно уменьшается или увеличивается.
Для характеристики связей используют следующие виды уравнений парной регрессии:
· у=a+bx – линейное;
· y=e ax + b – экспоненциальное;
· y=a+b/x – гиперболическое;
· y=a+b 1 x+b 2 x 2 – параболическое;
· y=ab x – показательное и др.
где a, b 1 , b 2 - коэффициенты (параметры) уравнения; у - результативный признак; х - факторный признак.
3. Построение уравнения регрессии сводится к оценке его коэффициентов (параметров), для этого используют метод наименьших квадратов (МНК).
Метод наименьших квадратов позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака «у »от теоретических «у х » минимальна, то есть
Параметры уравнения регрессии у=a+bх по методу наименьших квадратов оцениваются с помощью формул:
где а – свободный коэффициент, b - коэффициент регрессии, показывает на сколько изменится результативный признак «y » при изменении факторного признака «x » на единицу измерения.
4. Для оценки статистической значимости коэффициентов регрессии используется -критерий Стьюдента.
Схема проверки значимости коэффициентов регрессии:
1) Н 0: a =0, b =0 - коэффициенты регрессии незначимо отличаются от нуля.
Н 1: a≠ 0, b≠ 0 - коэффициенты регрессии значимо отличаются от нуля.
2) р =0,05 – уровень значимости.
где m b , m a - случайные ошибки:
; 
. (6.7)
4) t табл (р; f ),
где f =n-k- 1 - число степеней свободы (табличное значение), n - число наблюдений, k х».
5) Если , то отклоняется, т.е. коэффициент значимый.
Если , то принимается, т.е. коэффициент незначимый.
5. Для проверки правильности построенного уравнения регрессии применяется критерий Фишера.
Схема проверки значимости уравнения регрессии:
1) Н 0: уравнение регрессии незначимо.
Н 1: уравнение регрессии значимо.
2) р =0,05 – уровень значимости.
3) 
, (6.8)
где - число наблюдений; k - число параметров в уравнении при переменных «х» ; у - фактическое значение результативного признака; y x - теоретическое значение результативного признака; - коэффициент парной кореляции.
4) F табл (р; f 1 ; f 2 ),
где f 1 =k, f 2 =n-k-1- число степеней свободы (табличные значения).
5) Если F расч >F табл , то уравнение регрессии подобрано верно и может применяться на практике.
Если F расч
6. Основным показателем, отражающим меру качества регрессионного анализа, является коэффициент детерминации (R 2).
Коэффициент детерминации показывает, какая доля зависимой переменной «у » учтена в анализе и вызвана влиянием на нее факторов, включенных в анализ.
Коэффициент детерминации (R 2) принимает значения в промежутке . Уравнение регрессии является качественным, если R 2 ≥0,8.
Коэффициент детерминации равен квадрату коэффициента корреляции, т.е.
Пример 6.1. По следующим данным построить и проанализировать уравнение регрессии:
Решение.
1) Вычислить коэффициент корреляции: . Связь между признаками прямая и умеренная.
2) Построить уравнение парной линейной регрессии.
2.1) Составить расчетную таблицу.
| № | Х | у | Ху | х 2 | у х | (у-у х) 2 | ||
| 55,89 | 47,54 | 65,70 | ||||||
| 45,07 | 15,42 | 222,83 | ||||||
| 54,85 | 34,19 | 8,11 | ||||||
| 51,36 | 5,55 | 11,27 | ||||||
| 42,28 | 45,16 | 13,84 | ||||||
| 47,69 | 1,71 | 44,77 | ||||||
| 45,86 | 9,87 | 192,05 | ||||||
| Сумма | 159,45 | 558,55 | ||||||
| Среднее | 77519,6 | 22,78 | 79,79 | 2990,6 |
,
Уравнение парной линейной регрессии: у х =25,17+0,087х.
3) Найти теоретические значения «у x » путем подстановки в уравнение регрессии фактических значений «х ».
4) Построить графики фактических «у» и теоретических значений «у х » результативного признака (рисунок 6.1):r xy =0,47) и небольшим числом наблюдений.
7) Вычислить коэффициент детерминации: R 2 =(0,47) 2 =0,22. Построенное уравнение некачественное.
Т.к. вычисления при проведении регрессионного анализа достаточно объемные, рекомендуется пользоваться специальными программами («Statistica 10», SPSS и др.).
На рисунке 6.2 приведена таблица с результатами регрессионного анализа, проведенного с помощью программы «Statistica 10».
Рисунок 6.2. Результаты регрессионного анализа, проведенного с помощью программы «Statistica 10»
5. Литература:
1. Гмурман В.Е. Теория вероятностей и математическая статистика: Учеб. пособие для вузов / В.Е. Гмурман. - М.: Высшая школа, 2003. - 479 с.
2. Койчубеков Б.К. Биостатистика: Учебное пособие. - Алматы: Эверо, 2014. - 154 с.
3. Лобоцкая Н.Л. Высшая математика. / Н.Л. Лобоцкая, Ю.В. Морозов, А.А. Дунаев. - Мн.: Высшая школа, 1987. - 319 с.
4. Медик В.А., Токмачев М.С., Фишман Б.Б. Статистика в медицине и биологии: Руководство. В 2-х томах / Под ред. Ю.М. Комарова. Т. 1. Теоретическая статистика. - М.: Медицина, 2000. - 412 с.
5. Применение методов статистического анализа для изучения общественного здоровья и здравоохранения: учебное пособие / ред. Кучеренко В.З. - 4-е изд., перераб. и доп. – М.: ГЭОТАР - Медиа, 2011. - 256 с.
Регрессионный анализ - это метод установления аналитического выражения стохастической зависимости между исследуемыми признаками. Уравнение регрессии показывает, как в среднем изменяется у при изменении любого из x i , и имеет вид:
где у - зависимая переменная (она всегда одна);
х i - независимые переменные (факторы) (их может быть несколько).
Если
независимая переменная одна - это простой
регрессионный анализ. Если же их несколько
(п
2),
то такой
анализ называется многофакторным.
В ходе регрессионного анализа решаются две основные задачи:
построение уравнения регрессии, т.е. нахождение вида зависимости между результатным показателем и независимыми факторами x 1 , x 2 , …, x n .
оценка значимости полученного уравнения, т.е. определение того, насколько выбранные факторные признаки объясняют вариацию признака у.
Применяется регрессионный анализ главным образом для планирования, а также для разработки нормативной базы.
В отличие от корреляционного анализа, который только отвечает на вопрос, существует ли связь между анализируемыми признаками, регрессионный анализ дает и ее формализованное выражение. Кроме того, если корреляционный анализ изучает любую взаимосвязь факторов, то регрессионный - одностороннюю зависимость, т.е. связь, показывающую, каким образом изменение факторных признаков влияет на признак результативный.
Регрессионный анализ - один из наиболее разработанных методов математической статистики. Строго говоря, для реализации регрессионного анализа необходимо выполнение ряда специальных требований (в частности, x l ,x 2 ,...,x n ; y должны быть независимыми, нормально распределенными случайными величинами с постоянными дисперсиями). В реальной жизни строгое соответствие требованиям регрессионного и корреляционного анализа встречается очень редко, однако оба эти метода весьма распространены в экономических исследованиях. Зависимости в экономике могут быть не только прямыми, но и обратными и нелинейными. Регрессионная модель может быть построена при наличии любой зависимости, однако в многофакторном анализе используют только линейные модели вида:
Построение уравнения регрессии осуществляется, как правило, методом наименьших квадратов, суть которого состоит в минимизации суммы квадратов отклонений фактических значений результатного признака от его расчетных значений, т.е.:
где т - число наблюдений;
j
=
a + b
1 x
1 j
+
b
2 x
2 j
+
... + b
n
х
n
j
-
расчетное
значение результатного фактора.
Коэффициенты регрессии рекомендуется определять с помощью аналитических пакетов для персонального компьютера или специального финансового калькулятора. В наиболее простом случае коэффициенты регрессии однофакторного линейного уравнения регрессии вида y = а + bх можно найти по формулам:
Кластерный анализ
Кластерный анализ - один из методов многомерного анализа, предназначенный для группировки (кластеризации) совокупности, элементы которой характеризуются многими признаками. Значения каждого из признаков служат координатами каждой единицы изучаемой совокупности в многомерном пространстве признаков. Каждое наблюдение, характеризующееся значениями нескольких показателей, можно представить как точку в пространстве этих показателей, значения которых рассматриваются как координаты в многомерном пространстве. Расстояние между точками р и q с k координатами определяется как:
Основным критерием кластеризации является то, что различия между кластерами должны быть более существенны, чем между наблюдениями, отнесенными к одному кластеру, т.е. в многомерном пространстве должно соблюдаться неравенство:
где r 1, 2 - расстояние между кластерами 1 и 2.
Так же как и процедуры регрессионного анализа, процедура кластеризации достаточно трудоемка, ее целесообразно выполнять на компьютере.
Регрессионный анализ
Регрессио́нный (линейный ) анализ - статистический метод исследования влияния одной или нескольких независимых переменных на зависимую переменную . Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные - критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных (см. Ложная корреляция ), а не причинно-следственные отношения.
Цели регрессионного анализа
- Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными)
- Предсказание значения зависимой переменной с помощью независимой(-ых)
- Определение вклада отдельных независимых переменных в вариацию зависимой
Регрессионный анализ нельзя использовать для определения наличия связи между переменными, поскольку наличие такой связи и есть предпосылка для применения анализа.
Математическое определение регрессии
Строго регрессионную зависимость можно определить следующим образом. Пусть , - случайные величины с заданным совместным распределением вероятностей. Если для каждого набора значений определено условное математическое ожидание
(уравнение регрессии в общем виде),то функция называется регрессией величины Y по величинам , а её график - линией регрессии по , или уравнением регрессии .
Зависимость от проявляется в изменении средних значений Y при изменении . Хотя при каждом фиксированном наборе значений величина остаётся случайной величиной с определённым рассеянием.
Для выяснения вопроса, насколько точно регрессионный анализ оценивает изменение Y при изменении , используется средняя величина дисперсии Y при разных наборах значений (фактически речь идет о мере рассеяния зависимой переменной вокруг линии регрессии).
Метод наименьших квадратов (расчёт коэффициентов)
На практике линия регрессии чаще всего ищется в виде линейной функции (линейная регрессия), наилучшим образом приближающей искомую кривую. Делается это с помощью метода наименьших квадратов , когда минимизируется сумма квадратов отклонений реально наблюдаемых от их оценок (имеются в виду оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную зависимость):
(M - объём выборки). Этот подход основан на том известном факте, что фигурирующая в приведённом выражении сумма принимает минимальное значение именно для того случая, когда .
Для решения задачи регрессионного анализа методом наименьших квадратов вводится понятие функции невязки :
Условие минимума функции невязки:
Полученная система является системой линейных уравнений с неизвестными
Если представить свободные члены левой части уравнений матрицей
а коэффициенты при неизвестных в правой части матрицей
то получаем матричное уравнение: , которое легко решается методом Гаусса . Полученная матрица будет матрицей, содержащей коэффициенты уравнения линии регрессии:
Для получения наилучших оценок необходимо выполнение предпосылок МНК (условий Гаусса−Маркова). В англоязычной литературе такие оценки называются BLUE (Best Linear Unbiased Estimators) − наилучшие линейные несмещенные оценки.
Интерпретация параметров регрессии
Параметры являются частными коэффициентами корреляции; интерпретируется как доля дисперсии Y, объяснённая , при закреплении влияния остальных предикторов, то есть измеряет индивидуальный вклад в объяснение Y. В случае коррелирующих предикторов возникает проблема неопределённости в оценках, которые становятся зависимыми от порядка включения предикторов в модель. В таких случаях необходимо применение методов анализа корреляционного и пошагового регрессионного анализа.
Говоря о нелинейных моделях регрессионного анализа, важно обращать внимание на то, идет ли речь о нелинейности по независимым переменным (с формальной точки зрения легко сводящейся к линейной регрессии), или о нелинейности по оцениваемым параметрам (вызывающей серьёзные вычислительные трудности). При нелинейности первого вида с содержательной точки зрения важно выделять появление в модели членов вида , , свидетельствующее о наличии взаимодействий между признаками , и т. д (см. Мультиколлинеарность).
См. также
Ссылки
- www.kgafk.ru - Лекция на тему «Регрессионный анализ»
- www.basegroup.ru - методы отбора переменных в регрессионные модели
Литература
- Норман Дрейпер, Гарри Смит Прикладной регрессионный анализ. Множественная регрессия = Applied Regression Analysis. - 3-е изд. - М .: «Диалектика», 2007. - С. 912. - ISBN 0-471-17082-8
- Устойчивые методы оценивания статистических моделей: Монография. - К. : ПП «Санспарель», 2005. - С. 504. - ISBN 966-96574-0-7 , УДК: 519.237.5:515.126.2, ББК 22.172+22.152
- Радченко Станислав Григорьевич, Методология регрессионного анализа: Монография. - К. : "Корнийчук", 2011. - С. 376. - ISBN 978-966-7599-72-0
Wikimedia Foundation . 2010 .
Целью регрессионного анализа является измерение связи между зависимой переменной и одной (парный регрессионный анализ) или несколькими (множественный) независимыми переменными. Независимые переменные называют также факторными, объясняющими, определяющими, регрессорами и предикторами.
Зависимую переменную иногда называют определяемой, объясняемой, «откликом». Чрезвычайно широкое распространение регрессионного анализа в эмпирических исследованиях связано не только с тем, что это удобный инструмент тестирования гипотез. Регрессия, особенно множественная, является эффективным методом моделирования и прогнозирования.
Объяснение принципов работы с регрессионным анализом начнем с более простого - парного метода.
Парный регрессионный анализ
Первые действия при использовании регрессионного анализа будут практически идентичны предпринятым нами в рамках вычисления коэффициента корреляции. Три основных условия эффективности корреляционного анализа по методу Пирсона - нормальное распределение переменных, интервальное измерение переменных, линейная связь между переменными - актуальны и для множественной регрессии. Соответственно, на первом этапе строятся диаграммы рассеяния, проводится статистически-описательный анализ переменных и вычисляется линия регрессии. Как и в рамках корреляционного анализа, линии регрессии строятся методом наименьших квадратов.
Чтобы более наглядно проиллюстрировать различия между двумя методами анализа данных, обратимся к уже рассмотренному примеру с переменными «поддержка СПС» и «доля сельского населения». Исходные данные идентичны. Отличие в диаграммах рассеяния будет заключаться в том, что в регрессионном анализе корректно откладывать зависимую переменную - в нашем случае «поддержка СПС» по оси Y, тогда как в корреляционном анализе это не имеет значения. После чистки выбросов диаграмма рассеяния имеет вид:
Принципиальная идея регрессионного анализа состоит в том, что, имея общую тенденцию для переменных - в виде линии регрессии, - можно предсказать значение зависимой переменной, имея значения независимой.
Представим обычную математическую линейную функцию. Любую прямую в евклидовом пространстве можно описать формулой:
где а - константа, задающая смещение по оси ординат; b - коэффициент, определяющий угол наклона линии.
Зная угловой коэффициент и константу, можно рассчитать (предсказать) значение у для любого х.
Эта простейшая функция и легла в основу модели регрессионного анализа с той оговоркой, что значение у мы предскажем не точно, а в рамках определенного доверительного интервала, т.е. приблизительно.
Константой является точка пересечения линии регрессии и оси ординат (F-пересечение, в статистических пакетах, как правило, обозначаемое «interceptor»). В нашем примере с голосованием за СПС ее округленное значение составит 10,55. Угловой коэффициент Ъ будет равен примерно -0,1 (как и в корреляционном анализе, знак показывает тип связи - прямая или обратная). Таким образом, полученная модель будет иметь вид СП С = -0,1 х Сел. нас. + 10,55.
Так, для случая «Республика Адыгея» с долей сельского населения 47% предсказанное значение составит 5,63:
СПС = -0,10 х 47 + 10,55 = 5,63.
Разность между исходным и предсказанным значениями называется остатком (с этим термином - принципиальным для статистики - мы уже сталкивались при анализе таблиц сопряженности). Так, для случая «Республика Адыгея» остаток будет равен 3,92 - 5,63 = -1,71. Чем больше модульное значение остатка, тем менее удачно предсказано значение.
Рассчитываем предсказанные значения и остатки для всех случаев:
|
Анализ соотношения исходных и предсказанных значений служит для оценки качества полученной модели, ее прогностической способности. Одним из главных показателей регрессионной статистики является множественный коэффициент корреляции R - коэффициент корреляции между исходными и предсказанными значениями зависимой переменной. В парном регрессионном анализе он равен обычному коэффициенту корреляции Пирсона между зависимой и независимой переменной, в нашем случае - 0,63. Чтобы содержательно интерпретировать множественный R, его необходимо преобразовать в коэффициент детерминации. Это делается так же, как и в корреляционном анализе - возведением в квадрат. Коэффициент детерминации R -квадрат (R 2) показывает долю вариации зависимой переменной, объясняемую независимой (независимыми) переменными.
В нашем случае R 2 = 0,39 (0,63 2); это означает, что переменная «доля сельского населения» объясняет примерно 40% вариации переменной «поддержка СПС». Чем больше величина коэффициента детерминации, тем выше качество модели.
Другим показателем качества модели является стандартная ошибка оценки (standard error of estimate). Это показатель того, насколько сильно точки «разбросаны» вокруг линии регрессии. Мерой разброса для интервальных переменных является стандартное отклонение. Соответственно, стандартная ошибка оценки - это стандартное отклонение распределения остатков. Чем выше ее значение, тем сильнее разброс и тем хуже модель. В нашем случае стандартная ошибка составляет 2,18. Именно на эту величину наша модель будет «ошибаться в среднем» при прогнозировании значения переменной «поддержка СПС».
Регрессионная статистика включает в себя также дисперсионный анализ. С его помощью мы выясняем: 1) какая доля вариации (дисперсии) зависимой переменной объясняется независимой переменной; 2) какая доля дисперсии зависимой переменной приходится на остатки (необъясненная часть); 3) каково отношение этих двух величин (/"-отношение). Дисперсионная статистика особенно важна для выборочных исследований - она показывает, насколько вероятно наличие связи между независимой и зависимой переменными в генеральной совокупности. Однако и для сплошных исследований (как в нашем примере) изучение результатов дисперсионного анализа небесполезно. В этом случае проверяют, не вызвана ли выявленная статистическая закономерность стечением случайных обстоятельств, насколько она характерна для того комплекса условий, в которых находится обследуемая совокупность, т.е. устанавливается не истинность полученного результата для какой-то более обширной генеральной совокупности, а степень его закономерности, свободы от случайных воздействий.
В нашем случае статистика дисперсионного анализа такова:
| SS | df | MS | F | значение | |
| Регрес. | 258,77 | 1,00 | 258,77 | 54,29 | 0.000000001 |
| Остат. | 395,59 | 83,00 | Л,11 | ||
| Всего | 654,36 |
F-отношение 54,29 значимо на уровне 0,0000000001. Соответственно, мы можем с уверенностью отвергнуть нулевую гипотезу (что обнаруженная нами связь носит случайный характер).
Аналогичную функцию выполняет критерий t, но уже в отношении регрессионных коэффициентов (углового и F-пересечения). С помощью критерия / проверяем гипотезу о том, что в генеральной совокупности регрессионные коэффициенты равны нулю. В нашем случае мы вновь можем уверенно отбросить нулевую гипотезу.
Множественный регрессионный анализ
Модель множественной регрессии практически идентична модели парной регрессии; разница лишь в том, что в линейную функцию последовательно включаются несколько независимых переменных:
Y = b1X1 + b2X2 + …+ bpXp + а.
Если независимых переменных больше двух, мы не имеем возможности получить визуальное представление об их связи, в этом плане множественная регрессия менее «наглядна», нежели парная. При наличии двух независимых переменных данные бывает полезно отобразить на трехмерной диаграмме рассеяния. В профессиональных статистических пакетах программ (например, Statisticа) существует опция вращения трехмерной диаграммы, позволяющая хорошо визуально представить структуру данных.
При работе с множественной регрессией, в отличие от парной, необходимо определять алгоритм анализа. Стандартный алгоритм включает в итоговую регрессионную модель все имеющиеся предикторы. Пошаговый алгоритм предполагает последовательное включение (исключение) независимых переменных, исходя из их объяснительного «веса». Пошаговый метод хорош, когда имеется много независимых переменных; он «очищает» модель от откровенно слабых предикторов, делая ее более компактной и лаконичной.
Дополнительным условием корректности множественной регрессии (наряду с интервальностью, нормальностью и линейностью) является отсутствие мультиколлинеарности - наличия сильных корреляционных связей между независимыми переменными.
Интерпретация статистики множественной регрессии включает в себя все злементы, рассмотренные нами для случая парной регрессии. Кроме того, в статистике множественного регрессионного анализа есть и другие важные составляющие.
Работу с множественной регрессией мы проиллюстрируем на примере тестирования гипотез, объясняющих различия в уровне электоральной активности по регионам России. В ходе конкретных эмпирических исследований были высказаны предположения, что на уровень явки избирателей влияют:
Национальный фактор (переменная «русское население»; операционализирована как доля русского населения в субъектах РФ). Предполагается, что увеличение доли русского населения ведет к снижению активности избирателей;
Фактор урбанизации (переменная «городское население»; операционализирована как доля городского населения в субъектах РФ, с этим фактором мы уже работали в рамках корреляционного анализа). Предполагается, что увеличение доли городского населения также ведет к снижению активности избирателей.
Зависимая переменная - «интенсивность избирательной активности» («актив») операционализирована через усредненные данные явки по регионам на федеральных выборах с 1995 по 2003 г. Исходная таблица данных для двух независимых и одной зависимой переменной будет иметь следующий вид:
| Случай | Переменные | ||
| Актив. | Гор. нас. | Рус. нас. | |
| Республика Адыгея | 64,92 | 53 | 68 |
| Республика Алтай | 68,60 | 24 | 60 |
| Республика Бурятия | 60,75 | 59 | 70 |
| Республика Дагестан | 79,92 | 41 | 9 |
| Республика Ингушетия | 75,05 | 41 | 23 |
| Республика Калмыкия | 68,52 | 39 | 37 |
| Карачаево-Черкесская Республика | 66,68 | 44 | 42 |
| Республика Карелия | 61,70 | 73 | 73 |
| Республика Коми | 59,60 | 74 | 57 |
| Республика Марий Эл | 65,19 | 62 | 47 |
И т.д. (после чистки выбросов остается 83 случая из 88)
Статистика, описывающая качество модели:
1. Множественный R = 0,62; Л-квадрат = 0,38. Следовательно, национальный фактор и фактор урбанизации вместе объясняют около 38% вариации переменной «электоральная активность».
2. Средняя ошибка составляет 3,38. Именно настолько «в среднем ошибается» построенная модель при прогнозировании уровня явки.
3. /л-отношение объясненной и необъясненной вариации составляет 25,2 на уровне 0,000000003. Нулевая гипотеза о случайности выявленных связей отвергается.
4. Критерий /для константы и регрессионных коэффициентов переменных «городское население» и «русское население» значим на уровне 0,0000001; 0,00005 и 0,007 соответственно. Нулевая гипотеза о случайности коэффициентов отвергается.
Дополнительная полезная статистика в анализе соотношения исходных и предсказанных значений зависимой переменной - расстояние Махаланобиса и расстояние Кука. Первое - мера уникальности случая (показывает, насколько сочетание значений всех независимых переменных для данного случая отклоняется от среднего значения по всем независимым переменным одновременно). Второе - мера влиятельности случая. Разные наблюдения по-разному влияют на наклон линии регрессии, и с помощью расстояния Кука можно сопоставлять их по этому показателю. Это бывает полезно при чистке выбросов (выброс можно представить как чрезмерно влиятельный случай).
В нашем примере к уникальным и влиятельным случаям, в частности, относится Дагестан.
| Случай | Исходные значения | Предска значения | Остатки | Расстояние Махаланобиса | Расстояние |
| Адыгея | 64,92 | 66,33 | -1,40 | 0,69 | 0,00 |
| Республика Алтай | 68,60 | 69.91 | -1,31 | 6,80 | 0,01 |
| Республика Бурятия | 60,75 | 65,56 | -4,81 | 0,23 | 0,01 |
| Республика Дагестан | 79,92 | 71,01 | 8,91 | 10,57 | 0,44 |
| Республика Ингушетия | 75,05 | 70,21 | 4,84 | 6,73 | 0,08 |
| Республика Калмыкия | 68,52 | 69,59 | -1,07 | 4,20 | 0,00 |
Собственно регрессионная модель обладает следующими параметрами: У-пересечение (константа) = 75,99; Ь (Гор. нас.) = -0,1; Ъ (Рус. нас.) = -0,06. Итоговая формула:
Аактив, = -0,1 х Гор. нас.n+- 0,06 х Рус. нас.n + 75,99.
Можем ли мы сравнивать «объяснительную силу» предикторов, исходя из значения коэффициента 61. В данном случае - да, так как обе независимые переменные имеют одинаковый процентный формат. Однако чаще всего множественная регрессия имеет дело с переменными, измеренными в разных шкалах (к примеру, уровень дохода в рублях и возраст в годах). Поэтому в общем случае сравнивать предсказательные возможности переменных по регрессионному коэффициенту некорректно. В статистике множественной регрессии для этой цели существует специальный бета-коэффициент (В), вычисляемый отдельно для каждой независимой переменной. Он представляет собой частный (вычисленный после учета влияния всех других предикторов) коэффициент корреляции фактора и отклика и показывает независимый вклад фактора в предсказание значений отклика. В парном регрессионном анализе бета-коэффициент по понятным причинам равен коэффициенту парной корреляции между зависимой и независимой переменной.
В нашем примере бета (Гор. нас.) = -0,43, бета (Рус. нас.) = -0,28. Таким образом, оба фактора отрицательно влияют на уровень электоральной активности, при этом значимость фактора урбанизации существенно выше значимости национального фактора. Совокупное влияние обоих факторов определяет около 38% вариации переменной «электоральная активность» (см. значение Л-квадрат).
