какой коэффициент корреляции выбрать

КАКОЙ КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ ВЫБРАТЬ

При изучении связей между переменными наиболее предпочтительным является случай применения г-Пирсона непосредственно к исходным данным. В любом случае, обнаружена корреляция или нет, необходим визуальный ана­
лиз графиков распределения переменных и графика двумерного рассеивания, если исследователя действительно интересует связь между соответствующи­ми переменными. Применяя г-Пирсона, необходимо убедиться, что:

□ обе переменные не имеют выраженной асимметрии;

П связь между переменными прямолинейная.

Если хотя бы одно из условий не выполняется, можно попытаться приме­нить ранговые коэффициенты корреляции: г-Спирмена или т-Кендалла. Но и ранговые корреляции имеют свои ограничения. Они применимы, если:

П обе переменные представлены в количественной шкале (метрической или ранговой);

□ связь между переменными является монотонной (не меняет свой знак с изменением величины одной из переменных).

Применение ранговых коэффициентов корреляции при расчете «вручную» требует предварительного ранжирования переменных. Если при этом встре­чаются одинаковые значения признаков (связи в рангах), применяется фор­мула г-Пирсона для предварительно ранжированных переменных (в случае с г-Спирмена) либо вводятся поправки на связанные ранги (в случае с т-Кен­далла).

Если есть предположение, что корреляция обусловлена влиянием третьей переменной, и все три переменные допускают применение г-Пирсона для вычисления корреляции между ними, возможна проверка этого предположе­ния путем вычисления коэффициента частной корреляции этих переменных (при фиксированных значениях третьей переменной). Если значение част­ной корреляции двух переменных по абсолютной величине заметно меньше, чем их парная корреляция, то парная корреляция обусловлена влиянием тре­тьей переменной.

Применяя коэффициенты корреляции, особое внимание следует уделять графикам двумерного рассеивания. Они позволяют выявить случаи, когда кор­реляция обусловлена неоднородностью выборки по той и другой перемен­ной. Кроме того, эти графики позволяют определить характер связи: ее линейность и монотонность. Если связь является криволинейной и не моно­тонной (например, имеет форму Ц), то коэффициенты корреляции не подхо­дят. В этом случае можно разделить выборку на группы по одной из перемен­ных, для сравнения этих групп по выраженности другой переменной.

Если обе переменные представлены в бинарной шкале (0,1), для изучения связи между ними можно применять ф-коэффициент сопряженности, если для каждой переменной количество 0 и 1 приблизительно одинаковое.

Во всех случаях, когда исследователя интересует связь между переменными, а коэффициенты корреляции для этого не подходят, изучение этой связи воз­можно при помощи сравнения групп, выделяемых по одной из переменных. Если другая переменная метрическая или ранговая, то группы сравниваются по уров­ню ее выраженности, если номинативная — то по ее распределению.

Источник

Что такое корреляция акций и облигаций?

Объясните, пожалуйста, простым языком, что такое корреляция ценных бумаг? Почему о ней говорят при составлении портфеля и что значит, когда она отрицательная?

Корреляция показывает, насколько активы схожи по поведению. Показатель описывает закономерности. Например, если при росте одного актива другой дешевеет и эта закономерность подтверждается историческими данными, говорят, что у активов обратная корреляция. Это относится как к отдельным ценным бумагам, так и к широким рынкам, классам активов и секторам экономики.

Коэффициент корреляции вычисляется на конкретном историческом отрезке. Он обозначается буквой r и принимает значения от −1 до +1. Если два актива движутся в связке, то коэффициент корреляции будет ближе к +1, а если в противоположных направлениях — ближе к −1. Но когда корреляция близка к нулю, взаимосвязи между ними нет. Это значит, что при росте или падении одного актива другой может вообще никак себя не проявлять. Например, корреляция акций и облигаций на рынке США в период с 1950 по 2012 год составила 0,11.

Расскажу, как можно использовать знание о корреляции при формировании портфеля.

Роль корреляции в управлении портфелем

Понимание корреляции между инструментами позволяет диверсифицировать портфель и снизить инвестиционные риски.

Например, если инвестор собрал портфель из 10 нефтегазовых компаний, он защитил себя только от специфических рисков, связанных с конкретным эмитентом. Волатильность портфеля по-прежнему будет высокой: если цены на нефть упадут, портфель также уйдет в красную зону из-за тесной корреляции акций.

Чтобы диверсификация работала, необходимо использовать инструменты с низкой или обратной корреляцией. Тогда движение цены одного актива будет компенсироваться движением другого. Так, государственные облигации — наиболее частный диверсификатор для акций, поскольку у этих активов исторически низкая взаимосвязь друг с другом.

Таким же образом устроен и механизм хеджирования, когда инвестор открывает позицию с отрицательной корреляцией к исходному активу, чтобы застраховаться от его падения. Например, так называемые обратные ETF обладают корреляцией, близкой к −1 по отношению к исходному активу.

Как победить выгорание

Как изменяется корреляция со временем

Современная теория портфеля позволяет найти идеальную смесь активов, при которой у портфеля будет оптимальное соотношение доходности и риска. Но главный недостаток этой теории в том, что корреляции со временем могут меняться. Два актива могут начать двигаться синхронно, даже если в прошлом их взаимосвязь была низкой. И заметить это можно только постфактум — на исторических данных.

Например, компания Blackstone провела исследование корреляции между разными классами активов за 20 лет. Результаты показали, что корреляция со временем только увеличивается. Это связано с разными факторами: тесной интеграцией экономик, глобальными производственными цепочками и усилившимся влиянием рынков друг на друга.

Seeking an Alternative — BlackstonePDF, 421 КБ

Если посмотреть на десятилетие перед кризисом 2008 года, то корреляция большинства инструментов по отношению к S&P 500 была ниже 0,5. Но после 2008 года она заметно выросла. Теперь только у высоконадежных облигаций по-прежнему слабая связь с акциями, хотя их корреляция сменилась с отрицательной на положительную: если раньше при падении S&P 500 они росли, то теперь тоже падают, пусть и не так сильно.

Корреляция различных классов активов с индексом S&P 500

Корреляция и волатильность

Между корреляцией и волатильностью существует взаимосвязь: когда рынки становятся волатильными, корреляции между инструментами возрастают. Поэтому рост корреляции со временем можно объяснить тем, что за последние десятилетия рынки стали более волатильными. Например, с 2000 по 2009 год было 95 торговых сессий, когда S&P 500 сдвинулся на 3% и больше. А за предшествующие 50 лет был всего 81 случай.

Количество дней в каждом десятилетии, когда S&P 500 сдвинулся на 3% и более

Особенно явно корреляции усиливаются во время фондовых обвалов. В панике инвесторы массово скидывают ценные бумаги широкого спектра, и в итоге все падает независимо от корреляции.

Поэтому на спокойном рынке с 2014 по 2017 год положительно коррелировали между собой только высокорисковые активы: S&P 500, глобальные акции, бумаги развивающихся рынков и фонды REIT. А низкорисковые активы были связаны только между собой. Это, например, муниципальные, корпоративные облигации, долгосрочные трежерис. При этом корреляции между этими двумя группами активов практически не наблюдалось.

Но во время коронавирусного кризиса корреляции усилились. Все перечисленные выше активы стали взаимосвязаны. А облигации, которые традиционно считаются защитным инструментом, падали вместе с рисковыми активами.

Как посчитать корреляцию

Чтобы рассчитать корреляцию, можно воспользоваться онлайн-калькулятором, например от Portfolio Visualizer или более простым вариантом от Unicornbay.

Я использовал Portfolio Visualizer, чтобы проверить корреляции между такими классами активов:

Для этого я вбил через пробелы указанные тикеры, выбрал расчет корреляций на основе месячной доходности инструментов и рассчитал 36-месячную скользящую.

Корреляции рассчитывались в рамках окна шириной три года, которое двигалось по шкале времени с марта 2006 по февраль 2021 года. Скользящая корреляция за 36 месяцев позволяет увидеть, как менялись ее значения с течением времени.

Я начал расчет с марта 2006 года, так как для фонда DBC более ранних данных нет.

Результаты расчетов представлены в таблице. Мы видим, что исторически у недвижимости, коммодити и S&P 500 слабая отрицательная корреляция по отношению к долгосрочным и коротким облигациям.

36-месячная скользящая корреляция разных классов активов

Как рассчитать корреляцию в «Экселе»

Скользящие корреляции также достаточно легко рассчитать в «Экселе». В этом помогает функция КОРРЕЛ() — или CORREL() в англоязычной версии.

Для начала необходимо сформировать два массива данных с котировками интересующих инструментов. Для примера я возьму акции «Газпрома» (GAZP) и Сбербанка (SBER) и выгружу цены бумаг на конец каждого месяца с 1 марта 2015 по 1 марта 2021 года. Всего получилось 73 месяца.

После этого можно воспользоваться функцией КОРРЕЛ(), чтобы посчитать скользящие корреляции. Я приведу пример, как рассчитать скользящую трехмесячную, то есть значение за каждое предыдущее окно в три месяца.

Что в итоге

Корреляция показывает схожесть поведения активов. Понимание корреляций активов используется при диверсификации, а также оптимизации стратегии согласно современной теории портфеля.

Корреляция рассчитывается на конкретном временном отрезке, и она может меняться. Как показывают исторические данные, с течением времени корреляция растет.

Корреляция усиливается на падающих рынках и вместе с увеличением волатильности.

Что делать? Читатели спрашивают — эксперты Т⁠—⁠Ж отвечают

MarketTwits, как-то неправильно приводить в пример корреляцию акции и индекса, состоящего на 1/6 из этих акций. Вот Русгидро и Сбер сравнить да, выбрать их индекса максимально отрицательно коррелирующие и составить свой идеальный индекс)

Источник

19. Линейный коэффициент корреляции

Эта тема планировалась более 10 лет назад и вот, наконец, я здесь…. И вы здесь! И это замечательно! Даже не то слово. Это корреляционно.

О корреляции речь зашла в статьях в статьях об аналитической и комбинационной группировке, в результате чего перед нами нарисовались некоторые эмпирические показателями корреляции (прочитайте хотя бы «по диагонали»!). И сейчас на очереди линейный коэффициент корреляции, популярный настолько, что по умолчанию под коэффициентом корреляции понимают именно его. …Да, всё верно – существует довольно много разных коэффициентов корреляции. Однако всему своё время.

Материал данной темы состоит из двух уровней:

– начального, для всех – вплоть до студенток психологических и социологических факультетов, школьников, бабушек, дедушек, etc и

– продвинутого, где я разберу более редкие задачи, а некоторые даже не буду разбирать 🙂

В результате вы научитесь БЫСТРО решать типовые задачи (видео прилагается) и для самых ленивых есть калькуляторы. И пока не запамятовал, хочу порекомендовать корреляционно-регрессионный анализ для ваших научных работ и практических исследований – наряду со статистическими гипотезами, это самая настоящая находка в плане новизны и творческих изысканий.

Оглавление:

то было для «чайников», для начала достаточно…

…и в этот момент я благоговейно улыбаюсь – как здорово, что все мы здесь сегодня собрались:

Имеются выборочные данные по студентам: – количество прогулов за некоторый период времени и – суммарная успеваемость за этот период:

И сразу обращаю внимание, что в условии приведены несгруппированные данные. Помимо этого варианта, есть задачи, где изначально дана комбинационная таблица, и их мы тоже разберём. Сначала одно, затем другое.

1) высказать предположение о наличии и направлении корреляционной зависимости признака-результата от признака-фактора и построить диаграмму рассеяния;

2) анализируя диаграмму рассеяния, сделать вывод о форме зависимости;

3) найти уравнение линейной регрессии на , выполнить чертёж;

4) вычислить линейный коэффициент корреляции, сделать вывод;

5) вычислить коэффициент детерминации, сделать вывод,

и позже будет ещё 5-6 пунктов для продвинутых читателей (см. конец урока).

Решение:

1) Прежде всего, повторим, что такое корреляционная зависимость. Очевидно, что чем больше студент прогуливает, тем более вероятно, что у него плохая успеваемость. Но всегда ли это так? Нет, не всегда. Успеваемость зависит от многих факторов. Один студент может посещать все пары, но все равно учиться посредственно, а другой – учиться неплохо даже при достаточно большом количестве прогулов. Однако общая тенденция состоит в том, что с увеличением количества прогулов средняя успеваемость студентов будет падать. Такая нежёсткая зависимость и называется корреляционной.

По своему направлению зависимость бывает прямой («чем больше, тем больше») и обратной («чем больше, тем меньше»). В данной задаче мы высказали предположение о наличии обратной корреляционной зависимости – успеваемости студентов от – количества их прогулов. И что немаловажно, обосновали причинно-следственную связь (читать всем. ) между признаками.

Проверить выдвинутое предположение проще всего графически, и в этом нам поможет:

диаграмма рассеяния

– это множество точек в декартовой системе координат, абсциссы которых соответствуют значениям признака-фактора , а ординаты – соответствующим значениям признака-результата . Минимальное количество точек должно равняться пяти-шести, в противном случае рассматриваемая задача превращается в профанацию. И мы «вписываемся в рамки» – объём выборки равен восьми студентам:

Обратите, кстати, внимание как раз на тот момент, что при одном и том же количестве прогулов (15) двое студентов имеют существенно разные результаты.

2) По диаграмме рассеяния хорошо видно, что с увеличением числа прогулов успеваемость преимущественно падает, что подтверждает наличие обратной корреляционной зависимости успеваемости от количества прогулов. Более того, почти все точки «выстроились» примерно по прямой, что даёт основание предположить, что данная зависимость близкА к линейной.

И здесь я анонсирую дальнейшие действия: сейчас нам предстоит найти уравнение прямой, ТАКОЙ, которая проходит максимально близко сразу ко всем эмпирическим точкам, а также оценить тесноту линейной корреляционной зависимости – насколько близко расположены эти точки к построенной прямой.

Технически существует два пути решения:

– сначала найти уравнение прямой и затем оценить тесноту зависимости;
– сначала найти тесноту и затем составить уравнение.

В практически задачах чаще встречается второй вариант, но я начну с первого, он более последователен. Построим:

3) уравнение линейной регрессии на

Это и есть та самая оптимальная прямая , которая проходит максимально близко ко всем точкам. Обычно её находят методом наименьших квадратов, и мы пойдём знакомым путём. Заполним расчётную таблицу:

Обратите внимание, что в отличие от задач урока МНК у нас появился дополнительный столбец , он потребуется в дальнейшем, для расчёта коэффициента корреляции.

Коэффициенты функции найдём из решения системы:

Сократим оба уравнения на 2, всё попроще будет:

Систему решим по формулам Крамера:
, значит, система имеет единственное решение.

И проверка forever, подставим полученные значения в левую часть каждого уравнения исходной системы:

в результате получены соответствующие правые части, значит, система решена верно.

Таким образом, искомое уравнение регрессии:

Данное уравнение показывает, что с увеличением количества прогулов («икс») на 1 единицу суммарная успеваемость падает в среднем на 6,0485 – примерно на 6 баллов. Об этом нам рассказал коэффициент «а». И обратите особое внимание, что эта функция возвращает нам средние (среднеожидаемые) значения «игрек» для различных значений «икс».

Почему это регрессия именно « на » и о происхождении самого термина «регрессия» я рассказал чуть ранее, в параграфе эмпирические линии регрессии. Если кратко, то полученные с помощью уравнения средние значения успеваемости («игреки») регрессивно возвращают нас к первопричине – количеству прогулов. Вообще, регрессия – не слишком позитивное слово, но какое уж есть.

Найдём пару удобных точек для построения прямой:

отметим их на чертеже (малиновый цвет) и проведём линию регрессии:

Говорят, что уравнение регрессии аппроксимирует (приближает) эмпирические данные (точки), и с помощью него можно интерполировать (восстановить) неизвестные промежуточные значения, так при количестве прогулов среднеожидаемая успеваемость составит балла.

И, конечно, осуществимо прогнозирование, так при среднеожидаемая успеваемость составит баллов. Единственное, нежелательно брать «иксы», которые расположены слишком далеко от эмпирических точек, поскольку прогноз, скорее всего, не будет соответствовать действительности. Например, при значение может вообще оказаться невозможным, ибо у успеваемости есть свой фиксированный «потолок». И, разумеется, «икс» или «игрек» в нашей задаче не могут быть отрицательными.

Второй вопрос касается тесноты зависимости. Очевидно, что чем ближе эмпирические точки к прямой, тем теснее линейная корреляционная зависимость – тем уравнение регрессии достовернее отражает ситуацию, и тем качественнее полученная модель. И наоборот, если многие точки разбросаны вдали от прямой, то признак зависит от вовсе не линейно (если вообще зависит) и линейная функция плохо отражает реальную картину.

Прояснить данный вопрос нам поможет:

4) линейный коэффициент корреляции

Этот коэффициент как раз и оценивает тесноту линейной корреляционной зависимости и более того, указывает её направление (прямая или обратная). Его полное название: выборочный линейный коэффициент пАрной корреляции Пирсона 🙂

– «выборочный» – потому что мы рассматриваем выборочную совокупность;
– «линейный» – потому что он оценивает тесноту линейной корреляционной зависимости;
– «пАрной» – потому что у нас два признака (бывает хуже);
– и «Пирсона» – в честь английского статистика Карла Пирсона, это он автор понятия «корреляция».

И в зависимости от фантазии автора задачи вам может встретиться любая комбинация этих слов. Теперь нас не застанешь врасплох, Карл.

Линейный коэффициент корреляции вычислим по формуле:
, где: – среднее значение произведения признаков, – средние значения признаков и – стандартные отклонения признаков. Числитель формулы имеет особый смысл, о котором я расскажу, когда мы будет разбирать второй способ решения.

Осталось разгрести всё это добро 🙂 Впрочем, все нужные суммы уже рассчитаны в таблице выше. Вычислим средние значения:

Стандартные отклонения найдём как корни из соответствующих дисперсий, вычисленных по формуле:

Таким образом, коэффициент корреляции:

И расшифровка: коэффициент корреляции может изменяться в пределах и чем он ближе по модулю к единице, тем теснее линейная корреляционная зависимость – тем ближе расположены точки к прямой, тем качественнее и достовернее линейная модель. Если либо , то речь идёт о строгой линейной зависимости, при которой все эмпирические точки окажутся на построенной прямой. Наоборот, чем ближе к нулю, тем точки рассеяны дальше, тем линейная зависимость выражена меньше. Однако в последнем случае зависимость всё равно может быть! – например, нелинейной или какой-нибудь более загадочной. Но до этого мы ещё дойдём. А у кого не хватит сил, донесём 🙂

Для оценки тесноты связи будем использовать уже знакомую шкалу Чеддока:

При этом если , то корреляционная связь обратная, а если , то прямая.

В нашем случае , таким образом, существует сильная обратная линейная корреляционная зависимость – суммарной успеваемости от – количества прогулов.

Линейный коэффициент корреляции – это частный аналог эмпирического корреляционного отношения. Но в отличие от отношения, он показывает не только тесноту, но ещё и направление зависимости, ну и, конечно, здесь определена её форма (линейная).

5) Коэффициент детерминации

– это частный аналог эмпирического коэффициента детерминации – есть квадрат коэффициента корреляции:

– коэффициент детерминации показывает долю вариации признака-результата , которая обусловлена воздействием признака-фактора .

В нашей задаче:
– таким образом, в рамках построенной модели успеваемость на 51,74% зависит от количества прогулов. Оставшаяся часть вариации успеваемости (48,26%) обусловлена другими причинами.

! Примечание: но это не является какой-то «абсолютной истиной», это всего лишь оценка в рамках построенной модели.

Задание выполнено

Но точку ставить рано. Теперь второй способ решения, в котором мы сначала находим коэффициент корреляции, а затем уравнение регрессии.

Линейный коэффициент корреляции вычислим по формуле:
, где – стандартные отклонения признаков .

Член в числителе называют корреляционным моментом или коэффициентом ковариации (совместной вариации) признаков, он рассчитывается следующим образом: , где – объём статистической совокупности, а – средние значения признаков. Данный коэффициент показывает, насколько согласованно отклоняются пАрные значения от своих средних в ту или иную сторону. Формулу можно упростить, в результате чего получится ранее использованная версия, без подробных выкладок: . Но сейчас мы пойдём другим путём.

Заполним расчётную таблицу:

При этом сначала рассчитываем левые нижние суммы и средние значения признаков:
и только потом заполняем оставшиеся столбцы таблицы. О том, как быстро выполнить эти вычисления в Экселе, будет видео ниже!

Вычислим коэффициент ковариации:
.

Стандартные отклонения вычислим как квадратные корни из дисперсий:

Таким образом, коэффициент корреляции:

И если нам известны значения , то коэффициенты уравнения регрессии легко рассчитать по следующим формулам:

Таким образом, искомое уравнение:

Теперь смотрим ролик о том, как это всё быстро подсчитать и построить:

Как вычислить коэффициент корреляции и найти уравнение регрессии? (Ютуб)

Если под рукой нет Экселя, ничего страшного, разобранную задачу не так трудно решить в обычной клетчатой тетради. А если Эксель есть и времени нет, то можно воспользоваться моим калькулятором. Да, вы можете найти аналоги в Сети, но, скорее всего, это будет не совсем то, что нужно 😉

Какой способ решения выбрать? Ориентируйтесь на свой учебный план и методичку. По умолчанию лучше использовать 2-й способ, он несколько короче, и, вероятно, потому и встречается чаще. Кстати, если вам нужно построить ТОЛЬКО уравнение регрессии, то уместен 1-й способ, ибо там мы находим это уравнение в первую очередь.

Следующая задача много-много лет назад была предложена курсантам местной школы милиции (тогда ещё милиции), и это чуть ли не первая задача по теме, которая встретилась в моей профессиональной карьере. И я безмерно рад предложить её вам сейчас, разумеется, с дополнительными пунктами:)

В результате независимых опытов получены 7 пар чисел:

…да, числа могут быть и отрицательными.

По данным наблюдений вычислить линейный коэффициент корреляции и детерминации, сделать выводы. Найти параметры линейной регрессии на , пояснить их смысл. Изобразить диаграмму рассеяния и график регрессии. Вычислить , что означают полученные результаты?

Из условия следует, что признак , очевидно, зависит от (ибо кто ж делает бессвязные опыты). Однако помните, что корреляционная зависимость и причинно-следственная связь – это не одно и то же! (прочитайте, если до сих пор не прочитали!). Поэтому, если в задаче просто предложены два числовых ряда (без контекста), то можно говорить лишь о зависимости корреляционной, но не о причинно-следственной.

Все данные уже забиты в Эксель, и вам осталось аккуратно выполнить расчёты. В образце я решил задачу вторым, более распространённым способом. И, конечно же, выполните проверку первым путём.

Следует отметить, что в целях экономии места я специально подобрал задачи с малым объёмом выборки. На практике обычно предлагают 10 или 20 пар чисел, реже 30, и максимальная выборка, которая мне встречалась в студенческих работах – 100. …Соврал малость, 80.

И сейчас я вас приглашаю на следующий урок, назову его Уравнение линейной регрессии, где мы рассчитаем и найдём всё то же самое – только для комбинационной группировки. Плюс немного глубже копнём уравнения регрессии (их два).

Пример 68. Решение: вычислим суммы и средние значения признаков , и заполним расчётную таблицу:

Вычислим коэффициент ковариации:
.
Вычислим средние квадратические отклонения:

Вычислим коэффициент корреляции:
, таким образом, существует сильная прямая корреляционная зависимость от.

Вычислим коэффициент детерминации:
– таким образом, 77,19% вариации признака обусловлено изменением признака . Остальная вариация (22,81%) обусловлена другими факторами.

Вычислим коэффициенты линейной регрессии :

Таким образом, искомое уравнение регрессии:

Данное уравнение показывает, что с увеличением значения «икс» на одну единицу «игрек» увеличивается в среднем примерно на 1,32 единицы (смысл коэффициента «а»).

При среднеожидаемое значение «игрек» составит примерно 2,62 ед. (смысл коэффициента «бэ»).

Найдём пару точек для построения прямой:

и выполним чертёж:

Вычислим:
– среднеожидаемое значение «игрек» при (интерполированный результат);
– среднеожидаемое значение «игрек» при (спрогнозированный результат).

Автор: Емелин Александр

(Переход на главную страницу)

«Всё сдал!» — онлайн-сервис помощи студентам

Источник