Шпаргалки / Математика / Школа / Теория вероятностей и мат.статистика

Корреляция

Корреляция — это мера степени связи между двумя переменными, показывает, как они изменяются вместе.

Не означает причинно-следственной связи!
Корреляция может быть:
- Положительной: $X \uparrow \;\Rightarrow\; Y \uparrow$
- Отрицательной: $X \uparrow \;\Rightarrow\; Y \downarrow$
- Нулевой: $X \;\not\!\!\!\!\Rightarrow\; Y$

Формула Пирсона

r = \frac{\sum (X_i - \bar X)(Y_i - \bar Y)}{\sqrt{\sum (X_i - \bar X)^2 \sum (Y_i - \bar Y)^2}}

$r \in [-1,1]$
- $$r = 1$$ — полная положительная корреляция
- $$r = -1$$ — полная отрицательная
- $$r = 0$$ — связи нет

Важные моменты

Корреляция $\neq$ причина
Может быть скрытая переменная (конфаундер), создающая иллюзию связи.
Может быть ложная корреляция (например, случайные данные).

Примеры корреляции

$$X$$	$$Y$$	Примечание
Мороженое	Утопления	Положительная корреляция летом, но мороженое не вызывает утоплений ( $$C$$ = жара)
Образование	Риск деменции	Корреляция есть, но может влиять генетика, образ жизни
Кол-во кофе	Сон	Отрицательная корреляция, но может быть $$C$$ = стресс

Конфаундер (спутывающий фактор)

Конфаундер — это переменная, которая искажает видимую связь между независимой и зависимой переменными.
То есть она влияет и на $$X$$ , и на $$Y$$ , и если её не учесть, может создать ложное впечатление причинно-следственной связи.

В регрессионном анализе важно учитывать конфаундеры, иначе корреляция может обманывать.
Обычно контролируют через добавление этой переменной в модель (множественная регрессия).

Примеры конфаундеров

Независимая $$X$$	Зависимая $$Y$$	Конфаундер $$C$$	Пояснение
Обучение / образование	Риск деменции	Генетика	Генетика влияет на когнитивные способности и на предрасположенность к деменции
Количество мороженого	Количество утоплений	Летняя жара	Жара увеличивает и купание, и потребление мороженого, но мороженое не вызывает утоплений
Физическая активность	Вес	Возраст	Возраст влияет на уровень активности и метаболизм, создавая иллюзию связи активности с весом

Примеры

graph LR
subgraph group_a3f5e02352["C - причина X и Y"]
    direction TB
    C---X
    C---Y
end

graph LR
subgraph group_d5231142f3["C и X - причина Y"]
    direction LR
    C---X
    X-.-Y
    C---Y
end

Стрелки $C \rightarrow X$ и $C \rightarrow Y$ — влияние конфаундера.
Пунктирная стрелка $X \rightarrow Y$ показывает, что корреляция может быть ложной (статистическая связь через $$C$$ , без прямой причинной связи между $$X$$ и $$Y$$ ).

Связь с регрессией

Корреляция показывает только, что переменные движутся вместе
Регрессия оценивает влияние X на Y с учётом других факторов, например конфаундеров
В регрессионной модели можно контролировать $$C$$ , чтобы проверить реальную причинную связь