Шпаргалки / Математика / Школа / Теория вероятностей и мат.статистика

Корреляция

Корреляция — это мера степени связи между двумя переменными, показывает, как они изменяются вместе.

  • Не означает причинно-следственной связи!
  • Корреляция может быть:
    • Положительной: $X \uparrow \;\Rightarrow\; Y \uparrow$
    • Отрицательной: $X \uparrow \;\Rightarrow\; Y \downarrow$
    • Нулевой: $X \;\not!!!!\Rightarrow\; Y$

Формула Пирсона

\[ r = \frac{\sum (X_i - \bar X)(Y_i - \bar Y)}{\sqrt{\sum (X_i - \bar X)^2 \sum (Y_i - \bar Y)^2}} \]
  • $r \in [-1,1]$
    • $r = 1$ — полная положительная корреляция
    • $r = -1$ — полная отрицательная
    • $r = 0$ — связи нет

Важные моменты

  • Корреляция $\neq$ причина
  • Может быть скрытая переменная (конфаундер), создающая иллюзию связи.
  • Может быть ложная корреляция (например, случайные данные).

Примеры корреляции

$X$ $Y$ Примечание
Мороженое Утопления Положительная корреляция летом, но мороженое не вызывает утоплений ($C$ = жара)
Образование Риск деменции Корреляция есть, но может влиять генетика, образ жизни
Кол-во кофе Сон Отрицательная корреляция, но может быть $C$ = стресс

Конфаундер (спутывающий фактор)

Конфаундер — это переменная, которая искажает видимую связь между независимой и зависимой переменными.
То есть она влияет и на $X$, и на $Y$, и если её не учесть, может создать ложное впечатление причинно-следственной связи.

  • В регрессионном анализе важно учитывать конфаундеры, иначе корреляция может обманывать.
  • Обычно контролируют через добавление этой переменной в модель (множественная регрессия).

Примеры конфаундеров

| Независимая $X$ | Зависимая $Y$ | Конфаундер $C$ | Пояснение |
| ———————- | ——————– | ————– | ——————————————————————————————– |
| Обучение / образование | Риск деменции | Генетика | Генетика влияет на когнитивные способности и на предрасположенность к деменции |
| Количество мороженого | Количество утоплений | Летняя жара | Жара увеличивает и купание, и потребление мороженого, но мороженое не вызывает утоплений |
| Физическая активность | Вес | Возраст | Возраст влияет на уровень активности и метаболизм, создавая иллюзию связи активности с весом |

Примеры

graph LR
subgraph group_a3f5e02352["C - причина X и Y"]
    direction TB
    C---X
    C---Y
end
graph LR
subgraph group_d5231142f3["C и X - причина Y"]
    direction LR
    C---X
    X-.-Y
    C---Y
end
  • Стрелки $C \rightarrow X$ и $C \rightarrow Y$ — влияние конфаундера.
  • Пунктирная стрелка $X \rightarrow Y$ показывает, что корреляция может быть ложной (статистическая связь через $C$, без прямой причинной связи между $X$ и $Y$).

Связь с регрессией

  • Корреляция показывает только, что переменные движутся вместе
  • Регрессия оценивает влияние X на Y с учётом других факторов, например конфаундеров
  • В регрессионной модели можно контролировать $C$, чтобы проверить реальную причинную связь