Шпаргалки / Математика / Школа / Теория вероятностей и мат.статистика

Метод наименьших квадратов

Что это такое

Метод наименьших квадратов (МНК) — способ подобрать такие коэффициенты регрессионной модели, при которых расхождения между моделью и реальными данными минимальны.

Мы хотим, чтобы предсказанные значения $\hat{y}_i$ были как можно ближе к наблюдаемым $y_i$.

Для каждой точки $(x_i, y_i)$ есть ошибка (остаток):

\varepsilon_i = y_i - \hat{y}_i

МНК говорит:

“Найди такие коэффициенты, чтобы сумма квадратов этих ошибок была минимальна.”

Основная идея

Квадрат ошибки показывает, насколько сильно модель промахнулась для каждой точки.
Мы складываем эти квадраты, чтобы учитывать величину ошибок независимо от их знака и подчеркнуть большие ошибки:

S = \sum_{i=1}^{n} \varepsilon_i^2 = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2

Что такое $\hat{y}_i$?
Это значение, которое предсказывает наша модель для $i$-й точки.
Например, если модель квадратичная:

\hat{y}_i = a x_i^2 + b x_i + c

Тогда именно это подставляется в формулу суммы квадратов ошибок:

S(a, b, c) = \sum_{i=1}^{n} \big(y_i - (a x_i^2 + b x_i + c)\big)^2

Задача МНК:

S(a, b, c, \dots) \to \min

То есть — найти коэффициенты, при которых $S$ минимально.

Линейность по параметрам

Линейность по параметрам означает, что модель линейна относительно коэффициентов, которые мы ищем (например, $a$, $b$, $c$).

Пример: $\hat{y} = a x^2 + b x + c$ — линейна по параметрам $a$, $b$, $c$, хотя зависимость от $x$ нелинейна.
Пример: $\hat{y} = a e^{b x}$ — не линейна по параметрам, потому что $b$ находится в показателе экспоненты.

Важно: линейность по параметрам — это не то же самое, что линейность по переменной $x$. МНК применим напрямую только если модель линейна по параметрам.

Линеаризация нелинейных моделей

Если модель нелинейна по параметрам, её можно преобразовать в линейную по параметрам с помощью различных приёмов:

Логарифмирование
- $y = a e^{b x}$ → $\ln y = \ln a + b x$
  Преобразование позволяет сделать модель линейной по новым параметрам ($\ln a$, $b$).
Возведение в степень
- $y = a x^b$ → $\ln y = \ln a + b \ln x$
  Линеаризация по параметрам с помощью логарифмов.
Деление или обратные величины
- $y = \frac{a}{x + b}$ → $y^{-1} = \frac{1}{a}(x + b)$
  Иногда простая алгебра позволяет сделать зависимость линейной по параметрам.

Эти методы работают, потому что после преобразования функция становится линейной по новым параметрам, и можно применить МНК стандартным образом.

Пример для линейной регрессии

Модель:

\hat{y} = a + b x

Функция ошибок:

S(a,b) = \sum (y_i - a - b x_i)^2

Чтобы найти минимум, берём частные производные по $a$ и $b$ и приравниваем к нулю:

\begin{cases} \frac{\partial S}{\partial a} = -2\sum(y_i - a - b x_i) = 0 \\ \frac{\partial S}{\partial b} = -2\sum x_i(y_i - a - b x_i) = 0 \end{cases}

После упрощения получаем систему нормальных уравнений (СНУ):

\begin{cases} n a + b \sum x_i = \sum y_i \\ a \sum x_i + b \sum x_i^2 = \sum x_i y_i \end{cases}

Решаем систему

Решив систему, получаем формулы для коэффициентов:

b = \frac{n\sum x_i y_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2}

$a = \bar{y} - b \bar{x}$

Где:

$\bar{x} = \frac{1}{n} \sum x_i$
$\bar{y} = \frac{1}{n} \sum y_i$

Коэффициент детерминации

R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2}

$y_i$ — реальные значения
$\hat{y}_i$ — предсказанные значения модели
$\bar{y} = \frac{1}{n} \sum y_i$ — среднее

Интерпретация:

$R^2 = 1$ — идеальное совпадение
$R^2 = 0$ — модель ничего не объясняет
$R^2 < 0$ — хуже, чем просто среднее

Итоговое резюме

Этап	Действие
1	Выбираем форму модели $f(x)$
2	Составляем функцию ошибок $S = \sum (y_i - f(x_i))^2$
3	Приравниваем производные $S$ по коэффициентам к нулю
4	Решаем систему нормальных уравнений
5	Подставляем найденные коэффициенты в модель
6	Проверяем адекватность модели и $R^2$