Постановка задачи довольно проста: мы хотим вычислять статистики (среднее, дисперсию, ковариацию, корреляцию) шаг за шагом, когда мы получаем $n$ данных в потоке, без сохранения всех данных и дополнительных итераций. Напомним формулы базовым способом. Среднее:

Дисперсия:

Как видите, для среднего нужна сумма: первая проблема — как получить сумму без всех чисел? А для дисперсии нужно среднее: вторая проблема — как узнать среднее без всех данных?

# Интуиция метода

Попробуем прочувствовать интуицию метода Уэлфорда. Представьте, у нас есть набор данных: $A = \{1, 2, 3\}$, среднее этого набора $\overline{x}_A = \frac{1 + 2 +3}{3} = 2$, и затем мы получили еще одно число: $6$. Чувствуете, что оно сдвинет наше среднее в сторону больших значений? Но насколько? Представьте похожий набор, но с большим количеством данных: $B = \{1, 1, 2, 2, 3, 3\}$, среднее также равно $2$, и мы также добавляем число $6$. Снова чувствуем, что сдвиг будет в сторону больших значений, но не такой сильный. Проверим нашу интуицию:

Наша интуиция была права! Осталось понять, как мы можем вычислить эту дельту, если у нас есть только предыдущее среднее $\overline{x}_{i - 1}$, новое число $x_i$ и количество наших чисел. Метод Уэлфорда гласит: каждое новое значение сдвигает среднее в свою сторону с весом $1/i$:

Проверим это для набора $B$. У нас есть среднее без нового числа $\overline{x}_{i - 1} = 2$ и новое число $x_i = 6$, и это седьмое число, $i = 7$. Цель — найти среднее $\overline{x}_i$ по формуле Уэлфорда:

Как видите, это абсолютно точное значение. Отлично!

# Дисперсия, корреляция, ковариация

Истинная сила алгоритма Уэлфорда раскрывается при вычислении дисперсии. Наивный подход требует хранения всех точек данных и пересчета среднего перед вычислением дисперсии, что вычислительно дорого. Метод Уэлфорда изящно решает это, поддерживая текущую оценку дисперсии с использованием следующего рекуррентного соотношения:

Для дисперсии мы поддерживаем текущее среднее $\overline{x}$ и сумму квадратов разностей $S$. Для каждой новой точки данных $x_n$ на шаге $n$:

Дисперсию генеральной совокупности можно затем вычислить как $\sigma^2 = S_n/n$, а выборочную дисперсию как $s^2 = S_n/(n-1)$.

Этот подход красиво расширяется на ковариацию и корреляцию. Для двух переменных $X$ и $Y$ мы поддерживаем счетчики $n$, средние $\overline{x}$ и $\overline{y}$, и накопленные произведения $C_{xy}$:

Ковариация тогда равна $\text{cov}(X,Y) = \frac{C_{xy_n}}{(n-1)}$, а корреляция $\text{corr}(X,Y) = \frac{C_{xy_n}}{\sqrt{S_{x_n} S_{y_n}}}$.

# Реализация на C

Вот полная реализация алгоритма Уэлфорда на C для вычисления среднего и дисперсии:

#include <stdio.h>
#include <math.h>

typedef struct {
    long long n;
    double mean;
    double M2;
} welford_state;

void welford_update(welford_state *state, double x) {
    state->n++;
    double delta = x - state->mean;
    state->mean += delta / state->n;
    state->M2 += delta * (x - state->mean);
}

double welford_mean(const welford_state *state) {
    return state->mean;
}

double welford_variance(const welford_state *state) {
    return (state->n > 1) ? state->M2 / (state->n - 1) : 0.0;
}

double welford_stddev(const welford_state *state) {
    return sqrt(welford_variance(state));
}

int main() {
    welford_state state = {0, 0.0, 0.0};
    double test_data[] = {1.0, 2.0, 3.0, 6.0};
    size_t data_size = sizeof(test_data) / sizeof(test_data[0]);
    
    for (size_t i = 0; i < data_size; i++) {
        welford_update(&state, test_data[i]);
        printf("Added %.1f: mean=%.3f, variance=%.3f, stddev=%.3f\n",
               test_data[i], welford_mean(&state), 
               welford_variance(&state), welford_stddev(&state));
    }
    
    return 0;
}

Для ковариации и корреляции мы можем расширить этот подход:

typedef struct {
    long long n;
    double mean_x, mean_y;
    double C2;
} welford_cov_state;

void welford_cov_update(welford_cov_state *state, double x, double y) {
    state->n++;
    double delta_x = x - state->mean_x;
    double delta_y = y - state->mean_y;
    state->mean_x += delta_x / state->n;
    state->mean_y += delta_y / state->n;
    state->C2 += delta_x * (y - state->mean_y);
}

double welford_covariance(const welford_cov_state *state) {
    return (state->n > 1) ? state->C2 / (state->n - 1) : 0.0;
}

Имеем исходные векторы $v_1, v_2, \dots, v_n$, и нам нужно получить ортогональные векторы $u_1, u_2, \dots, u_n$. Общая схема метода: 0. Удаляем все нулевые векторы.

1. Берём первый вектор без изменений: $u_1 = v_1$.
2. Следующий вектор находим из $v_2$ и проекций на предыдущие векторы: $u_2 = v_2 - \text{Proj}_{u_1}{v_2}$.
3. Повторяем: $u_3 = v_3 - \text{Proj}_{u_1}{v_3} - \text{Proj}_{u_2}{v_3}$.
4. Продолжаем до вектора $u_n$: $u_n = v_n - \sum_{i=1}^{n-1}\text{Proj}_{u_i}{v_n}$. Напомним формулу проекции: $\text{Proj}_{u}{v} = \frac{\langle u, v\rangle}{||u||^2}u$. Для получения ортонормированного базиса нормируем векторы: $e_i = \frac{u_i}{||u_i||}$.

Рассмотрим пример: $v_1 = \begin{pmatrix}1 \\ 1\end{pmatrix}, \ v_2 = \begin{pmatrix}1 \\ 0\end{pmatrix}$. Сначала задаём $u_1 = v_1$, затем: $u_2 = v_2 - \text{Proj}_{u_1}{v_2} = \begin{pmatrix}1 \\ 0\end{pmatrix} - \begin{pmatrix}0.5 \\ 0.5\end{pmatrix} = \begin{pmatrix}0.5 \\ -0.5\end{pmatrix}$. В итоге получаем ортогональные векторы: $u_1 = \begin{pmatrix}1 \\ 0\end{pmatrix}$, $u_2 = \begin{pmatrix}0.5 \\ -0.5\end{pmatrix}$.

Пример: $f(x, y, z) = x^2 + y^2 - 4x - 4y + z^4 - 4z^2$. Градиент:

Приравниваем к нулю: $\nabla f = 0$, получаем систему:

Стационарные точки: $(2, 2, 0), \ (2, 2, \sqrt{2}), \ (2, 2, -\sqrt{2})$.

Для дальнейшего анализа используйте матрицу Гессе.

Для задач с ограничениями применяем метод множителей Лагранжа. Пример: $f(x, y) = x^2 + y^2$ при условии $x + y = 1$. Перепишем ограничение как $g(x, y) = x + y - 1 = 0$. Градиенты:

Уравнения Лагранжа в общем виде:

Для нашего случая:

Стационарная точка: $\left(\frac{1}{2}, \frac{1}{2} \right)$. Итог: без ограничений решаем $\nabla f = 0$, с ограничениями — метод Лагранжа.```

Как найти стационарные точки, читайте в статье: “Стационарные точки и метод Лагранжа”

Разберём на примере. Функция и стационарные точки:

Сначала построим матрицу Гессе. В общем виде она выглядит так:

Для нашей функции: $H = \begin{bmatrix}6x & -3 \\-3 & 6y\end{bmatrix}$. Подставим точки в матрицу и найдём собственные значения:

Применяем правила:

• Если все собственные значения положительны — локальный минимум
• Если все отрицательны — локальный максимум
• Если знаки разные — седловая точка

Результат: точка $A$ — седловая, точка $B$ — локальный минимум.```

Рассмотрим плоскость $\pi$ в пространстве $\mathbb{R}^3$, проходящую через начало координат. Возьмём два неколлинеарных вектора $u$ и $v$ из этой плоскости. Тогда любую точку $x \in \pi$ можно представить как: $x = \alpha u + \beta v$.

Хорошо, это означает, что мы можем определить плоскость $\pi$ как:

Обобщим понятие плоскости, проходящей через начало координат, на пространство произвольной размерности: Линейной оболочкой векторов $v_1, v_2, \dots, v_k \ \in \ \mathbb{R}^n$ называется множество векторов, представимых в виде суммы векторов $v_1, v_2, \dots, v_k$ с произвольными коэффициентами:

Выражение $\alpha_1 v_1 + \alpha_2 v_2 + \dots + \alpha_k v_k$ будем называть линейной комбинацией векторов $v_1, v_2, \dots, v_k$.

Сформулируем ключевое определение: линейным подпространством $\mathbb{R}^n$ называется линейная оболочка конечного числа векторов $v_1, v_2, \dots v_k \ \in \mathbb{R}^n$:

Понятия линейной оболочки и линейного подпространства эквивалентны. Любая линейная оболочка и любое подпространство содержат $0$, поскольку мы можем положить все коэффициенты $\alpha_1, \alpha_2, \dots, \alpha_k$ равными нулю.

Почему линейные подпространства важны? Вот пример:

Возьмём чёрно-белое цифровое фото размером 512 на 512 пикселей. В памяти компьютера это фото может быть представлено как $512 \times 512 = 262144$ чисел — каждое представляет интенсивность соответствующего пикселя от 0 (полностью чёрный) до 1 (полностью белый). Таким образом, фото может быть представлено вектором $x$ в пространстве размерности $d=262144$.

Теперь рассмотрим важную практическую задачу — сжатие фото без значительных потерь. Оказывается, эту проблему можно решить, найдя специальное низкоразмерное подпространство и спроецировав вектор $x$ на это подпространство.

Мы говорили, что подпространство должно содержать ноль. Это означает, что прямая $y = 2x$ является подпространством, а прямая $y = x + 2$ — нет. Но многие свойства подпространств сохраняются, даже когда они не содержат ноль. Такие подпространства называются аффинными подпространствами. Аффинным подпространством $\mathbb{R}^n$ называется множество векторов $A$ вида $a + v$, где $a \in \mathbb{R}^n$ — фиксированный вектор, а вектор $v$ принадлежит линейному подпространству $V$. Пусть линейное подпространство $V$ — это линейная оболочка векторов $v_1, v_2, \dots, v_k$. Тогда аффинное подпространство — это множество:

Пусть $V$ — подпространство в $\mathbb{R}^n$. Размерностью этого подпространства называется минимальное количество векторов $v_1, v_2, \dots, v_k \in \mathbb{R}^n$, необходимых для определения подпространства $V$:

Размерность обозначается как: $\dim{(V)}$. Подумаем об этом. Например, у нас есть два неколлинеарных вектора $u, v \in \mathbb{R}^{100}$ и подпространство $V = \text{span}(u, v)$. Мы знаем, что каждый вектор $x \in V$ имеет 100 координат, но по определению подпространства: $x = \alpha u + \beta v$. Это означает, что любой вектор $x$ определяется всего двумя параметрами $\alpha$ и $\beta$, следовательно $\dim{(V)} = 2$. Для определения точки в $\mathbb{R}^n$ нам нужно $n$ параметров, для определения точки в $V$ нам нужно $\dim{(V)}$ параметров.

Существует подпространство, определяемое только одним вектором $0$: $V = \text{span}(0)$. Мы называем это подпространство тривиальным и считаем $\dim{(V)} = 0$.

Если у нас есть подпространство $V = \text{span}(v_1, v_2, \dots, v_k)$, может ли $\dim{(V)}$ быть меньше $k$? Да, если и только если один из векторов может быть выражен как линейная комбинация остальных векторов, например: $v_1 = \gamma_2v_2 + \gamma_3v_3 + \dots + \gamma_kv_k$.

Набор векторов называется линейно независимым, если равенство:

выполняется только при $\alpha_1 = \alpha_2 = \dots = \alpha_k = 0$. Если равенство может выполняться при ненулевых коэффициентах, векторы линейно зависимы.

Рассмотрим пространство $\mathbb{R}^n$ и заданный ненулевой вектор $w \in \mathbb{R}^n$. Тогда множество векторов $P$, перпендикулярных $w$:

является линейным подпространством с $\dim{(P)} = n - 1$

# Прямая на плоскости и в пространстве

Как задать прямую на плоскости? Конечно, через две точки. Но это не всё. Существуют ещё три метода:

1. Параметрическое уравнение
   Пусть прямая $l$ задана двумя точками $r_0 = (x_0; y_0)$ и $r_1 = (x_1;y_1)$. Заметим, что вектор $a = r_0 - r_1$ направлен вдоль $l$. Следовательно, любая точка на $l$ может быть определена как $r = r_0 + ta$, где $t \in \mathbb{R}$, а вся прямая $l$ задаётся при $-\infty < t < \infty$. Это выражение мы называем параметрическим уравнением:
   

   $$ l = \{r: r = r_o + at, \ t \in \mathbb{R} \} $$

2. Линейное уравнение
   Запишем параметрическое уравнение через координаты:
   

   $$ \begin{bmatrix}x \\ y\end{bmatrix} = \begin{bmatrix}x_0\\y_0\end{bmatrix} + \begin{bmatrix}t \cdot a_1 \\ t \cdot a_2\end{bmatrix} \Rightarrow \begin{cases}x = x_0 + ta_1 \\ y = y_0 + ta_2\end{cases} $$

   Предположим, что $a_1 \neq 0$ и $a_2 \neq 0$, и выразим $t$ из каждого уравнения: $\frac{x - x_0}{a_1} = \frac{y - y_0}{a_2} \Rightarrow a_2x - a_1y + (a_1y_0 - a_2x_0) = 0$. Поскольку $a_1, a_2, x_0, x_1$ — числа, это означает, что мы можем определить его как линейное уравнение:
   

   $$ Ax + By + C = 0 $$

   где $A = a_2$, $B = -a_1$, $C = (a_1y_0 - a_2x_0)$

3. Нормаль и точка
   Последний метод. Выберем произвольную точку на прямой $l$ с радиус-вектором $r_0$. Проведём вектор $n$ из точки $r_0$, перпендикулярный прямой $l$. Тогда для любой точки $r$ на прямой $l$ векторы $r - r_0$ и $n$ будут перпендикулярны. Перепишем это через скалярное произведение:
   

   $$ l = \{ r: \langle r - r_0;n\rangle = 0\} $$

   Разумеется, $r_0$ может быть любой точкой на прямой $l$, а нормальный вектор $n$ — любым вектором, перпендикулярным прямой $l$. Чтобы найти нормаль к прямой, нам нужен направляющий вектор $a = \begin{pmatrix}a_1 \\ a_2\end{pmatrix}$ из параметрического уравнения, тогда нормальный вектор будет: $n = \begin{bmatrix}-a_2\\ a_1\end{bmatrix}$ или $n’ = -n = \begin{bmatrix} a_2 \\ -a_1\end{bmatrix}$

Подведём итог и посмотрим на взаимосвязь между этими методами. Если прямая проходит через две точки $r_0 = (x_0; y_0)$ и $r_1 = (x_1; y_1)$, то её можно определить любым из трёх методов:

• Параметрическое уравнение:
  $$ r = r_0 + ta = \begin{bmatrix}x_0\\y_0\end{bmatrix} + t \cdot \begin{bmatrix}x_1 - x_0 \\ y_1 - y_0\end{bmatrix} = \begin{bmatrix}x_0\\y_0\end{bmatrix} + \begin{bmatrix}t \cdot a_1 \\ t \cdot a_2\end{bmatrix} $$
• Линейное уравнение:
  $$ Ax + By + C = \underbrace{a_2}_{A} x + \underbrace{(-a_1)}_{B} y + \underbrace{(a_1 y_0 - a_2 x_0)}_{C} = 0; $$
• Нормаль и точка:
  $$ \langle r - r_0; n\rangle = \left\langle \begin{bmatrix}x - x_0\\y - y_0\end{bmatrix}; \begin{bmatrix}a_1 \\ -a_1\end{bmatrix}\right\rangle = \left\langle\begin{bmatrix}x - x_0 \\ y - y_0\end{bmatrix}; \begin{bmatrix}A \\ B\end{bmatrix} \right\rangle $$

Как насчёт прямой в пространстве? Параметрическое уравнение не меняется, векторы становятся длиннее. Линейное уравнение изменится: теперь это не одно уравнение, а система двух уравнений:

Метод с нормалью и точкой не работает в пространстве!

Дополнение: рассмотрим расстояние от точки до прямой:

Мы можем определить, где находится точка относительно прямой: группа точек с одной стороны, для которых верно $Ax +By + C > 0$; группа с другой стороны, для которых верно $Ax +By + C < 0$.

# Плоскость в пространстве

Снова этот вопрос. Как задать плоскость в пространстве? Конечно, через три неколлинеарные точки, не лежащие на одной прямой. Коллинеарные точки лежат на одной прямой. И снова рассмотрим три метода:

1. Параметрическое уравнение:
   $$ \pi = \{r: r = r_0 + t_1v_1 + t_2v_2, \quad t_1, t_2 \in \mathbb{R}\} $$
2. Нормаль и точка: такой же, как для прямой: $\langle r - r_0; n\rangle = 0$
3. Линейное уравнение: начнём от нормали и точки и развернём его:
   $$ \langle r - r_0; n\rangle = 0 \quad \Rightarrow \quad \underbrace{n_1}_{A} x\ + \ \underbrace{n_2}_{B} y\ + \ \underbrace{n_3}_{C} z \ \underbrace{- \langle r_0 ;n\rangle}_{D} = 0. \ \Rightarrow \ Ax + By + Cz + D = 0 $$

Посмотрим на взаимосвязь между этими методами:

• Чтобы переписать параметрическое уравнение в нормаль и точку, нужно найти нормальный вектор из системы уравнений: $\begin{cases}\langle n; v_1\rangle = 0 \\ \langle n; v_2\rangle = 0\end{cases}$
• Чтобы переписать форму нормали и точки в линейное уравнение, мы можем использовать: $A = n_1$, $B = n_2$, $C = n_3$, $D = -\langle n ;r_0\rangle$
• Если у нас есть три точки, определяющие плоскость, мы можем перейти к параметрическому уравнению: $\begin{array}a v_1 = r_1 - r_0\\ v_2 = r_2 - r_0\end{array}$

Проекцией точки $P$ на плоскость $\pi$ называется точка $P_\pi \in \pi$, ближайшая к точке $P$: $P_\pi = \arg{\min{||P - X||}}, \ X \in \pi$. Тогда расстояние от точки $P$ до плоскости $\pi$ будет $d(P, \pi)$ — расстояние между точкой $P$ и её проекцией $P_\pi$:

Определение расположения точки относительно плоскости такое же, как для прямой.

# Базовые операции с векторами

1. Сумма векторов — сумма соответствующих координат: $$ v + w = \begin{pmatrix}v_1 \\ v_2 \\ \ldots \\ v_n \end{pmatrix} + \begin{pmatrix}w_1 \\ w_2 \\ \ldots \\ w_n \end{pmatrix} = \begin{pmatrix}v_1 + w_1 \\ v_2 + w_2 \\ \ldots \\ v_n + w_n \end{pmatrix} $$ Складывать можно только векторы одинаковой размерности.
2. Умножение вектора на скаляр: $$ \lambda v = \lambda \cdot \begin{pmatrix}v_1 \\ v_2 \\ \ldots \\ v_n \end{pmatrix} = \begin{pmatrix}\lambda v_1 \\ \lambda v_2 \\ \ldots \\ \lambda v_n \end{pmatrix} $$
3. Разность векторов — сумма векторов, где один умножен на скаляр $-1$.
4. Скалярное произведение векторов: $$ x \cdot y = \langle x;y\rangle = x_1 y_1 + x_2 y_2 + \ldots + x_n y_n = \sum \limits_{i = 1}^{n}x_i y_i $$ Свойства скалярного произведения:

• Коммутативность: $\langle v; w\rangle = \langle w; v\rangle$
• Дистрибутивность: $\langle x; (v + w)\rangle = \langle x; v\rangle + \langle x; w \rangle$
• Совместимость со скалярным умножением: $\langle v; \lambda w\rangle = \lambda \langle v;w\rangle$
• Если скалярное произведение равно нулю, векторы называются ортогональными

# Геометрическая интерпретация

В геометрии вектор — направленный отрезок.

Длина вектора вычисляется по теореме Пифагора: ФОРМУЛА_4. Вектор единичной длины называется единичным вектором. Ненормированный вектор можно нормировать умножением на $\lambda = \frac{1}{||v||}$. Расстояние между векторами: $d = ||v - w|| = \sqrt{\sum\limits_{i = 1}^{n}{(v_i - w_i)^2}}$ Угол между векторами:

Проекция вектора $u$ на $w$:

Неравенство Коши-Буняковского:

Неравенство треугольника: $||v + w|| \leqslant ||v|| + ||w||$
Для ортогональных векторов выполняется теорема Пифагора: $||a + b||^2 = ||a||^2 + ||b||^2$.```