Intuición sobre por qué la media minimiza la distancia euclidiana

Question

Vi que era una pregunta muy similar (si no idéntico) sabor a mi pregunta, pero la respuesta fue la derivada de la derivada, el método que yo ya sabía resolver este problema.

Siento que es "obvio" que el valor que minimiza la suma de la distancia euclidiana entre los puntos, es decir, encontrar una z que minimiza:

$$\sum^{k}_{i=1}\|x_i - z\|^2$$

Sé que la solución puede ser obtenida con los instrumentos derivados y que $z = \frac{\sum^k_{i=1} x_i}{k}$, pero incluso antes de que trató de resolver con derivados, parece "obvio" que era el caso, y sentí que la solución es el uso de derivados es el enfoque correcto, pero parecía más lo hace por la simple problema.

Me preguntaba si alguien tenía un argumento intuitivo para esta solución. Parecía tan obvio y hay una manera de hacerlo con rigor, pero yo estaba más interesado si alguien sabe intuitivamente por qué tenía que ser la solución. Tal vez no hay, pero yo estoy solo por curiosidad, para saber si alguien tuvo una visión alternativa para el problema/solución.

Gracias de antemano!

Answer 1

Aquí hay dos maneras de verlo. La segunda puede ser (para algunas personas?) más "intuitivo":

Primera forma: $$ \sum_{i=1}^k (x_i - z)^2 = \sum_{i=1}^k \Big((x_i - m)^2 + 2(x_i-m)(m-z) + (m-z)^2\Big). $$

En la suma de medio plazo, $\displaystyle\sum_{i=1}^k 2(x_i-m)(m-z)$, el factor de $2(m-z)$ no depende del índice de $i$, es decir, no cambia como $i$$1$$k$, por lo tanto, esta suma es $\displaystyle 2(m-z)\sum_{i=1}^k (x_i-m)$.

Esa suma es $0$ si y sólo si $m=\bar x = (x_1+\cdots+x_n)/n$.

En el último término, $\displaystyle\sum_{i=1}^k (m-z)^2$, toda la expresión $(m-z)^2$ no cambia como $i$$1$$k$, por lo que es una suma de $k$ términos que son todos iguales; por lo tanto es $k(m-z)^2$.

Por lo tanto $$ \sum_{i=1}^k (x_i-z)^2 = k(\bar x - z)^2 + \sum_{i=1}^k (x_i-\bar x)^2. $$ Desde $z$ sólo aparece en el primer término de esta última expresión, el valor de $z$ que minimiza ese es el valor de $z$ que minimiza el primer término.

Que es una manera de mostrar que el de mínimos cuadrados estimación de la población media es la media de la muestra.

Segunda forma:

Pero ahora vamos a mirar geométricamente: $$ \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix} = \begin{bmatrix} \bar x \\ \vdots \\ \bar x \end{bmatrix} + \begin{bmatrix} x_1 - \bar x \\ \vdots \\ x_n - \bar x \end{bmatrix}. $$ El primer término de la derecha es la proyección ortogonal del vector de la izquierda en un cierto unidimensional subespacio de $\mathbb R^n$. El segundo término de la derecha es la proyección ortogonal de la misma vector en el complemento de $(n-1)$-dimensiones del subespacio. El vector en un subespacio que es más cercano a un vector, no en el subespacio, en términos de la distancia Euclídea, es la proyección ortogonal sobre el subespacio.