¿Por qué se eleva la varianza al cuadrado?

Question

La desviación media absoluta es:

$$\dfrac{\sum_{i=1}^{n}|x_i-\bar x|}{n}$$

La varianza es: $$\dfrac{\sum_{i=1}^{n}(x_i-\bar x)^2}{n-1}$$

• Entonces, la desviación media y la varianza están midiendo lo mismo, sin embargo, la varianza requiere elevar al cuadrado la diferencia. ¿Por qué? Al elevar al cuadrado siempre obtenemos un valor no negativo, pero el valor absoluto también es no negativo.
• ¿Por qué no es $|x_i-\bar x|^2$, entonces? Elevar al cuadrado simplemente agranda, ¿por qué necesitamos hacer esto?

Una pregunta similar se encuentra aquí, pero la mía es un poco diferente.

Gracias.

Answer 1

Una respuesta tardía, solo por completitud con una visión diferente de la cosa.

Puedes ver tus datos como medidos en un espacio multidimensional, donde cada asunto es una dimensión y cada elemento es un vector en ese espacio desde el origen hacia la medición de los elementos sobre todo el espacio del asunto.
Observación adicional: esta visión de las cosas tiene un sabor adicional agradable porque revela la condición de que los asuntos se asumen independientes entre sí. Esto es necesario para tener el espacio de datos euclidiano; los cambios en esa condición de independencia requieren luego cambios en las matemáticas del espacio: tiene ejes correlacionados (u "oblicuos").

Ahora la distancia de una flecha vectorial a otra es simplemente la fórmula para distancias en el espacio euclidiano, la raíz cuadrada de los cuadrados de las distancias de las coordenadas (del teorema de Pitágoras): $$d = \sqrt { (x_1-y_1)^2+(x_2-y_2)^2+ \cdots+(x_n-y_n)^2}$$ Y la desviación estándar es ese valor, normalizado por el número de sujetos, si se toma el vector medio como el vector $y$. $$\text{sdev} = \sqrt { {(x_1- \bar x)^2 +(x_2-\bar x)^2+ \cdots +(x_n-\bar x)^2 \over n} }$$

Answer 2

No miden lo mismo. Para ver esto, piensa en las unidades físicas.

Supongamos que el valor de $x$ se mide en segundos. Por ejemplo, $n$ personas hacen una carrera de 100 metros y los valores $x_i$ son cuántos segundos les tomó a cada uno terminar.

La fórmula $|x_i - \bar x|$ mide la diferencia de dos tiempos, por lo tanto también se mide en segundos.

La desviación media absoluta es entonces un promedio de valores en segundos, por lo tanto también se mide en segundos.

Sin embargo, la fórmula $(x_i - \bar x)^2$ eleva al cuadrado la diferencia de dos tiempos, por lo tanto se mide en segundos al cuadrado. La varianza también se mide en segundos al cuadrado. No pertenecen al mismo espacio físico de variables, por lo tanto miden cosas diferentes.

La desviación estándar, sin embargo (la raíz cuadrada de la varianza), de nuevo se mide en segundos, por lo tanto mide algo similar (al menos, físicamente similar).

En cuanto a por qué preferimos la raíz cuadrada del promedio de cuadrados en lugar del promedio de valores absolutos: la raíz cuadrada tiene mejores propiedades matemáticas, como se muestra en otras respuestas y en el enlace al que hiciste referencia (especialmente la respuesta de Rich).

Answer 3

Dices que la varianza es $\dfrac{\sum_{i=1}^ n(x_i-\bar x)^2}{n-1}$.

¿Qué pasa si te digo que la varianza es $\dfrac{\sum_{i=1}^n(x_i-\bar x)^2} n$?

Ambas se pueden encontrar en los libros de texto. De hecho, dividir por $n-1$ en lugar de $n$ se hace correctamente (si es que se hace) SOLAMENTE cuando se está estimando la varianza de la población mediante el uso de una muestra finita $x_1,\ldots,x_n$ que no es toda la población. Si $x_1,\ldots,x_n$ es toda la población y cada punto es igualmente probable, entonces la varianza de esa población se da por la segunda expresión anterior, no la primera.

**

Ahora aquí está el punto importante:

$$\begin{align} & \operatorname{var}(X_1+\cdots+X_n) \\[8pt] = {} & \operatorname{var}(X_1) + \cdots + \operatorname{var}(X_n) \tag 1 \end{align}$$ si $X_1,\ldots,X_n$ son variables aleatorias independientes.

Eso no funciona con la desviación media absoluta. (Tampoco funciona en la versión con $n-1$ en lugar de $n$.)

Ahora supongamos que $n=1800$ y cada $X_i$ es el número de "caras" observadas en el lanzamiento de la moneda $i$, por lo que $X_i$ es o bien $0$ o $1$. Entonces la suma es la cantidad de "caras" en $1800$ lanzamientos. ¿Cuál es la probabilidad de que ese número sea al menos $890$ pero no más de $905$? Para responder a eso, uno aproxima la distribución del número de "caras" por la distribución normal con el mismo valor esperado y la misma varianza. ¡Sin la identidad $(1)$, uno no sabría cuál es esa varianza! Abraham de Moivre descubrió todo esto en el $18$ siglo. Y por eso se utilizan desviaciones estándar en lugar de desviaciones medias absolutas.

**

Answer 4

Si no tienes preferencia por la forma exacta en que mides la desviación, entonces debes elegir la medida que sea más fácil de calcular.

La desviación estándar -- la raíz cuadrada de la varianza -- es bastante útil para realizar cálculos reales, porque la varianza tiene todo tipo de propiedades agradables. por ejemplo, la función que define la varianza es diferenciable en todas partes (de hecho, es analítica), y es aditiva: es decir, $\operatorname{Var}(X+Y) = \operatorname{Var}(X) + \operatorname{Var}(Y)$.

Answer 5

Hay una explicación muy simple para esto: permite el cálculo de soluciones analíticas para muchos problemas interesantes.

Como otros han señalado antes, $x^2$ es diferenciable, mientras que $|x|$ no lo es. Por lo tanto, en problemas donde hay términos cuadráticos presentes, se pueden diferenciar para encontrar soluciones óptimas de manera analítica.

Por otro lado, con $|x|$, a menudo se tiene que recurrir a esquemas numéricos para manejar el valor absoluto. Otro aspecto negativo de usar términos cuadráticos es que los valores atípicos (es decir, valores grandes y pequeños de $x$) tienen una influencia mucho mayor en los términos $x^2$ en comparación con su influencia en $|x|$. Esto puede ser bueno o malo dependiendo de tu aplicación.