¿Por qué hay un cuadrado en MSE (error cuadrático medio)?

Question

Por favor, perdóname por esa pregunta para principiantes, ya que estoy aprendiendo estadísticas. & aprendizaje automático.

Estoy tratando de entender el error cuadrático medio.

Entiendo el "error medio", la media de los errores entre los valores reales y los valores predichos, ¿qué me preocupa por qué tomamos el cuadrado de los errores?

Si solo se trata de mantener los valores positivos, entonces, ¿por qué no solo tomamos valores absolutos?

Solo quiero entender qué valores aporta a la función de pérdida real.

Gracias

Answer 1

MSE tiene algunas propiedades deseables tales como la facilitación de la diferenciabilidad (como @user2974951 comentarios) para su posterior análisis. La diferenciabilidad de la función objetivo es, en general, muy importante para realizar cálculos analíticos. Tomando valores absolutos se llama Error Absoluto medio (MAE en el corto). También tiene aplicaciones. No es como que siempre preferimos MSE o MAE. Otra razón, podría penalizar a los grandes errores más, porque si el error es grande, su plaza es mucho más grande. Por ejemplo, si algún término de error, $e_i$ es de 999, y el otro, $e_j$, $50$; y si vamos a elegir que el plazo para disminuir la cantidad de $1$, MAE puede elegir cualquiera de ellos. Pero, MSE, apunta a la más grande desde la plaza de la disminución es mayor.

Answer 2

Si $\hat{\theta}$ es un estimador del parámetro $\theta$ , a continuación, el MSE $\mathbb{E}[(\hat{\theta} - \theta)^2]$ es la suma de la varianza de la $\hat{\theta}$ y el cuadrado del sesgo :

$$\begin{align*} \mathbb{E}[(\hat{\theta} - \theta)^2] &= \mathbb{E}\big [ \hat{\theta}^2 - 2\hat{\theta}\theta + \theta^2\big ] \\ &= \mathbb{E}[\hat{\theta}^2] -2\theta\mathbb{E}[\hat{\theta}] + \theta^2 \\ &=\mathbb{E}[\hat{\theta}^2] - \mathbb{E}[\hat{\theta}]^2 + \mathbb{E}[\hat{\theta}]^2 - 2\theta\mathbb{E}[\hat{\theta}] + \theta^2 \\ &= \text{Var}(\hat{\theta}) + (\mathbb{E}[\hat{\theta}] - \theta )^2 \\ &= \text{Var}(\hat{\theta}) + \text{Bias}(\hat{\theta})^2 \end{align*}$$

El MSE es de dos características importantes de un estimador : sesgo y la varianza. Un estimador puede tener un pequeño sesgo, pero si tiene una gran variación no es muy interesante. Por otro lado, un estimador puede ser muy precisa, me.e pequeña variación, pero si tiene un gran sesgo es también no muy interesante. El MSE toma tanto en cuenta.

Por otra parte, una propiedad de la MSE es que si $\hat{\theta}$ depende de $n$, el tamaño de la muestra, a continuación, si MSE($\hat{\theta}_n) \to 0$ como $n \to +\infty$ (por lo tanto la varianza y el sesgo converge a cero) $\hat{\theta}_n$ es consistente, yo.e converge en probabilidad a $\theta$.