¿Cuál es la diferencia entre la varianza y el MSE?

Question

Sé que la varianza mide la dispersión de un estimador alrededor de su media, es decir, $\sigma^2 = E[(X - \mu)^2]$ (el segundo momento central respecto a la media).

Pero no entiendo el significado de la definición a continuación:

El error cuadrático medio mide la dispersión alrededor del valor real del parámetro que se está estimando. Si el estimador es no sesgado, entonces ambos son idénticos.

Sé que tanto la varianza como el ECM están relacionados con el segundo momento. Pero no entiendo la diferencia real entre ellos. ¿Alguien puede explicarme la diferencia básica entre ellos en un lenguaje sencillo?

Answer 1

La principal diferencia radica en si se está considerando la desviación del estimador de interés respecto al verdadero parámetro (esto es el error cuadrático medio), o la desviación del estimador respecto a su valor esperado (esto es la varianza). Por lo tanto, podemos observar que cuando el sesgo del estimador es cero, la varianza y el error cuadrático medio son iguales.

Matemáticamente, si $\hat \theta$ es un estimador para $\theta$, entonces $$\operatorname{ECM}[\hat \theta] = \operatorname{E}[(\hat\theta - \theta)^2],$$ mientras que $$\operatorname{Var}[\hat\theta] = \operatorname{E}[(\hat\theta - \operatorname{E}[\hat\theta])^2].$$ Y con respecto al comentario anterior, $$\operatorname{Sesgo}[\hat\theta] = \operatorname{E}[\hat\theta - \theta],$$ por lo que cuando el sesgo es cero, $\operatorname{E}[\hat\theta] = \theta$ y ahora vemos fácilmente cómo el ECM y la varianza se vuelven equivalentes.

Sin embargo, también podemos escribir: $$\operatorname{Var}[\hat\theta] = \operatorname{E}[\hat \theta^2 - 2\hat\theta \operatorname{E}[\hat \theta] + \operatorname{E}[\hat\theta]^2] = \operatorname{E}[\hat\theta^2] - \operatorname{E}[\hat\theta]^2,$$ de modo que $$\begin{align*} \operatorname{Var}[\hat\theta] + \operatorname{Sesgo}^2[\hat\theta] &= \operatorname{E}[\hat\theta^2] - \operatorname{E}[\hat\theta]^2 + (\operatorname{E}[\hat \theta] - \theta)^2 \\ &= \operatorname{E}[\hat\theta^2] - 2\theta \operatorname{E}[\hat\theta] + \theta^2 \\ &= \operatorname{E}[(\hat \theta - \theta)^2] \\ &= \operatorname{ECM}[\hat\theta]. \end{align*}$$

Answer 2

La varianza mide qué tan dispersos están un conjunto de números, mientras que el ECM mide el promedio de los cuadrados de los "errores", es decir, la diferencia entre el estimador y lo que se estima. El ECM de un estimador $\hat{\theta}$ de un parámetro desconocido $\theta$ se define como $E[(\hat{\theta}-\theta)^2]$.

El ECM es el segundo momento (respecto al origen) del error, por eso incluye tanto la varianza del estimador como su sesgo (siendo el sesgo $E(\hat{\theta})-\theta$).

En otras palabras, la varianza solo mide la dispersión de los valores; el ECM indica qué tan diferentes son los valores del estimador y los valores reales de los parámetros. El ECM es una comparación del estimador y el verdadero parámetro, por así decirlo. Esa es la diferencia.

Edit: Usaré tu ejemplo: Supongamos que tenemos una diana, la media del estimador es el objetivo. La varianza mide qué tan lejos están las flechas del objetivo. Ahora supongamos que tenemos otra diana, y esta vez el objetivo es el verdadero parámetro. El ECM mide qué tan lejos están las flechas (estimaciones) del objetivo. En el primer caso, solo medimos la dispersión de los valores del estimador con respecto a su media. En el segundo caso, medimos el error que cometemos al estimar el parámetro, es decir, lo estamos comparando con el verdadero parámetro (por eso queremos estimadores con varianza y ECM lo más pequeños posible). No confundas la media de un estimador con el valor real de un parámetro.