81 votos

¿Por qué es muestra desviación de estándar de un estimador sesgado de $\sigma$?

Según el artículo de la Wikipedia en estimación objetiva de la desviación estándar de la muestra de la SD

$$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2}$$

es un estimador sesgado de la SD de la población. Afirma que $E(\sqrt{s^2}) \neq \sqrt{E(s^2)}$.

NB. Las variables aleatorias son independientes y cada uno $x_{i} \sim N(\mu\sigma^{2})$

Mi pregunta es doble:

  • ¿Cuál es la prueba de la biasedness?
  • ¿Cómo calcular la expectativa de la desviación estándar de la muestra

Mis conocimientos de matemáticas/estadísticas sólo es intermedio.

79voto

Niall Puntos 51

@NRH la respuesta a esta pregunta le da un agradable, simple prueba de la biasedness de la desviación estándar de la muestra. Aquí voy a calcular explícitamente la expectativa de la desviación estándar de la muestra (el cartel original de la segunda pregunta) a partir de una distribución normal de la muestra, momento en el que la diferencia es clara.

El imparcial de la muestra varianza de un conjunto de puntos de $x_1, ..., x_n$ es

$$ s^{2} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2 $$

Si el $x_i$'s están distribuidos normalmente, es un hecho que

$$ \frac{(n-1)s^2}{\sigma^2} \sim \chi^{2}_{n-1} $$

donde $\sigma^2$ es la verdadera varianza. El $\chi^2_{k}$ tiene una distribución de densidad de probabilidad

$$ p(x) = \frac{(1/2)^{k/2}}{\Gamma(k/2)} x^{k/2 - 1}e^{-x/2} $$

mediante esto podemos deducir que el valor esperado de $s$;

$$ \begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} E \left( \sqrt{\frac{s^2(n-1)}{\sigma^2}} \right) \\ &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \sqrt{x} \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)} x^{((n-1)/2) - 1}e^{-x/2} \, dx \end{align} $$

que se sigue de la definición de valor esperado y el hecho de que $ \sqrt{\frac{s^2(n-1)}{\sigma^2}}$ es la raíz cuadrada de un $\chi^2$ variable de distribución. El truco ahora es reorganizar los términos para que el integrando se convierte en otra $\chi^2$ densidad:

$$ \begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(\frac{n-1}{2})} x^{(n/2) - 1}e^{-x/2} \, dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \, dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \cdot \frac{ (1/2)^{(n-1)/2} }{ (1/2)^{n/2} } \underbrace{ \int_{0}^{\infty} \frac{(1/2)^{n/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx}_{\chi^2_n \ {\rm densidad} } \end{align} $$

ahora sabemos que el integrando la última línea es igual a 1, ya que es un $\chi^2_{n}$ densidad. La simplificación de las constantes de un poco da

$$ E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } $$

Por lo tanto, el sesgo de $s$ es

$$ \sigma - E(s) = \sigma \bigg(1 - \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \bigg) \sim \frac{\sigma}{4 n} \>$$ como $n \to \infty$.

No es difícil ver que este sesgo no es 0 para cualquier finito $n$, lo que demuestra la desviación estándar de la muestra es sesgada. A continuación el sesgo es una trama como una función de $n$ de $\sigma=1$ en rojo junto con $1/4n$ en azul:

enter image description here

61voto

Nathan Long Puntos 30303

No necesita normalidad. Todo lo que necesitas es eso $$ s ^ 2 = \frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2$$ es un estimador insesgado de la varianza $\sigma^2$. Usar luego que la función raíz cuadrada es estrictamente cóncava tal que (de una forma fuerte de la desigualdad de Jensen)
$$E(\sqrt{s^2}) < \sqrt{E(s^2)} = \sigma$$ a menos que la distribución de $s ^ 2$ es degenerada en $\sigma^2$.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X