Pregunta sobre la desviación estándar y el teorema del límite central

Question

Tengo una pregunta rápida sobre el teorema del límite central. Digamos que mido un valor que proviene de una distribución arbitraria N veces y lo repito M veces. Entiendo que si calculo la media de los N valores tendré un conjunto de M valores que sigue una distribución normal. Pero si mido la desviación típica de la muestra a partir de N, ¿mi distribución resultante también será normal? Siguiendo la derivación de la CLT no veo que sea así, pero intuitivamente creo que es así, al menos para algunas distribuciones. Cualquier luz sobre el tema sería muy apreciada.

Primero citaré el CLT de la wiki:

El teorema del límite central (CLT) establece que, dadas ciertas condiciones, la media aritmética de un número suficientemente grande de iteraciones de variables aleatorias independientes, cada una con un valor esperado bien definido y una varianza bien definida, se distribuye aproximadamente de forma normal.

Mi pregunta es una variante de la cita de la página wiki: ¿el teorema del límite central (CLT) afirma que, dadas ciertas condiciones, la DESVIACIÓN ESTÁNDAR de un número suficientemente grande de iteraciones de variables aleatorias independientes, cada una con un valor esperado bien definido y una varianza bien definida, se distribuye aproximadamente de forma normal? He aquí una serie de gráficos que he realizado a partir de números aleatorios que siguen una distribución beta. He generado 1000 conjuntos de 5000 puntos cada uno. El primer gráfico es un histograma del primer conjunto. El segundo es un histograma de las 1000 medias calculadas, y el tercero es un histograma de las 1000 probabilidades calculadas.

Answer 1

Sí, la desviación estándar de la muestra es asintóticamente normal. Sea la desviación típica de la muestra $\hat{\sigma} = \sqrt{\frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2}$ y que $\sigma$ sea la desviación estándar de la población. Utilicemos el teorema del límite central para demostrar que $$ \sqrt{n}(\hat{\sigma} - \sigma) \xrightarrow{d} N(0, V). $$ Primero escribe las cosas como $$ \sqrt{n}(\hat{\sigma} - \sigma) = \sqrt{n}\left(\sqrt{ \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2} - \sqrt{\sigma^2} \right)$$ El teorema del límite central nos habla de cómo se comportan los momentos de la muestra menos los momentos de la población. Si no tuviéramos las raíces cuadradas de arriba, sólo tendríamos algo así como los momentos de la muestra menos los de la población, y podríamos utilizar el teorema del límite central. Para eliminar las raíces cuadradas, tomemos una expansión de Taylor de la primera raíz cuadrada alrededor de $\sigma^2$ . $$ \sqrt{ \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2} = \sqrt{\sigma^2} + \frac{1}{2\sigma} \left( \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2 - \sigma^2\right) + O\left(\left( \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2 - \sigma^2\right)^2\right) $$ Introduciendo esto en lo anterior, tenemos $$\sqrt{n}(\hat{\sigma} - \sigma) = \frac{\sqrt{n}}{2 \sigma} \left( \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2 - \sigma^2\right) + O\left(\frac{1}{n^{3/2}} \left(\sum_{i=1}^n (x_i - \bar{x})^2 - \sigma^2\right)^2\right)$$ Reordenando el primer término de la derecha se obtiene $$\frac{\sqrt{n}}{2 \sigma} \left( \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2 - \sigma^2\right) = \frac{1}{2\sigma \sqrt{n}} \sum_{i=1}^n ((x_i - E[X])^2 - \sigma^2) - \frac{\sqrt{n}}{2\sigma}(\bar{x} - E[x])^2 $$ El teorema del límite central nos dice que bajo ciertas condiciones $\frac{1}{\sqrt{n}} \sum_{i=1}^n (y_i - E[y]) \xrightarrow{d} N(0, \sigma_y^2)$ . Con $y_i = (x_i - E[x])^2$ y $E[y] = \sigma^2$ , entonces el primer término de la derecha converge en la distribución a una normal.

El segundo término lo podemos escribir como $\sqrt{n}(\bar{x} - E[x]) (\bar{x} - E[x])$ y como $\sqrt{n}(\bar{x} - E[x]) \xrightarrow{d} N$ y $(\bar{x} - E[x]) \xrightarrow{p} 0$ por el lema de Slutsky, el producto converge en probabilidad a 0.

Del mismo modo, podríamos demostrar que, $\frac{1}{n^{3/2}} \left(\sum_{i=1}^n (x_i - \bar{x})^2 - \sigma^2\right)^2 \xrightarrow{p} 0$ por lo que el resto de la expansión de Taylor desaparece.

Este truco de la expansión de Taylor aparece a menudo, así que tiene un nombre. Se llama el método delta.

Answer 2

En los comentarios a la respuesta de Paul, Whuber comentó que el caso de una variable Bernoulli con $p=1/2$ se contradice con su argumento. En esta pregunta profundizamos en el método Delta con un gráfico. Esto proporcionará alguna intuición y explicación sobre el método Delta (multivariante) y explica por qué la variable Bernoulli es una excepción (la única excepción junto con una variable degenerada).

Descripción gráfica e intuición

1. La desviación estándar de una muestra es igual a $\hat\sigma = \sqrt{\hat\mu_2-{\hat\mu_1}^2}$ con $\hat\mu_1 = \frac{1}{n} \sum {x_i}$ y $\hat\mu_2 = \frac{1}{n} \sum {x_i}^2$ . Podemos considerar la distribución muestral conjunta de $\mu_1,\mu_2$ . La desviación de esta distribución de la muestra (escalada por $\sqrt{n}$ ) debe aproximarse a una distribución normal multivariante con covarianza igual a la covarianza de la distribución poblacional de un solo punto.

2. Además de la distribución de $\hat\mu_1$ y $\hat\mu_2$ podemos considerar isolíneas para $\hat\sigma = \sqrt{\hat\mu_2-{\hat\mu_1}^2} = constant$ .

3. El $\hat\sigma$ es una función no lineal $\hat\mu_1$ y $\hat\mu_2$ pero cuando consideramos una región pequeña, la función no lineal puede aproximarse con una función lineal (el método delta no sólo requiere que una distribución se aproxime a una distribución normal, sino también que la varianza sea pequeña).

   Si la media $E(\hat\mu_1) = 0$ (que podemos elegir sin pérdida de generalidad por traslación de la variable) entonces $\hat\sigma^2 = \hat\mu_2-{\hat\mu_1}^2$ se convierte en una variable de distribución normal aproximada con media igual al segundo momento de la variable y varianza igual a la diferencia del cuarto y segundo momento $$\sqrt{n}( \hat\sigma^2 - E(\hat\sigma^2)) \xrightarrow[]{P} N(0, E(X^4)-E(X^2)^2)$$

La distribución de $\hat\sigma = \sqrt{\hat\sigma^2}$ se puede relacionar con esto mediante la expansión en serie alrededor de $\hat\sigma^2 = E(\hat\sigma^2)$ que es $$\sqrt{\hat\sigma^2} = \sqrt{E(\hat\sigma^2)} + \frac{\hat\sigma^2 - E(\hat\sigma^2)}{2\sqrt{E(\hat\sigma^2)}} + O\left((\hat\sigma^2 - E(\hat\sigma^2))^2\right)$$ y para la distribución límite $$\sqrt{n}( \hat\sigma - \sqrt{E(\hat\sigma^2)}) \xrightarrow[]{P} N\left(0,\frac{ E(X^4)-E(X^2)^2}{4 E(\hat\sigma^2)}\right)$$ Esta es la distribución límite. Puede no ser óptima para las aproximaciones de los pasos intermedios. Por ejemplo, la media $\sqrt{E(\hat\sigma^2)}$ es parcial y no es lo mismo que $E(\hat\sigma)$ (pero el sesgo se reduce a 0 al aumentar el tamaño de la muestra y por eso sigue funcionando como una distribución límite). Una situación similar es cuando se toma el logaritmo de una variable con distribución aproximadamente normal, y puedes hacerlo mejor que el método Delta .

El problema con la variable Bernoulli es que la distribución muestral límite de $\hat\mu_1,\hat\mu_2$ es un totalmente correlacionado distribución normal multivariante (la distribución poblacional del $x_i,{x_i}^2$ son sólo dos puntos y la distribución de la media muestral estará en una línea recta entre esos dos puntos).

En el caso de $p=1/2$ (y $x_i = \pm 1$ tal que la media de $x_i$ es cero) la orientación es horizontal; la varianza de $\hat\mu_2$ (que está en la dirección vertical) es cero, y el método Delta de primer orden no funciona (una pregunta/situación similar es aquí ). En cambio, hay que utilizar el método Delta de segundo orden y la distribución se relaciona con una distribución chi cuadrada en lugar de una distribución normal.