¿Un intervalo de confianza conlleva algún error adicional para distribuciones no perfectamente normales?

Question

No pretendo ser puntilloso, pero siempre quiero asegurarme con las estadísticas de que entiendo claramente la delimitación entre las medidas exactas/teóricas y las de la "vida real".

Digamos, por ejemplo, que nuestra población son los estudiantes de una universidad y nos interesa su altura. Tomamos una muestra aleatoria $100$ de $10,000$ estudiantes y tomar la media de esa muestra.

Cuando hablamos de un $95 \%$ intervalo de confianza para esa media muestral, entiendo que dice " dado que asumimos una distribución normal para la distribución muestral de las medias de las muestras de tamaño $n = 100$ Hay un $95 \%$ probabilidad de que la media de nuestra muestra caiga en un punto bajo nuestra curva de distribución muestral (normal) tal que la verdadera media de la población vaya a estar dentro de $2$ desviaciones estándar de la media de nuestra muestra". (¿es esto correcto?)

Sin embargo, me parece que debido a la suposición de normalidad perfecta en el uso de las medidas de área para un cierto número de SD, nuestro $95 \%$ El intervalo de confianza conlleva el error adicional entre una distribución normal verdadera y nuestra distribución real, por lo que en ese sentido no es un verdadero $95 \%$ intervalo de confianza, sino un $95 \%$ intervalo de confianza sólo una vez que asumimos la normalidad perfecta, lo que significa que en realidad podríamos estar apagados más a menudo que $5 \%$ del tiempo.

¿Es esto correcto o me estoy perdiendo algo?

Answer 1

Cuando hablamos de un intervalo de confianza del 95% para esa media muestral lo entiendo como que "dado que asumimos una distribución normal para la distribución muestral de las medias muestrales de muestras de tamaño n=100, hay un 95% de posibilidades de que la media de nuestra muestra caiga en un punto bajo nuestra curva de distribución muestral (normal) tal que la verdadera media de la población estará dentro de las 2 desviaciones desviaciones estándar de la media de nuestra muestra". (¿es esto correcto?)

Esto no es del todo correcto, y es uno de los errores más comunes en estadística. Puede encontrar más discusión aquí . El intervalo de confianza del 95% significa que tenemos un 95% de confianza en que el parámetro se encuentra en nuestro intervalo. Otra forma de pensar en esto es que, si repitiéramos el muestreo muchas más veces y creáramos intervalos de confianza cada vez, aproximadamente el 95% de esos intervalos de confianza contendrían el parámetro verdadero.

Por lo demás, tienes razón en que cuando apelamos a la CLT de esta manera (al suponer la normalidad de la media muestral), hay un error añadido, ya que la distribución nunca va a ser exacta. Sin embargo, nuestra confianza en la estimación puede aumentar o disminuir.

Esta es una cita de Tsou y Royall(1995)

Un popular $95\%$ intervalo de confianza para $E(X)$ basado en $n$ observaciones es el $t$ intervalo, $\bar{x} \pm t_{n-1} sn^{-1/2}$ , donde $s^2 = \sum (x - \bar{x}^2)/(n-1)$ . Esto es en realidad un $95\%$ intervalo de confianza si el $X$ son iid $N(\theta, \sigma^2)$ . Pero si este modelo es incorrecto, entonces ya no es cierto que la probabilidad de cobertura es igual al coeficiente de confianza nominal, 0,95.

Voy a simular este comportamiento en el siguiente código R. Dibujo muestras de tamaño $N = 50$ a partir de una población Normal(5, 1) y de una población $t_{1}$ con media $\mu = 5$ . En el primer caso, como la población es realmente normal, la distribución de la media muestral es exactamente normal. En el segundo caso, la distribución es una normal desplazada $t_1$ que tiene colas mucho más largas que la distribución normal. Para cada una de ellas simulo una muestra de tamaño $N = 50$ , 1000 veces, hacer el intervalo de confianza para cada vez, y comprobar si $\mu = 5$ está en el intervalo o no. Devuelvo la proporción de tiempo $\mu$ estaba en el intervalo, y se espera que este número sea 0,95 si se cumplen todos los supuestos.

set.seed(100)
## True value of mu
mu <- 5
reps <- 1000 # to demonstrate definition of CI
N <- 50

counting <- vector(length = reps)
## making 95% CI
for(i in 1:reps)
{
    ## When data is really normal and true mean is mu = 5
    ## So CLT hold exactly
    data <-  mu + rnorm(N, mean = 0, sd = 1)
    mu.hat <- mean(data)
    se <- sd(data)/sqrt(N)
    quantile <- qt(.975, df = N-1)
    upper <-  mu.hat + quantile*se
    lower <- mu.hat - quantile*se

    ## Demonstrating how many of the CIs  have mu in them

    counting[i] <- ifelse(upper > mu && lower < mu, 1, 0)
}
mean(counting)
# [1] 0.946

counting <- vector(length = reps)
## making 95% CI
for(i in 1:reps)
{
    ## When data is from t distribution and true mean is still mu = 5
    ## With N = 100 CLT is only approximate
    data <-  mu + rt(N, df = 1)
    mu.hat <- mean(data)
    se <- sd(data)/sqrt(N)
    quantile <- qt(.975, df = N-1)
    upper <-  mu.hat + quantile*se
    lower <- mu.hat - quantile*se

    ## Demonstrating how many of the CIs  have mu in them

    counting[i] <- ifelse(upper > mu && lower < mu, 1, 0)
}
mean(counting)
# [1] 0.986

La primera vez, me acerco mucho a .95 pero la segunda vez estoy mucho más alto. Así que sí, nuestra confianza será diferente de .95 si nuestras suposiciones no se cumplen. Sin embargo, si $N$ es grande y la distribución de los datos es cercana a la normalidad, no estará muy lejos.

Answer 2

La respuesta de @Greenparker es una excelente respuesta que pone de manifiesto un error común, pero quiero intentar abordar tu pregunta de forma más directa. Tienes razón al decir que si tu modelo es erróneo (las alturas de los estudiantes no son normales) entonces tus intervalos de confianza podrían no ser tan precisos como afirman. La cuestión radica entonces en identificar un modelo apropiado y luego construir intervalos de confianza a partir de ese modelo para los parámetros implicados (los intervalos de confianza no son algo ligado únicamente a los modelos con el supuesto de normalidad).

En algunos casos, incluso si el modelo es erróneo, las estadísticas pueden ser robustas a las desviaciones de los supuestos del modelo (por ejemplo, el supuesto de normalidad para las alturas era erróneo, pero se obtienen intervalos de confianza del 94% en lugar de intervalos de confianza del 95%, lo cual está bien).

Y, por supuesto, como ilustra @Greenparker, el teorema del límite central es muy potente y se cumple en muchas situaciones. Así que, si el tamaño de la muestra es lo suficientemente grande, a menudo se puede prescindir de los supuestos de normalidad.

Todo esto para decir que las estadísticas son bastante matizadas, específicas para cada problema.