¿Por qué un tamaño de muestra más grande puede aumentar la potencia de una prueba?

Question

De Wikipedia

El tamaño de la muestra determina la cantidad de error de muestreo inherente a una resultado de la prueba. En igualdad de condiciones, los efectos son más difíciles de detectar en muestras más pequeñas. Aumentar el tamaño de la muestra suele ser la forma más fácil de aumentar el poder estadístico de una prueba.

Me pregunto por qué se dice a menudo que un mayor tamaño de la muestra puede aumentar la potencia (es decir, la tasa de verdaderos positivos) de una prueba en general . ¿El tamaño de la muestra es mayor siempre aumentar la potencia de las pruebas?

Añadido: Supongamos que en cada tamaño de muestra $n$ rechazar la iff nula $T_n(X) \geq c_n$ . Cómo cambia el poder con $n$ depende de cómo $T_n$ y $c_n$ se definen en términos de $n$ ¿no es así? Incluso si $c_n$ se elige de manera que el tamaño de la regla de prueba es un valor $ \alpha \in [0,1]$ fijado para todos $n$ valores, la potencia aumentará necesariamente con $n$ ?

Las explicaciones que son rigurosas e intuitivas son bienvenidas.

¡Gracias!

Answer 1

La potencia de la prueba depende de la distribución de la estadística de la prueba cuando la hipótesis nula es falsa. Si $R_n$ es la región de rechazo para el estadístico de prueba bajo la hipótesis nula y para el tamaño de la muestra $n$ la potencia es $$\beta = \mbox{Prob}(X_n \in R_n | H_A)$$ donde $H_A$ es la hipótesis nula y $X_n$ es el estadístico de prueba para una muestra de tamaño $n$ . Estoy asumiendo una alternativa simple --- aunque en la práctica, normalmente nos preocupamos por un rango de valores de los parámetros.

Normalmente, una estadística de prueba es una especie de media cuyo comportamiento a largo plazo se rige por la ley fuerte y/o débil de los grandes números. A medida que el tamaño de la muestra aumenta, la distribución de la estadística de prueba se aproxima a la de una masa puntual, ya sea bajo la hipótesis nula o la alternativa.

Así, como $n$ se hace grande, la región de aceptación (complemento de la región de rechazo), se hace más pequeña y se acerca al valor del nulo. Intuitivamente, los resultados probables bajo el nulo y los resultados probables bajo la alternativa ya no se solapan, lo que significa que la probabilidad de rechazo se acerca a 1 (bajo $H_A$ ) y 0 bajo $H_0$ . Intuitivamente, aumentar el tamaño de la muestra es como aumentar el aumento de un telescopio. Desde la distancia, dos puntos pueden parecer indistintamente cercanos: con el telescopio, te das cuenta de que hay espacio entre ellos. El tamaño de la muestra pone un "espacio de probabilidad" entre la nula y la alternativa.

Estoy tratando de pensar en un ejemplo en el que esto no ocurra --- pero es difícil imaginarse a uno mismo utilizando una estadística de prueba cuyo comportamiento no conduce finalmente a la certeza. Puedo imaginar situaciones en las que las cosas no funcionan: si el número de parámetros molestos aumenta con el tamaño de la muestra, las cosas pueden no converger. En la estimación de series temporales, si la serie es "insuficientemente aleatoria" y la influencia del pasado no disminuye a un ritmo razonable, también pueden surgir problemas.

Answer 2

He aquí una respuesta intuitiva: En el mundo real, casi siempre se toman muestras de una población finita (aunque pueda ser muy grande). Si consiguieras medir a toda la población, la potencia sería infinita (bueno, 1,0, que es esencialmente como una potencia infinita -podrías detectar cualquier diferencia-): sabrías la diferencia exacta. Cuanto más se acerque a toda la población (dado que la muestra es aleatoria), más precisa será la estimación.

Sin embargo, si se aleja de las muestras aleatorias, esto ya no es así. Supongamos, de nuevo de forma intuitiva, que se está probando la diferencia de altura entre hombres y mujeres adultos. Una forma extrema de no ser aleatorio es probar una muestra de hombres muy bajos (digamos que se toma una muestra de una población de jockeys) contra una muestra de mujeres muy altas (jugadoras de baloncesto).

Answer 3

Pensando un poco más en la parte de la pregunta:

¿Un mayor tamaño de la muestra aumenta siempre la potencia de las pruebas?

Si sólo estamos hablando de las pruebas que generalmente se cubren en un curso de introducción a la estadística y las condiciones para esas pruebas se mantienen (por ejemplo, muestra aleatoria simple, el teorema central del límite da una normalidad aproximada, la hipótesis nula es falsa, etc.) entonces sí, aumentar el tamaño de la muestra aumentará la potencia. Sin embargo, hay algunos casos en los que aumentar el tamaño de la muestra puede no aumentar la potencia:

Si la distribución subyacente es una Cauchy (media indefinida, varianza infinita, la CLT no se aplica), entonces aumentar el tamaño de la muestra puede no aumentar la potencia (pero no sé qué prueba estarías haciendo con esos datos, o incluso un caso realista que siguiera una Cauchy).

Un muestreo excesivo hace que los sujetos pierdan interés y dejen de cooperar. Recuerdo una presentación sobre unas elecciones en uno de los países insulares del Caribe en las que las encuestas se les fueron de las manos hasta el punto de que todos los votantes registrados eran encuestados de media cada semana y estaban tan hartos que dejaron de responder o simplemente mintieron. La presentación demostró que si hubieran utilizado muestras más pequeñas para cada encuesta, la población no se habría sentido tan frustrada y probablemente habrían obtenido mejores resultados.

El índice de respuesta y el coste. Si se planifica una encuesta por correo y se envía la encuesta a 1.000 personas pero no se hace ningún otro seguimiento, es posible que sólo se obtengan 100 respuestas, pero si se utiliza el mismo dinero para enviar sólo 200 encuestas, pero también se envían cartas de seguimiento y/o se ofrecen incentivos, es posible que se reciban 150 respuestas, por lo que la cantidad real de datos del estudio planificado más pequeño de 200 sujetos será mayor que la de los 1.000 sujetos previstos. Esto también puede influir en la calidad de los datos, una entrevista en persona de 50 personas o una entrevista telefónica de 100 personas puede producir datos de mejor calidad que una encuesta por correo de 1.000.

El concepto de potencia es sólo para los casos en que la hipótesis nula es falsa, por lo que si la nula es verdadera, la potencia no se verá afectada por el tamaño de la muestra.

Cuando se realizan varias mediciones por sujeto, el concepto de tamaño de la muestra es más complicado. Qué da más potencia, 10 mediciones en cada uno de los 20 sujetos (para un total de 200 valores medidos) o 2 mediciones en cada uno de los 50 sujetos (para un total de 100 valores medidos), a menudo la segunda dará más potencia aunque el número total de mediciones sea menor.

Si el parámetro de interés cambia con el tiempo (piense en los sondeos electorales) y la obtención de una muestra más grande requerirá más tiempo en el que las cosas podrían cambiar, entonces eso podría afectar a la potencia. Piense en comparar una muestra de 100 tomada en un solo día frente a una muestra de 1.000 tomada durante un periodo de 2 semanas (y qué pasa si hay un debate publicitado, un escándalo, etc. durante esas 2 semanas).

Si tiene una prueba cuyo error de tipo I no es exactamente alfa, y depende del tamaño de la muestra, entonces aumentar el tamaño de la muestra puede en realidad disminuir la potencia. Considere una prueba binomial con la nulidad de que la probabilidad es $0.5$ la alternativa a probar es que sea mayor, y queremos probar con $\alpha=0.05$ . Con un tamaño de muestra de $n=5$ sólo podemos rechazar si vemos 5 aciertos (tasa de error de tipo I 0,03125), con una muestra de $n=10$ rechazaremos si vemos 9 o 10 aciertos (tasa de error de tipo I 0,01074, sería 0,05469 si rechazáramos a los 8 aciertos). Si la probabilidad real es $0.6$ entonces la probabilidad de rechazar (poder) con $n=5$ es $0.07776$ y con $n=10$ es $0.04646$ Por lo tanto, duplicar el tamaño de la muestra disminuye la potencia, pero también disminuye la tasa de error de tipo I, por lo que no es una comparación justa. Aumentar el tamaño de la muestra hasta que la potencia sea significativa ( $>80\%$ ) hará mucho más difícil encontrar ejemplos como éste (aunque probablemente haya alguno en el que aumentar n en 1 disminuya ligeramente la potencia).

Si ejecuta una prueba incorrecta en la que se violan los supuestos (por ejemplo, si utiliza una prueba que asume varianzas iguales cuando son muy diferentes), es posible que su potencia no aumente.

Si primero se realiza una prueba de normalidad y luego se realiza una segunda prueba diferente basada en los resultados, es más probable que los tamaños de muestra más grandes rechacen la prueba de normalidad (incluso cuando la diferencia no es importante) y si la prueba que se realiza como resultado es menos potente que si no se rechaza la normalidad, el aumento del tamaño de la muestra podría reducir la potencia (que es un argumento en contra de la prueba previa de normalidad de los datos).

Seguramente hay otros casos que, como estos, quedan fuera del alcance de lo que el artículo de la wikipedia intentaba cubrir.

Answer 4

Para una comprensión más intuitiva, consulte el power.examp en el paquete TeachingDemos para R.

Answer 5

Imagina una moneda ligeramente imperfecta en la que la cara sale un poco más que la cruz. Si intentas detectar esa imperfección con sólo, por ejemplo, 10 tiradas, tus posibilidades son bajas debido al error de muestreo. Por ejemplo, puedes obtener una muestra en la que salgan más cruces que cabezas. A medida que aumenta el número de lanzamientos, el impacto relativo del error de muestreo disminuye. Esencialmente, porque se está acercando al tamaño total de la población y, por tanto, a un resultado que refleja mejor el valor real que se está midiendo. Si se lanza la moneda 10.000 veces, es más probable que se detecten con precisión incluso diferencias muy pequeñas entre cara y cruz.