¿Son grandes conjuntos de datos inadecuados para hipótesis de prueba?

Question

En un artículo reciente de Amstat News, los autores (Mark van der Laan y Sherri Rose) afirmó que "sabemos que para tamaños de muestra suficientemente grandes, cada estudio, incluyendo los en que la hipótesis nula de ningún efecto es cierto, declarará un efecto estadísticamente significativo.".

Bueno, yo no sabía. ¿Es esto cierto? ¿Significa que la comprobación de hipótesis es inútil para grandes conjuntos de datos?

Answer 1

No es cierto. Si la hipótesis nula es verdadera, entonces no será rechazado con más frecuencia en tamaños de muestra grandes que los pequeños. Hay una errónea tasa de rechazo que normalmente se establece en 0.05 (alfa), pero es independiente del tamaño de la muestra. Por lo tanto, tomado literalmente la afirmación es falsa. Sin embargo, es posible que todos los valores nulos son falsas y por lo tanto todo será rechazada si N es suficientemente alta. Pero esta es una mala cosa?

Lo cierto es que trivialmente pequeños efectos se pueden encontrar con grandes tamaños de muestra. Esto no sugiere que usted no debería tener grandes muestras de tamaños. Lo que significa es que la manera de interpretar su hallazgo es dependiente del tamaño del efecto y la sensibilidad de la prueba. Si usted tiene un efecto muy pequeño tamaño y de alta sensibilidad de la prueba que tienen que reconocer que el hallazgo estadísticamente significativo no sea importante o útil.

Answer 2

Estoy de acuerdo con las respuestas que han aparecido, pero quisiera agregar que tal vez la pregunta podría ser redirigido. Ya sea para probar una hipótesis o no es una pregunta de investigación que se debe, al menos en general, ser independiente de la cantidad de datos que uno tiene. Si usted realmente necesita para poner a prueba una hipótesis, que lo hagan, y no tenga miedo de su capacidad para detectar efectos pequeños. Pero primero preguntar si eso es parte de sus objetivos de investigación.

Ahora, para algunos incordia:

• Algunas hipótesis nula son absolutamente cierto por la construcción. Cuando tienes que probar un generador de números pseudo aleatorios para la equidistribución, por ejemplo, y que el PRG es verdaderamente equidistributed (lo que sería un teorema matemático), entonces el valor null se mantiene. Probablemente la mayoría de ustedes pueden pensar de los más interesantes ejemplos del mundo real que surjan a partir de la aleatorización en experimentos en los que el tratamiento realmente no tienen efecto. (Me gustaría mantener la totalidad de la literatura en esp como un ejemplo. ;-)

• En una situación en la que un "simple" null se prueba con un "compuesto" alternativa, como en el clásico de la prueba t o z-pruebas, normalmente se toma una muestra de tamaño proporcional a $1/\epsilon^2$ para detectar un efecto de tamaño de $\epsilon$. Hay una práctica límite superior a este en cualquier estudio, lo que implica que hay una práctica límite inferior en un efecto detectable tamaño. Así que, como un asunto teórico der Laan y Rose son correctas, pero debemos de tener cuidado en la aplicación de su conclusión.

Answer 3

Un (frecuentista) prueba de hipótesis, precisamente, abordar la cuestión de la probabilidad de los datos observados o algo más extremo sería probable suponiendo que la hipótesis nula es verdadera. Esta interpretación es indiferente para el tamaño de la muestra. Esa interpretación es válida si la muestra es de tamaño 5 o 1.000.000.

Una advertencia importante es que la prueba sólo es relevante para los errores de muestreo. Los errores de medición, muestreo problemas de cobertura, errores de entrada de datos, etc se encuentran fuera del alcance de error de muestreo. Como el tamaño de la muestra aumenta, los errores no muestrales ser más influyentes como pequeñas salidas pueden producir importantes salidas desde el muestreo aleatorio del modelo. Como resultado, las pruebas de significación se vuelven menos útiles.

De ninguna manera esto es una acusación de pruebas de significación. Sin embargo, necesitamos ser cuidadosos acerca de nuestras atribuciones. Un resultado puede ser significativo estadísticamente. Sin embargo, debemos ser cautelosos acerca de cómo hacemos las atribuciones cuando el tamaño de la muestra es grande. Es que la diferencia debido al error de muestreo (que la prueba supone) o es el resultado de una serie de posibles errores no muestrales que podrían influir en la estadística de prueba?

Otra consideración con grandes muestras es el significado práctico de un resultado. Una prueba significativa podría sugerir (aunque podemos descartar que no de error de muestreo), una diferencia que es trivial en un sentido práctico. Incluso si el resultado es improbable dado el modelo de muestreo, es importante en el contexto del problema? Dada una muestra bastante grande, una diferencia de un par de dólares podría ser suficiente para producir un resultado que es estadísticamente significativa al comparar los ingresos entre los dos grupos. Esto es importante en cualquier sentido significativo? La significación estadística no sustituye el buen juicio y el conocimiento de la materia.

Por otro lado, la nula no es ni verdadera ni falsa. Es un modelo. Es una suposición. Asumimos la nula es verdadera y evaluar nuestra muestra, en términos de esa suposición. Si nuestra muestra, sería poco probable dado este supuesto, tenemos más confianza en nuestra alternativa. A la pregunta de si es o no nula es verdadera en la práctica, es la incomprensión de la lógica de las pruebas de significación.

Answer 4

Un simple punto de no hacerse directamente en la otra respuesta es que simplemente no es cierto que "todas las hipótesis nula es falsa."

La simple hipótesis de que un físico de la moneda ha jefes de probabilidad igual a 0.5, ok, eso es falso.

Pero el compuesto hipótesis de que un físico de la moneda ha jefes probabilidad mayor que 0.499 y menos de 0.501 puede ser cierto. Si es así, no hay prueba de hipótesis-no importa cómo muchos de los coin flips ir en -- va a ser capaz de rechazar esta hipótesis con una probabilidad mayor que el $\alpha$ (las pruebas del obligado en los falsos positivos).

La industria médica, pruebas de "no inferioridad" hipótesis todo el tiempo, por esta razón-por ejemplo, un nuevo medicamento para el cáncer tiene que demostrar que sus pacientes la probabilidad de supervivencia libre de progresión no menos de 3 puntos porcentuales inferior al de un medicamento existente, en algún nivel de confianza ( $\alpha$ , normalmente 0.05).

Answer 5

Creo que lo que quieren decir es que a menudo se hace una suposición sobre la densidad de probabilidad de la hipótesis nula que tiene un formulario pero no se corresponde con la verdadera densidad de probabilidad.

Ahora con pequeños conjuntos de datos, puede que no tenga suficiente sensibilidad para ver este efecto pero con un gran suficiente conjunto de datos que va a rechazar la hipótesis nula y concluir que hay un nuevo efecto en lugar de concluir tu hipótesis acerca de la hipótesis nula es incorrecta.