¿Por qué los estadísticos dicen que un resultado no significativo significa "no puedes rechazar la hipótesis nula" en lugar de aceptar la hipótesis nula?

Question

Las pruebas estadísticas tradicionales, como la prueba t de dos muestras, se centran en tratar de eliminar la hipótesis de que no hay diferencia entre una función de dos muestras independientes. Entonces, elegimos un nivel de confianza y decimos que si la diferencia de medias está más allá del 95%, podemos rechazar la hipótesis nula. De lo contrario, "no podemos rechazar la hipótesis nula". Esto parece implicar que tampoco podemos aceptarla. ¿Significa que no estamos seguros si la hipótesis nula es verdadera?

Ahora, quiero diseñar una prueba donde mi hipótesis es que una función de dos muestras es la misma (lo cual es lo opuesto a las pruebas estadísticas tradicionales donde la hipótesis es que las dos muestras son diferentes). Entonces, mi hipótesis nula se convierte en que las dos muestras son diferentes. ¿Cómo debo diseñar una prueba así? ¿Será tan simple como decir que si el valor p es menor al 5% podemos aceptar la hipótesis de que no hay diferencia significativa?

Answer 1

Tradicionalmente, la hipótesis nula es un valor puntual. (Normalmente es $0$, pero de hecho puede ser cualquier valor puntual). La hipótesis alternativa es que el valor real es cualquier valor que no sea el valor nulo. Debido a que una variable continua (como una diferencia de medias) puede tomar un valor que esté indefinidamente cerca del valor nulo pero aún no sea igual y por lo tanto hacer que la hipótesis nula tradicional sea falsa, una hipótesis nula puntual tradicional no puede ser probada.

Imagina que tu hipótesis nula es $0$, y la diferencia de medias que observas es $0.01$. ¿Es razonable asumir que la hipótesis nula es verdadera? Aún no lo sabes; sería útil saber cómo se ve nuestro intervalo de confianza. Digamos que tu intervalo de confianza del 95% es $(-4.99, 5.01)$. Ahora, ¿deberíamos concluir que el valor real es $0$? No me sentiría cómodo diciendo eso, porque el intervalo de confianza es muy amplio, y hay muchos valores no nulos grandes que podríamos sospechar razonablemente son consistentes con nuestros datos. Así que digamos que recopilamos mucha, mucha más información, y ahora nuestra diferencia de medias observada es $0.01$, pero el 95% del CI es $(0.005, 0.015)$. La diferencia media observada se ha mantenido igual (lo cual sería increíble si realmente sucediera), pero el intervalo de confianza ahora excluye el valor nulo. Por supuesto, esto es solo un experimento mental, pero debería aclarar las ideas básicas. Nunca podemos demostrar que el valor real es algún valor puntual en particular; solo podemos (posiblemente) refutar que sea algún valor puntual. En la prueba de hipótesis estadísticas, el hecho de que el valor p sea > 0.05 (y que el 95% del CI incluya cero) significa que no estamos seguros si la hipótesis nula es verdadera.

En cuanto a tu caso concreto, no puedes construir una prueba donde la hipótesis alternativa sea que la diferencia de medias es $0$ y la hipótesis nula sea cualquier cosa que no sea cero. Esto viola la lógica de la prueba de hipótesis. Es perfectamente razonable que sea tu hipótesis sustantiva y científica, pero no puede ser tu hipótesis alternativa en una situación de prueba de hipótesis.

Entonces, ¿qué puedes hacer? En esta situación, utilizas pruebas de equivalencia. (Podrías querer leer a través de algunas de nuestras discusiones sobre este tema haciendo clic en la etiqueta de equivalencia). La estrategia típica es utilizar el enfoque de las dos pruebas unilaterales. Muy brevemente, seleccionas un intervalo dentro del cual considerarías que la verdadera diferencia media podría muy bien ser $0$ por todo lo que te importa, luego realizas una prueba unilateral para determinar si el valor observado es menor que el límite superior de ese intervalo, y otra prueba unilateral para ver si es mayor que el límite inferior. Si ambas pruebas son significativas, entonces has rechazado la hipótesis de que el valor real está fuera del intervalo que te importa. Si una (o ambas) no son significativas, no logras rechazar la hipótesis de que el valor real está fuera del intervalo.

Por ejemplo, supongamos que cualquier cosa dentro del intervalo $(-0.02, 0.02)$ está tan cerca de cero que piensas que es esencialmente lo mismo que cero para tus propósitos, así que lo usas como tu hipótesis sustantiva. Ahora imagina que obtienes el primer resultado descrito anteriormente. Aunque $0.01$ está dentro de ese intervalo, no podrías rechazar la hipótesis nula en ninguna de las pruebas unilaterales, por lo que no rechazarías la hipótesis nula. Por otro lado, imagina que obtienes el segundo resultado descrito anteriormente. Ahora encuentras que el valor observado está dentro del intervalo designado, y se puede demostrar que es tanto menor que el límite superior como mayor que el límite inferior, por lo que puedes rechazar la hipótesis nula. (Vale la pena señalar que puedes rechazar ambas la hipótesis de que el valor real es $0$, y la hipótesis de que el valor real está fuera del intervalo $(-0.02, 0.02)$, lo cual puede parecer desconcertante al principio, pero es totalmente coherente con la lógica de las pruebas de hipótesis.)

Answer 2

Consideremos el caso en el que la hipótesis nula es que una moneda tiene 2 caras, es decir, la probabilidad de obtener cara es 1. Ahora los datos son el resultado de lanzar una moneda una sola vez y ver una cara. Esto resulta en un valor p de 1.0 que es mayor que cualquier alfa razonable. ¿Significa esto que la moneda tiene 2 caras? Podría ser, pero también podría ser una moneda justa y vimos cara debido a la casualidad (sucedería el 50% del tiempo con una moneda justa). Entonces, el alto valor p en este caso dice que los datos observados son perfectamente coherentes con la hipótesis nula, pero también son coherentes con otras posibilidades.

Así como un veredicto de "No culpable" en el tribunal puede significar que el acusado es inocente, también puede ser porque el acusado es culpable pero no hay suficiente evidencia. Lo mismo ocurre con la hipótesis nula que no rechazamos porque la hipótesis nula podría ser cierta, o podría ser que no tenemos suficiente evidencia para rechazarla aunque sea falsa.

Answer 3

La ausencia de evidencia no es evidencia de ausencia (el título de un artículo de Altman, Bland en BMJ). Los valores P solo nos dan evidencia de ausencia cuando los consideramos significativos. De lo contrario, no nos dicen nada. Por lo tanto, ausencia de evidencia. En otras palabras: no sabemos y más datos pueden ayudar.

Answer 4

La hipótesis nula, $H_0$, suele ser considerada como la suposición que tienes razones para asumir. A menudo es el "estado actual del conocimiento" que deseas demostrar que es estadísticamente improbable.

La configuración habitual para la prueba de hipótesis es minimizar el error de Tipo I, es decir, minimizar la posibilidad de rechazar la hipótesis nula a favor de la alternativa $H_1$ incluso cuando $H_0$ es verdadero. Este es el error que elegimos minimizar primero porque no queremos revertir el conocimiento común cuando ese conocimiento común es realmente verdadero.

Siempre debes diseñar tu prueba teniendo en cuenta que $H_0$ debería ser lo que esperas.

Si tenemos dos muestras que esperamos que estén distribuidas de manera idéntica, entonces nuestra hipótesis nula es que las muestras son iguales. Si tenemos dos muestras que esperaríamos que sean (muy) diferentes, nuestra hipótesis nula es que son diferentes.