tl;dr: su prueba necesita tener poder estadístico, el concepto de poder estadístico invalida toda la razón de ser de la prueba de hipótesis nulas
Suponga que ha hecho un experimento en un laboratorio y quiere probar un efecto. ¡Un anatema! ¿No sabes que sólo puedes rechazar la ausencia de un efecto? ¿No has leído a Popper? ¿No sabes que no es científico tratar de confirmar nada, sólo puedes tratar de refutar las cosas .
Muy bien dice usted, así que concibe una hipótesis nula, construye una estadística alrededor de ella, y prueba la probabilidad de obtener un valor tan extremo bajo la hipótesis nula. Sin embargo, encuentras el proceso tedioso, y te preguntas si podrías automatizarlo un poco más.
Entonces tienes una idea brillante. Para rechazar la hipótesis nula, escribirás un informe sobre tu experimento (con los datos). Luego, pondrá ese informe a través de un función criptográfica de hash como el sha2. Como este hash es muy impredecible, si no hay efecto, los primeros 6 bits sólo serán 0 alrededor de 1/128 del tiempo.
Por lo tanto, ahora tienes una prueba de hipótesis nula universal. Haz tu papel, y comprueba si los primeros 6 bits son 0. Si no lo son, entonces puedes rechazar la hipótesis nula en p=0.78%. Esto sugiere que puede haber un efecto, donde de alguna manera el molde de baba que has estado estudiando está invirtiendo la función de hash.
Por supuesto, en realidad, tienes un 0,78% de posibilidades de rechazar la hipótesis nula, y todos tus rechazos serán casualidades. Se dice que tu prueba no tiene ningún poder .
Muy bien, entonces, ¡utilicemos pruebas que tengan poder! ¿Y cómo lo hacemos? Bueno, necesitamos una idea de lo que pasaría si hubiera un efecto, veamos... ¡Horror! ¡Desesperación! Parece que debemos modelar nuestra hipótesis real... pero... eso es indeciblemente poco científico. ¡Hume demostró que la inducción era imposible!
Ahí está el sucio secreto. Todo el concepto de prueba de hipótesis nulas es una contorsión usada para mantener la pretensión de que no estamos haciendo suposiciones sobre el efecto que buscamos, que simplemente estamos rechazando hipótesis. Tonterías. El efecto se modela implícitamente en el momento en que empezamos a preocuparnos por el poder de la prueba.