Alternativas a las pruebas de hipótesis en R

Question

He estado leyendo varios artículos y entradas de blog sobre cuestiones relacionadas con la comprobación de hipótesis. Aunque estas fuentes parecen plantear problemas legítimos con las pruebas de hipótesis y sus interpretaciones, no veo nada en términos de alternativas a las mismas (más allá de las pruebas de hipótesis bayesianas). ¿Cuáles son algunas alternativas a las pruebas de hipótesis en R?

Problemas con el enfoque de la prueba de hipótesis

Las llamadas pruebas de hipótesis bayesianas son tan malas como las pruebas de hipótesis normales

Alternativas a las pruebas estadísticas de hipótesis

EDIT :

Por ejemplo, consideremos la siguiente situación. Tenemos datos mensuales de un año en los que conversiones_a es el control y conversiones_b son los datos experimentales de la conversión cuando se utiliza un titular diferente.

df = data.frame(year_one_a = 1:12, conversions_a = rnorm(12), 
                year_one_b = 1:12, conversions_b = rnorm(12)+5)

Answer 1

Una alternativa es prescindir de los valores p y centrarse en lo que los resultados media . En muchas situaciones, los valores p responden a una pregunta que no nos interesa (o no debería interesarnos):

Si, en la población de la que se extrajo esta muestra, no hay efecto, ¿qué probabilidad hay de que, en una muestra de este tamaño, obtengamos un estadístico de prueba tan grande o mayor que el que obtuvimos?

En cambio, deberíamos interesarnos por lo que las estadísticas añaden a un argumento sobre lo que está ocurriendo. Esta idea se desarrolla plenamente en el libro "La estadística como argumento de principio" de Robert Abelson (el enlace va a mi reseña) pero, esencialmente, deberíamos hacer estas preguntas sobre los efectos que encontramos:

1. ¿Qué tamaño tienen?
2. ¿Qué precisión tienen?
3. ¿En qué medida se aplican?
4. ¿Qué tan interesantes son?
5. ¿Qué credibilidad tienen?

Esto sólo puede hacerse si también somos expertos en la materia o si trabajamos en estrecha colaboración con expertos. Por ejemplo, a veces los efectos pequeños son muy interesantes, tanto que merece la pena discutirlos. De hecho, a veces los efectos son interesantes porque son pequeños, si la literatura y la teoría sugieren que deberían ser grandes.

Las afirmaciones muy creíbles requieren menos pruebas que las que no lo son, pero la credibilidad tiene fuentes no estadísticas.

Answer 2

Esto es subjetivo y no responde directamente a tu pregunta, pero espero que te sirva de algo.

Creo que la gente confunde con demasiada frecuencia una hipótesis estadística con una científica, lo que da lugar a problemas. En cuanto a la primera, la hipótesis estadística que se comprueba es casi siempre si el parámetro que se estima es cero o no. Pero si se reflexiona más a fondo sobre el asunto, uno se da cuenta de que esto suele ser trivial, por todas las razones que Peter expuso. Pero como se llama hipótesis, y es falsable, parece que la gente está satisfecha de que se haya conseguido algo científico.

También tiende a reducir una cuestión científica compleja al informe de una hipótesis estadística clave. Esto se ve favorecido por la forma en que se publican muchas investigaciones científicas: se corta el problema más grande y se informa de cada corte/valor en un artículo diferente.

¿A dónde quiero llegar con respecto a tu pregunta? No me ofenden las pruebas de hipótesis estadísticas en sí, siempre que se apliquen de forma reflexiva. En otras palabras, la solución no consiste sólo en encontrar un mejor enfoque estadístico, sino en aplicar un mejor enfoque científico; especificando claramente una teoría completa que pueda ser probada, recopilando los datos pertinentes y asegurándose de que cualquier modelo o prueba estadística se derive directamente de ellos, y no al revés.

Answer 3

Siguiendo las ideas expuestas aquí http://robjhyndman.com/working-papers/forecasting-without-significance-tests/ puede formular dos modelos: con y sin variable ficticia. A continuación, puedes utilizar estadísticas tipo AIC (y empezar a leer sobre sus propios problemas y malentendidos).