R (Stats) - Leer tabla anova y probar Ha

Question

No me votéis negativamente por no incluir más contexto, no lo necesitáis (a menos que tengáis curiosidad por saber más).

Tengo un conjunto de datos y tengo la siguiente salida en la tabla anova:

(las estadísticas se basan en este estudio: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC164340/ )

Entiendo que el valor F es el estadístico de prueba y Pr(>F) denota el valor p asociado. Utilizando estos datos, me han pedido que "informe de la conclusión al nivel de significación 0,05 para Ho : no hay diferencia...".

¿Rechazamos Ho debido al valor p significativamente pequeño? Tras investigar un poco, he descubierto que los estadísticos no ven con buenos ojos tomar decisiones sobre la importancia de los estudios/resultados basándose únicamente en el valor p.

¿Hay alguna otra comparación que pueda/deba hacerse, o nuestra decisión debe basarse únicamente en el valor p?

Answer 1

Es una práctica habitual rechazar la hipótesis nula porque el valor p es pequeño, y si se le pide que utilice un nivel de significación de $0.05$ significa que se rechaza la hipótesis nula si el valor p es inferior a $0.05$ .

La elección de $0.05$ es una decisión económica a menudo subjetiva; es la mayor probabilidad de error de tipo I que se está dispuesto a tolerar.

I sospechoso (pero sólo sospecho) que su afirmación de que "los estadísticos desprecian tomar decisiones sobre la importancia de los estudios/resultados basándose únicamente en el valor p" se refiere a las alternativas bayesianas propuestas al uso de los valores p. En la estadística bayesiana, a diferencia de la frecuentista, se asignan probabilidades a proposiciones inciertas incluso cuando la incertidumbre no se deriva del azar y no corresponde a ninguna proporción de una población. Así, en la estadística bayesiana se puede asignar una probabilidad a la hipótesis nula, aunque repetir el experimento -tomando otra muestra aleatoria independiente- no cambie aleatoriamente si la hipótesis nula es cierta o no. En ese contexto, se hallaría la probabilidad condicional de la hipótesis nula dados los datos.

He aquí una sencilla crítica al uso de los valores p: Si el valor p es $0.01$ entonces se obtienen resultados al menos tan extremos como los que aparecían con probabilidad $0.01$ si la hipótesis nula es cierta. Pero, ¿y si el resultado es igualmente improbable dada la hipótesis alternativa?