¿Ejemplos de estudios que usan valores p < 0,001, p < 0,0001 o incluso menores?

Question

Vengo de las ciencias sociales, donde p < 0,05 es más o menos la norma, con p < 0,1 y p < 0,01 también apareciendo, pero me preguntaba: ¿qué campos de estudio, si los hay, utilizan valores p inferiores como norma común?

Answer 1

Mi opinión es que no depende (ni debe depender) del ámbito de estudio. Por ejemplo, es muy posible que se trabaje con un nivel de significación menor que $p<0.001$ si, por ejemplo, se trata de replicar un estudio con resultados históricos o bien establecidos (se me ocurren varios estudios sobre la Efecto Stroop que ha suscitado algunas polémicas en los últimos años). Eso equivale a considerar un "umbral" más bajo dentro del marco clásico de Neyman-Pearson para la comprobación de hipótesis. Sin embargo, la significación estadística y práctica (o sustantiva) es otra cuestión.

Sidenote . El "sistema estelar" parece haber dominado las investigaciones científicas ya en los años 70, pero véase La Tierra es redonda (p < .05), de J. Cohen ( Psicólogo americano , 1994, 49(12), 997-1003), a pesar de que lo que a menudo queremos saber es, dados los datos que he observado, cuál es la probabilidad de que $H_0$ ¿es cierto? De todos modos, también hay una buena discusión sobre " ¿Por qué P=0,05? ", por Jerry Dallal.

Answer 2

Puede ser raro que alguien utilice un nivel de alfa preestablecido inferior a, por ejemplo, 0,01, pero no es tan raro que la gente reclame un alfa implícito inferior a 0,01 en la creencia errónea de que un valor P observado inferior a 0,01 es lo mismo que un alfa de Neyman-Pearson inferior a 0,01.

Los valores P de Fisher no son iguales ni intercambiables con las tasas de error de Neyman-Pearson. $P = 0.0023$ no significa $\alpha = 0.0023$ a menos que uno haya decidido utilizar $0.0023$ como el nivel crítico de significación cuando se diseña el experimento. Si se hubiera tomado $P = 0.05$ como significativo entonces $P = 0.0023$ significa que hay un $0.05$ probabilidad de un falso positivo.

Echa un vistazo a Hubbard et al. Confusión sobre las medidas de evidencia (p's) frente a los errores (α's) en las pruebas estadísticas clásicas. The American Statistician (2003) vol. 57 (3)

Answer 3

No estoy muy familiarizado con esta literatura, pero creo que algunos físicos utilizan umbrales mucho más bajos en las pruebas estadísticas. Sin embargo, hablan de ello de forma un poco diferente, por lo que los científicos sociales podrían no darse cuenta de la conexión.

Por ejemplo, si una medida se aleja tres desviaciones estándar de la predicción teórica, se describe como una desviación "tres sigma". Básicamente, esto significa que el parámetro de interés es estadísticamente diferente del valor predicho en una prueba z con $α = .01$ . Dos sigmas equivalen aproximadamente a $α = .05$ (de hecho sería 1,96 σ). Si no me equivoco, el nivel de error estándar en física es de 5 sigma, que sería $α = 5*10^-7$ o $p < 0.0000005$ .

Además, en neurociencia o epidemiología, parece cada vez más habitual realizar de forma rutinaria alguna corrección por comparaciones múltiples. Por tanto, el nivel de error de cada prueba individual puede ser inferior a $p < .01$ .

Answer 4

Como ha señalado Gaël Laurans anteriormente, los análisis estadísticos que se enfrentan al problema de las comparaciones múltiples suelen utilizar umbrales más conservadores. Sin embargo, en esencia están utilizando 0,05, pero multiplicado por el número de pruebas. Es obvio que este procedimiento (corrección de Bonferroni) puede conducir rápidamente a valores p increíblemente pequeños. Por eso la gente en el pasado (en neurociencia) se detenía en p<0,001. Hoy en día se utilizan otros métodos de corrección de comparaciones múltiples (véase la teoría del campo aleatorio de Markov).