30 votos

Lo que hace que la discontinuidad en la distribución de publicados los valores de p en p < .05?

En un reciente documento , Masicampo y Lalande (M-L) recogen un gran número de p-valores publicados en diferentes estudios. Se observó un curioso salto en el histograma de los valores de p a la derecha en la canónica nivel crítico de 5%.

Hay una buena discusión acerca de este M-L Fenómenos en Prof. Wasserman del blog:

http://normaldeviate.wordpress.com/2012/08/16/p-values-gone-wild-and-multiscale-madness/

En su blog, usted encontrará el histograma:

Histogram of published p-values

Desde el 5% de nivel es una convención y no una ley de la naturaleza, lo que hace que este comportamiento de la distribución empírica de los publicados los valores de p?

El sesgo de selección, sistemática "ajuste" de los p-valores justo por encima de la canónica de nivel crítico, o qué?

16voto

Brett Veenstra Puntos 10238

(1) Como ya se ha mencionado por @PeterFlom, una explicación puede estar relacionada con el "cajón de archivo" problema. (2) @Zen también mencionó el caso en el que el autor(s) manipular(s) de los datos o de los modelos (por ejemplo, datos de dragado). (3) no Obstante, la prueba de hipótesis sobre una base puramente al azar. Es decir, las hipótesis no son elegidos por casualidad sino que tenemos (más o menos fuerte) hipótesis teórica.

Usted también podría estar interesado en las obras de Gerber y Malhotra que recientemente se han llevado a cabo investigaciones en esa área de la aplicación de la denominada "prueba de la pinza":

Usted también podría estar interesado en este número especial editado por Andreas Diekmann:

10voto

Anthony Cramp Puntos 126

Un argumento que falta hasta ahora es la flexibilidad de análisis de datos conocido como investigadores grados de libertad. En cada uno de los análisis hay que tomar muchas decisiones, donde para establecer el valor atípico criterio, cómo transformar los datos, y ...

Este fue recientemente se crió en un influyente artículo de Simmons, Nelson y Simonsohn:

Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). Falso-la Psicología Positiva: no divulgada de la Flexibilidad en la Recolección y Análisis de Datos Permite Presentar Algo tan Importante. La Ciencia Psicológica, 22(11), 1359 -1366. doi:10.1177/0956797611417632

(Tenga en cuenta que este es el mismo Simonsohn responsable por algunos de los recientemente detectado casos de los datos de fraude en la Psicología Social, por ejemplo, la entrevista, blog-post)

9voto

mat_geek Puntos 1367

Creo que es una combinación de todo lo que ya ha sido dicho. Esto es muy interesante los datos y no he pensado en mirar p-valor distribuciones como esto antes. Si la hipótesis nula es verdadera, el valor de p sería uniforme. Pero, por supuesto, con los resultados publicados no veríamos la uniformidad por muchas razones.

  1. Hacemos el estudio, ya que esperan que la hipótesis nula es falsa. Así que debemos obtener resultados significativos más a menudo que no.

  2. Si la hipótesis nula de que eran falsas sólo la mitad del tiempo que no iba a conseguir una distribución uniforme de p-valores.

  3. Archivo de cajón problema: Como se ha mencionado que iba a tener miedo de presentar el documento cuando el p-valor no es significativo por ejemplo, por debajo de 0,05.

  4. Los editores de rechazar el papel, porque de no signifcativo resultados, incluso a pesar de que hemos elegido para presentarla.

  5. Cuando los resultados están en la frontera hay que hacer las cosas (tal vez no con mala intención) para obtener significado. (a) redondeo hacia abajo a 0.05 cuando el p-valor es 0.053, (b) encuentre las observaciones que creemos que podrían ser de los valores atípicos y después de rmoving ellos el p-valor cae por debajo de 0,05.

Espero que esto resume todo lo que ha dicho de una manera razonablemente comprensible.

Lo que creo que es de interés es que podemos ver los valores de p entre 0.05 y 0.1. Si las normas de publicación fueron a rechazar cualquier cosa con p-valores por encima de 0.05, entonces el derecho de cola corta en 0,05. Lo hizo en realidad corte en el 0.10? si es así tal vez algunos autores y algunas revistas se acepta un nivel de significancia de 0.10, pero nada más.

Ya que muchos documentos incluyen varios valores de p (ajustado por multiplcity o no) y el artículo es aceptado debido a que la clave de las pruebas fueron significativas podemos ver no significativo p-valores incluidos en la lista. Esto plantea la pregunta "Fueron en todos los casos los valores de p en el documento incluido en el histograma?"

Una observación adicional es que hay una importante tendencia a la alza en la frecuencia de artículos publicados como el p-valor se pone muy por debajo de 0.05. Tal vez es una indicación de los autores overinterpreting el p-valor del pensamiento p<0,0001 es mucho más digno de publicación. Creo que el autor ignore o no se dan cuenta de que el valor de p depende mucho del tamaño de la muestra como en la magnitud del tamaño del efecto.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X