81 votos

¿Cómo debe pequeña $p$-valores reportados? (¿y por qué R poner un mínimo de 2.22 e-16?)

Para algunas pruebas en R, existe un límite en el $p$-cálculo del valor de $2.22 \cdot 10^{-16}$. No estoy seguro de por qué es este número, si hay una buena razón para ello o si es simplemente arbitrario. Un montón de otras estadísticas de los paquetes ir a $.0001$, por lo que este es un nivel mucho más alto de precisión. Pero no he visto demasiados papeles de informes de $p < 2.22\cdot 10^{-16}$ o $p = 2.22\cdot 10^{-16}$.

Es un común/mejor práctica para informar de este valor calculado o es más típico de un informe de algo más (como $p < 0.000000000000001$)?

106voto

AdamSane Puntos 1825

Hay una buena razón para ello.

El valor puede ser encontrado a través de noquote(unlist(format(.Machine)))

           double.eps        double.neg.eps           double.xmin 
         2.220446e-16          1.110223e-16         2.225074e-308 
          double.xmax           double.base         double.digits 
        1.797693e+308                     2                    53 
      double.rounding          double.guard     double.ulp.digits 
                    5                     0                   -52 
double.neg.ulp.digits       double.exponent        double.min.exp 
                  -53                    11                 -1022 
       double.max.exp           integer.max           sizeof.long 
                 1024            2147483647                     4 
      sizeof.longlong     sizeof.longdouble        sizeof.pointer 
                    8                    12                     4 

Si usted mira en la ayuda, (?".Machine"):

double.eps  

the smallest positive floating-point number x such that 1 + x != 1. It equals 
double.base ^ ulp.digits if either double.base is 2 or double.rounding is 0; 
otherwise, it is (double.base ^ double.ulp.digits) / 2. Normally 2.220446e-16.

Básicamente se trata de un valor por debajo del cual usted puede estar bastante seguro de que el valor va a ser bastante numéricamente sentido en que cualquier menor valor, no puede ser un cálculo preciso del valor estábamos tratando de calcular. (De haber estudiado un poco de análisis numérico, dependiendo de lo que los cálculos se realizaron mediante el procedimiento específico, hay una buena probabilidad numérica sinsentido viene en una manera justa encima de eso.)

Pero la estadística significado se ha perdido mucho antes. Tenga en cuenta que los valores de p dependen de las suposiciones, y la aún más hacia el extremo de la cola, más fuertemente el verdadero valor de p (en lugar de el valor nominal calculamos) se verán afectados por las suposiciones equivocadas, en algunos casos, incluso cuando están sólo un poco mal. Desde los supuestos son, simplemente, no va a ser exactamente satisfecho, medianamente p-valores que pueden ser razonablemente precisa (en términos de exactitud relativa, tal vez sólo por una fracción modesta), pero muy pequeños los valores de p puede ser por muchos órdenes de magnitud.

Es decir, que la práctica habitual (algo así como el "<0.0001" eso que usted dice es común en los paquetes, o la APA regla que Jaap menciona en su respuesta) es, probablemente, no muy lejos de la práctica sensata, pero aproximada de un punto en el que las cosas pierden el significado más allá de decir 'es muy muy pequeño' será, por supuesto, varían bastante dependiendo de las circunstancias.

Esta es una razón por la que no se puede sugerir una regla general - no puede ser que hay una sola regla que ni remotamente adecuada para todos y en todas las circunstancias de cambio de las circunstancias un poco y la amplia línea gris que marca el cambio de algo significativo relativamente sin sentido va a cambiar, a veces por un largo camino.

Si se va a especificar la información suficiente sobre las circunstancias exactas (por ejemplo, es una regresión, con esto mucho no linealidad, que la cantidad de variación de esta variable independiente, este tipo y la cantidad de la dependencia en el término de error, de que tipo y cantidad de heterocedasticidad, esta forma de distribución de error), yo podría simular 'true' p-valores para comparar con el nominal de los valores de p, por lo que podía ver cuando eran demasiado diferentes para el valor nominal para llevar ningún sentido.

Pero eso nos lleva a la segunda razón por la que - incluso si se especifica la información suficiente para simular la verdadera p-valores - yo todavía no podía responsablemente estado de corte, incluso para aquellas circunstancias.

Lo que dependerá de las preferencias de la gente - la suya, y su audiencia. Imagine que usted me dijo lo suficiente acerca de las circunstancias para mí decidir que quería dibujar la línea en un nominal de $p$ de $10^{-6}$.

Todo bien y bueno, podríamos pensar - a excepción de su propia preferencia de la función (lo que se ve a la derecha para usted, si usted mira la diferencia entre el nominal de los valores de p dado por las estadísticas de los paquetes y los resultantes de la simulación cuando se suponga que un conjunto particular de fallas de hipótesis) podría poner en $10^{-5}$ y los editores de la revista que desea enviar a podría poner tienen su manta regla para cortar en $10^{-4}$, mientras que en la próxima revista podría ponerlo en $10^{-3}$ y el siguiente puede no tener la regla general y la específica del editor tienes podría aceptar incluso inferiores a los valores que me dieron ... pero uno de los árbitros podrán, a continuación, tienen una cortada!

En la falta de conocimiento de su preferencia con las funciones y las reglas, y la falta de conocimiento de sus propias utilidades, ¿cómo hago responsable de sugerir cualquier elección general de las acciones a tomar?

Por lo menos puedo decir que el tipo de cosas que tengo que hacer (y no me sugieren que esta es una buena opción para usted en todo):

Hay algunas circunstancias (fuera de la simulación de los valores de p) en la cual yo podría hacer una p inferior a $10^{-6}$ (que puede o no puede mencionar el valor reportado por el paquete, pero yo no haría nada de él, excepto que era muy pequeña, yo suelen enfatizar el sentido de que el número exacto). A veces me toma un valor en algún lugar en la región de $10^{-5}$ a $10^{-4}$ y decir que p era mucho menos que eso. En ocasiones lo hacen en realidad, ¿como se sugirió anteriormente - realizar algunas simulaciones para ver lo sensible que es el p-valor está en el extremo de la cola a diversas violaciones de los supuestos, en particular si hay un tipo específico de infracción estoy preocupado.

Que sin duda es útil para informar a la elección, pero yo soy como probable para discutir los resultados de la simulación como el uso de ellos para elegir un corte de valor, dando a otros la oportunidad de elegir su propio.

Una alternativa a la simulación es mirar algunos de los procedimientos que son más robustos* a los posibles fallos de la asunción y ver cómo una gran diferencia para el p-valor que pueda hacer. Sus p-valores no ser particularmente significativo, pero al menos dan una idea de cuánto impacto puede ser. Si algunos están muy diferente de la nominal, también le da más de una idea de que las violaciones de los supuestos para investigar el impacto de. Incluso si usted no reporta ninguna de esas alternativas, se da una mejor imagen de lo significativo de su pequeña p-valor es.

* Tenga en cuenta que aquí no necesitamos procedimientos que son robustos a las violaciones manifiestas de algunas hipótesis; las que son menos afectadas por la relativamente leves desviaciones de la correspondiente asunción debe estar bien para este ejercicio.

Debo decir que cuando/si viene a hacer estas simulaciones, incluso con muy leves violaciones, en algunos casos puede ser sorprendente cómo mucho, incluso no-que-pequeño p-valores pueden estar equivocados. Que ha hecho más para cambiar la manera en que yo personalmente interpretar un p-valor de más de lo que ha cambiado el específico de la cut-offs que se podría utilizar.

Al presentar los resultados de una prueba de hipótesis para una revista, yo trate de averiguar si tienen alguna regla. Si no, me inclino a favor de mí mismo, y, a continuación, espere a que los árbitros para quejarse.

31voto

Jaap Puntos 549

Lo que en la práctica común se puede depender de su campo de investigación. El manual de la American Psychological Association (APA), que es uno de los más utilizados estilos de citas, los estados (p. 139, 6ª edición):

No utilice ningún valor menor que p < 0.001

16voto

erik Puntos 3923

El extremo de los valores de p se producen más a menudo en campos con cantidades muy grandes de datos, tales como la genómica y la monitorización del proceso. En esos casos, a veces es reportado como -log10(p-valor). Véase, por ejemplo, esta figura de la Naturaleza, donde el p-valor de ir a 1e-26.

-log10(p-valor) es llamado "LogWorth" por los estadísticos que trabajo en la JMP.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X