¿Por qué es $z$ -valor más significativo que $p$ -valor para muy bajo $p$ -¿valores?

Question

En un comentario a Respuesta de Jaap a esta pregunta sobre la presentación de pequeños valores p , la ameba dice "Una vez que el $p$ -valor está por debajo de 0,0001 o algo así... probablemente sea más significativo mirar $z$ -valor que en $p$ -valor", por ejemplo el 5 $\sigma$ convención en física de partículas. Hubo acuerdo en que esto era correcto. ¿Por qué es correcto? ¿Por qué $z$ -de los datos que dan muy poca información. $p$ -¿valores? ¿Qué significa "más significativo"?

Citando a Respuesta de Glen_b a por qué muy bajo $p$ -Los valores no son tan significativos:

Pero estadística el significado se habrá perdido mucho antes. Tenga en cuenta que $p$ -Los valores dependen de las suposiciones, y cuanto más se adentra uno en la cola extrema, más pesa el verdadero $p$ -(en lugar del valor nominal que calculamos) se verá afectado por los supuestos erróneos, en algunos casos incluso cuando sólo están un poco equivocados. Dado que las suposiciones simplemente no se van a satisfacer todas con exactitud, el valor medio $p$ -Los valores pueden ser razonablemente precisos (en términos de precisión relativa, tal vez sólo por una fracción modesta), pero extremadamente pequeños $p$ -Los valores pueden estar fuera por muchos órdenes de magnitud.

¿Por qué no se aplica una lógica similar a las grandes $z$ -¿valores? ¿No tienen supuestos que pueden ser violados?

Preguntas relacionadas: Si este es el caso, ¿por qué no utilizar siempre $z$ -¿valores? ¿Son $p$ -valores "más significativos" que $z$ -cuando el $p$ -valor es alto ?

Answer 1

Un menor $p$ -El valor no indica que se hayan violado los supuestos. Algunos valores realmente bajos $p$ -valores como $2.22\times10^{-16}$ sólo indican el límite de la máquina, algo llamado máquina epsilon . Una vez que un número llega tan bajo, la máquina no puede bajar más, así que lo escupe o lo pone a cero.

La razón por la que se podría denunciar el $z$ en ese punto es $z$ puede interpretarse de forma significativa en determinados contextos. Una pequeña $p$ es muy, muy, muy pequeño. Además, en ese punto, es irrelevante. Hay una diferencia significativa entre $p_a=.35$ y $p_b=.09$ . Sin embargo, hay poca diferencia sustantiva entre $p_1=.0000000001$ y $p_2=.0000000000000000001$ aunque $\frac{p_1}{p_2}$ es muchas veces mayor que $\frac{p_a}{p_b}$ .

Por último, el autor afirma que como $p$ -los valores se vuelven muy pequeños, el incumplimiento de los supuestos estadísticos tiene más efectos en la magnitud de la $p$ -valor. Casi nunca se cumplen totalmente los supuestos de las pruebas estadísticas, pero si tenemos un $p$ -Si el valor de la prueba es de 0,04 y cumplimos los supuestos de la prueba, su magnitud podría variar entre 0,02 y, por ejemplo, 0,06. Sin embargo, si tenemos un $p$ -valor como $p_2$ el autor está diciendo que podría ser tan diferente como $p_1$ en la realidad. Por lo tanto, a ese nivel, la cifra que se obtiene no es fiable: es una precisión falsa.

Esto no se aplica al $z$ tanto como el cambio en $p$ , tan grande como de $p_1$ a $p_2$ es sólo un cambio de 3 puntos en $z$ de unos 6 a 9. Y en $z$ si nos preocupa la incertidumbre sobre ella, siempre podemos informar de su intervalo de confianza. Por supuesto, podríamos hacer lo mismo con una pequeña $p$ pero eso sería muy poco convencional y apenas interpretable.