El valor P en una prueba de dos colas con distribución nula asimétrica

Question

Mi situación es la siguiente: Quiero, a través de un estudio de Monte-Carlo, comparar $p$ -valores de dos pruebas diferentes para la significación estadística de un parámetro estimado (nulo es "sin efecto - el parámetro es cero", y el implicado alternativa es "el parámetro no es cero"). Prueba A es el estándar "prueba t independiente de dos muestras para la igualdad de medios" con iguales variaciones bajo el nulo.

Prueba B Me he construido a mí mismo. Aquí, la distribución nula utilizada es una asimétrico distribución discreta genérica. Pero he encontrado el siguiente comentario en Rohatgi y Saleh (2001, 2ª ed., pág. 462)

"Si la distribución no es simétrica, la $p$ -el valor no está bien definido en el caso de los dos lados, aunque muchos autores recomiendan doblando el unilateralismo $p$ -Valor" .

Los autores no discuten esto más a fondo, ni comentan la "sugerencia de muchos autores" de duplicar la unilateralidad $p$ -Valor. (Esto crea la pregunta "el doble de $p$ -Valor de que lado? ¿Y por qué este lado y no el otro?)

No pude encontrar ningún otro comentario, opinión o resultado sobre todo este asunto. Entiendo que con una distribución asimétrica, aunque podemos considerar un intervalo simétrico alrededor de la hipótesis nula en cuanto al valor del parámetro, no tendremos la segunda simetría habitual, la de la asignación de la masa de probabilidad. Pero no entiendo por qué esto hace que el $p$ -Valor "no bien definido". Personalmente, utilizando un intervalo simétrico alrededor de la hipótesis nula para los valores del estimador veo que no definición problema al decir "la probabilidad de que la distribución nula produzca valores iguales a los límites de, o fuera de este intervalo es XX". El hecho de que la masa de probabilidad de un lado sea diferente de la masa de probabilidad del otro lado, no parece causar problemas, al menos para mis propósitos. Pero es bastante más probable que Rohatgi y Saleh sepan algo que yo no sé.

Así que esta es mi pregunta: ¿En qué sentido el $p$ -el valor es (o puede ser) "no bien definido" en el caso de una prueba de dos caras cuando la distribución nula no es simétrica?

Una nota quizás importante: abordo el asunto más con un espíritu Fisheriano, no intento obtener una regla de decisión estricta en el sentido de Neyman-Pearson. Dejo al usuario de la prueba el uso de la $p$ -Valorizar la información junto con cualquier otra información para hacer inferencias.

Answer 1

Si miramos la prueba exacta de 2x2, y tomamos eso como nuestro enfoque, lo que es "más extremo" podría ser medido directamente por "menor probabilidad". (Agresti[1] menciona una serie de enfoques de varios autores para calcular dos valores p de cola sólo para este caso de la prueba exacta de Fisher 2x2, de la cual este enfoque es uno de los tres específicamente discutidos como "más populares").

Para una distribución continua (unimodal), sólo se encuentra el punto en la otra cola con la misma densidad que su valor de muestra, y todo lo que tenga igual o menor probabilidad en la otra cola se cuenta en su cálculo del valor p.

Para las distribuciones discretas que no aumentan monótonamente en las colas, es casi igual de simple. Simplemente cuentas todo con igual o menor probabilidad que tu muestra, lo cual, dadas las suposiciones que he añadido (para que el término "colas" encaje con la idea), da una forma de resolverlo.

Si estás familiarizado con los intervalos de HPD (y de nuevo, estamos tratando con la unimodalidad), es básicamente como tomar todo lo que está fuera de un intervalo abierto de HPD que está limitado en una cola por tu estadística de muestra.

[Para reiterar esta es la probabilidad bajo el nulo que estamos equiparando aquí.]

Así que al menos en el caso unimodal, parece bastante simple emular la prueba exacta de Fisher y aún así hablar de las dos colas.

Sin embargo, puede que no haya tenido la intención de invocar el espíritu de la prueba exacta de Fisher de esta manera.

Así que pensando fuera de esa idea de lo que hace a algo "como, o más extremo" por un momento, dirijámonos un poco más hacia el final de las cosas de Neyman-Pearson. Puede ayudar (¡antes de hacer la prueba!) a definir una región de rechazo para una prueba realizada a algún nivel genérico $\alpha$ (No quiero decir que tengas que computar uno literalmente, sólo como computarías uno). Tan pronto como lo hagas, la forma de calcular dos valores p de cola para tu caso debería ser obvia.

Este enfoque puede ser valioso incluso si se realiza una prueba fuera de la prueba habitual de la proporción de probabilidad. Para algunas aplicaciones, puede ser difícil averiguar cómo calcular los valores p en las pruebas de permutación asimétrica... pero a menudo se vuelve sustancialmente más simple si se piensa primero en una regla de rechazo.

Con las pruebas F de varianza, he notado que el "valor p del doble de una cola" puede dar valores p bastante diferentes a lo que yo veo como el enfoque correcto. No debería importar a qué grupo llames "muestra 1", o si pones la mayor o menor varianza en el numerador.

[1]: Agresti, A. (1992),
Un estudio de la inferencia exacta para las tablas de contingencia
Ciencia Estadística , Vol. 7 No. 1. (Febrero), pp. 131-153.

Answer 2

El valor p está bien definido una vez que se crea una estadística de prueba que divide el espacio de la muestra y ordena las divisiones de acuerdo con sus nociones de discrepancia creciente con la hipótesis nula. (O, de forma equivalente, una vez que creas un conjunto de regiones de rechazo anidadas de tamaño decreciente). Así que lo que R. & S. quiere decir es que si consideras los valores altos o bajos de una estadística $S$ para ser interesantemente discrepante con su hipótesis nula todavía tiene un poco de trabajo para obtener una estadística de prueba adecuada $T$ de ella. Cuando $S$ tiene una distribución simétrica alrededor del cero que parecen saltar a $T=|S|$ sin pensarlo mucho, y por lo tanto considerar el caso asimétrico como un rompecabezas.

Duplicar el valor p más bajo de una cola puede ser visto como una corrección de múltiples comparaciones para llevar a cabo dos pruebas de una cola. Después de todo, después de una prueba de dos colas, normalmente nos inclinamos a considerar cualquier duda sobre la verdad de lo nulo como favorable a otra hipótesis cuya dirección está determinada por los datos observados. Cuando $S$ tiene una distribución continua, una estadística de prueba adecuada es entonces $t=\min(\Pr_{H_0}(S<s),\Pr_{H_0}(S>s))$ y el valor p viene dado por $2t$ .

Cuando $S$ tiene una distribución continua, el enfoque para formar una prueba de dos colas mostrado por @Glen_b-definiendo la densidad de $S$ como la estadística de la prueba: $T=f_S(S)$ -producirá, por supuesto, valores p válidos; pero no estoy seguro de que haya sido recomendado alguna vez por Fisher, o de que sea actualmente recomendado por los neo-pescadores. Si a primera vista parece más fundamentado de alguna manera que duplicar el valor p de una cola, nótese que tener que tratar con la densidad de probabilidad en lugar de la masa significa que el valor p de dos colas así calculado puede cambiar cuando la estadística de prueba se transforma por una función de conservación del orden. Por ejemplo, si para probar el nulo que una media gaussiana es igual a cero, se toma una sola observación $X$ y obtener $1.66$ el valor con igual densidad en la otra cola es $-1.66$ y el valor p por lo tanto $$p=\Pr(X > 1.66) +\Pr(X<-1.66)=0.048457+0.048457=0.09691.$$ Pero si consideras como prueba de nulidad que una media geométrica logarítmica gaussiana es igual a uno y tomas una sola observación $Y$ y obtener $\mathrm{e}^{1.66}=5.2593$ el valor con igual densidad en la otra cola es $0.025732$ ( $=\mathrm{e}^{-3.66}$ ), y el valor p por lo tanto $$p=\Pr(Y>5.2593) +\Pr(Y<0.025732)=0.048457+0.00012611=0.04858.$$

Obsérvese que las funciones de distribución acumulativa son invariables a las transformaciones que preservan el orden, de modo que en el ejemplo anterior la duplicación del valor p más bajo da \begin {alineado}p=2t&=2 \min ( \Pr (X<1.66), \Pr (X>1.66)) \\ &=2 \min ( \Pr (Y<5.2593), \Pr (Y>5.2593)) \\ &=2 \min (0.048457,0.951543) \\ &=2 \times 0.048457=0.09691. \end {alinear}