Si la distribución de la estadística de la prueba es bimodal, ¿significa algo el valor p?

Question

El valor P se define como la probabilidad de obtener un test-estadístico al menos tan extremo como el observado, asumiendo que la hipótesis nula es verdadera. En otras palabras,

$$P( X \ge t | H_0 )$$ Pero, ¿qué pasa si el test-estadístico tiene una distribución bimodal? ¿Significa algo el valor p en este contexto? Por ejemplo, voy a simular algunos datos bimodales en R:

set.seed(0)
# Generate bi-modal distribution
bimodal <- c(rnorm(n=100,mean=25,sd=3),rnorm(n=100,mean=100,sd=5)) 
hist(bimodal, breaks=100)

Y supongamos que observamos un valor estadístico de prueba de 60. Y aquí sabemos por la imagen este valor es muy poco probable . Así que, idealmente, querría un procedimiento estadístico que utilizara (digamos, el valor p) para revelar esto. Pero si calculamos para el valor p como se define, obtenemos un valor p bastante alto

observed <- 60

# Get P-value
sum(bimodal[bimodal >= 60])/sum(bimodal)
[1] 0.7991993

Si no conociera la distribución, llegaría a la conclusión de que lo que he observado se debe simplemente al azar. Pero sabemos que esto no es cierto.

Supongo que la pregunta que tengo es: ¿Por qué, al calcular el valor p, calculamos la probabilidad para los valores "al menos tan extremos como" los observados? Y si me encuentro con una situación como la que he simulado arriba, ¿cuál es la solución alternativa?

Answer 1

Lo que hace que un estadístico de prueba sea "extremo" depende de su alternativa, que impone un orden (o al menos un orden parcial) en el espacio muestral: se busca rechazar los casos más consistentes (en el sentido que mide un estadístico de prueba) con la alternativa.

Cuando realmente no tienen una alternativa para darle un algo para ser más consistente, se queda esencialmente con la probabilidad de dar la ordenación, más a menudo visto en la prueba exacta de Fisher. Allí, la probabilidad de los resultados (las tablas 2x2) bajo el nulo ordena el estadístico de la prueba (de modo que "extremo" es "baja probabilidad").

Si estuviera en una situación en la que el extremo izquierdo (o el extremo derecho, o ambos) de su distribución nula bimodal estuviera asociado con el tipo de alternativa que le interesa, no trataría de rechazar una estadística de prueba de 60. Pero si está en una situación en la que no tiene una alternativa como esa, entonces 60 es no es normal: tiene poca probabilidad; un valor de 60 es inconsistente con su modelo y te llevaría a rechazar.

Algunos consideran que ésta es una de las principales diferencias entre las pruebas de hipótesis de Fisher y de Neyman-Pearson. Al introducir una alternativa explícita, y una relación de probabilidades, una baja probabilidad bajo el nulo no necesariamente le hará rechazar en un marco Neyman-Pearson (siempre que se desempeñe relativamente bien en comparación con la alternativa), mientras que para Fisher, usted no tiene realmente una alternativa, y la probabilidad bajo el nulo es lo que le interesa].

No estoy sugiriendo que ninguno de los dos enfoques sea correcto o incorrecto: tú mismo tienes que decidir contra qué tipo de alternativas buscas el poder, ya sea una específica, o simplemente cualquier cosa que sea lo suficientemente improbable bajo la nula. Una vez que sepas lo que quieres, el resto (incluyendo lo que significa "al menos tan extremo") se desprende de ello.