Conflicto entre el intervalo de confianza de Poisson y el valor p

Question

Comprobar si el resultado de $x=10$ recuentos es compatible con una tasa de $\lambda=5.22$ en R:

> poisson.test(x=10,r=5.22,alternative='two.sided')

Exact Poisson test

data:  10 time base: 1
number of events = 10, time base = 1, p-value = 0.04593
alternative hypothesis: true event rate is not equal to 5.22
95 percent confidence interval:
  4.795389 18.390356
sample estimates:
event rate 
        10 

Este resultado lleva a dos conclusiones contradictorias:

1. El valor p es inferior a 0,05, lo que sugiere que $\lambda\neq{5.22}$
2. Sin embargo, el intervalo de confianza del 95% es $[4.795389 < 5.22 < 18.390356]$ lo que mantiene viva la hipótesis de que $\lambda=5.22$

Por lo tanto, este ejemplo viola la dualidad entre las pruebas de hipótesis y los intervalos de confianza. ¿Cómo es posible?

Answer 1

Hay varias formas de definir la doble cara $p$ -valores en este caso. Michael Fay enumera tres en su artículo . Lo que sigue está tomado en su mayor parte de su artículo.

Suponga que tiene una estadística de prueba discreta $t$ con variable aleatoria $T$ de forma que los valores más altos de $T$ implican valores mayores de un parámetro de interés, $\theta$ . Sea $F_\theta(t)=\Pr[T\leq t;\theta]$ y $\bar{F}_\theta(t)=\Pr[T\geq t;\theta]$ . Supongamos que el valor nulo es $\theta_0$ . El unilateral $p$ -se denotan por $F_{\theta_0}(t), \bar{F}_{\theta_0}(t)$ respectivamente.

Las tres formas enumeradas para definir dos caras $p$ -Los valores son los siguientes:

$\textbf{central:}$ $p_{c}$ es 2 veces el mínimo del unilateral $p$ -limitados por encima de 1: $$ p_c=\min\{1,2\times\min(F_{\theta_0}(t), \bar{F}_{\theta_0}(t))\}. $$

$\textbf{minlike:}$ $p_{m}$ es la suma de probabilidades de resultados con probabilidades menores o iguales que la probabilidad observada: $$ p_m=\sum_{T:f(T)\leq f(t)} f(T) $$ donde $f(t) = \Pr[T=t;\theta_0]$ .

$\textbf{blaker:}$ $p_b$ combina la probabilidad de la cola más pequeña observada con la probabilidad más pequeña de la cola opuesta que no supera esa probabilidad observada. Esto puede expresarse como $$ p_b=\Pr[\gamma(T)\leq\gamma(t)] $$ donde $\gamma(T)=\min\{F_{\theta_0}(T), \bar{F}_{\theta_0}(T))\}$ .

Si $p(\theta_0)$ es un $p$ -pruebas de valores $H_0:\theta=\theta_0$ entonces su $100(1-\alpha)\%$ intervalo de confianza coincidente es el intervalo más pequeño que contiene todos los $\theta_0$ tal que $p(\theta_{0})>\alpha$ . Los límites de confianza coincidentes con los $\textbf{central}$ prueba son $(\theta_{L},\theta_U)$ que son las soluciones a: $$ \alpha/2=\bar{F}_{\theta_L}(t) $$ y $$ \alpha/2=F_{\theta_U}(t). $$

La contradicción surge porque poisson.test devuelve $p_m$ ( $\textrm{minlike}$ ) como el $p$ -sino límites de confianza que se basan en el $\textrm{central}$ ¡Prueba!

En exactci devuelve la correspondencia correcta $p$ -valores y límites de confianza (puede establecer el método mediante la opción tsmethod ):

library(exactci)

poisson.exact(x=10, r=5.22, tsmethod = "central")

    Exact two-sided Poisson test (central method)

data:  10 time base: 1
number of events = 10, time base = 1, p-value = 0.08105
alternative hypothesis: true event rate is not equal to 5.22
95 percent confidence interval:
  4.795389 18.390356
sample estimates:
event rate 
        10 

Ahora no hay conflicto entre el $p$ -y los intervalos de confianza. En raras ocasiones, incluso el exactci dará lugar a incoherencias, como se menciona en el artículo de Michael Fays.

Answer 2

El intervalo de confianza exacto de dos caras del 95% es correcto $[\lambda^{-},\lambda^{+}]$ se calcula a partir de una observación $x$ de una variable de Poisson $X$ utilizando las relaciones definitorias

$$\Pr(X\lt x;\lambda^{-}) = \alpha/2$$

y

$$\Pr(X \gt x; \lambda^{+}) = 1 - \alpha/2.$$

Podemos encontrar estos límites explotando

$$e^{-\lambda}\sum_{i=0}^{x}\frac{\lambda^i}{i!} = F_{\text{Poisson}}(x;\lambda) = 1 - F_\Gamma(\lambda;x+1) = \frac{1}{x!}\int_\lambda^\infty t^x e^{-t}\,\mathrm{d}t$$

para números naturales $x.$

(Se puede demostrar inductivamente vía integraciones repetidas por partes en el lado derecho o se puede observar que la probabilidad izquierda es la probabilidad de observar $x$ o menos puntos en un proceso de Poisson homogéneo de tasa unitaria que transcurre durante un tiempo $\lambda;$ mientras que la probabilidad correcta es la posibilidad de que su tome más de $\lambda$ tiempo para observar el $x+1^\text{st}$ punto -- que obviamente es el mismo evento).

Así pues, escribir $G=F_\Gamma^{-1}$ para la función cuantil Gamma, el intervalo de confianza es

$$\left[G(\alpha/2;x), G(1-\alpha/2;x+1)\right].$$

La discreción en las desigualdades definitorias, es decir, la distinción entre " $\lt$ " y " $\le$ " -- es el culpable de la aparente incoherencia con el valor p. De hecho, en la mayoría de las circunstancias sustituir el límite inferior por $G(\alpha/2,x+1)$ en realidad da mejor cobertura, como muestran las simulaciones. Aquí, por ejemplo, hay simulaciones en R que estiman las coberturas de estos dos procedimientos.

f <- function(x, alpha=0.05) qgamma(c(alpha/2, 1-alpha/2), c(x, x+1))
z <- 10
x <- matrix(rpois(2e6, f(z)), 2)
mean(x[1,] <= z & z <= x[2,])

La salida, que es idéntica a la de poisson.test , se acercará al 97,7% de cobertura. El intervalo alterado es

f. <- function(x, alpha=0.05) qgamma(c(alpha/2, 1-alpha/2), x+1)
x <- matrix(rpois(2e6, f.(z)), 2)
mean(x[1,] <= z & z <= x[2,])

El resultado se aproximará al 96,3% de cobertura, más cerca del nivel nominal del 95%.

El problema es que ad hoc modificación es que falla cuando la tasa real es ínfima. En la misma simulación con una tasa real de $1/10$ en lugar de $10,$ la cobertura del intervalo correcto ronda el 98%, pero la del intervalo modificado es sólo del 94,4%. Si su objetivo es lograr una cobertura del 95% o superior -sin bajar más-, esto es inaceptable. Para muchas aplicaciones, especialmente cuando valores muy pequeños del parámetro son muy poco probables, el intervalo modificado tiene mucho que recomendar y producirá resultados más coherentes con el valor p.

Referencia

Hahn, GJ y WQ Meeker, Intervalos estadísticos . Wiley 1991.

Su fórmula (7.1), expresada en términos de cuantiles de distribuciones chi-cuadrado, es equivalente a la que yo doy en términos de distribuciones Gamma. (Distribuciones chi-cuadrado con $2x$ grados de libertad son versiones escaladas de las distribuciones Gamma con $x$ grados de libertad).

Answer 3

Hay dos posibilidades. La primera, y más obvia, es que se trate de un error. He consultado la documentación de poisson.test en R y, originalmente, era una prueba unilateral. No admitía pruebas de dos caras. La segunda sería que el valor p y el intervalo están utilizando diferentes funciones de pérdida, pero sospecho que no es el caso. Deberías enviar un informe de error.