¿Qué relación existe entre las regiones creíbles y las pruebas de hipótesis bayesianas?

Question

En la estadística frecuentista, existe una estrecha relación entre los intervalos de confianza y las pruebas. El uso de la inferencia sobre $\mu$ en el $\rm N(\mu,\sigma^2)$ como ejemplo, el $1-\alpha$ intervalo de confianza $$\bar{x}\pm t_{\alpha/2}(n-1)\cdot s/\sqrt{n}$$ contiene todos los valores de $\mu$ que no son rechazados por el $t$ -prueba al nivel de significación $\alpha$ .

Los intervalos de confianza frecuentista son, en este sentido, pruebas invertidas. (Por cierto, esto significa que podemos interpretar el $p$ -como el valor más pequeño de $\alpha$ para lo cual el valor nulo del parámetro se incluiría en el $1-\alpha$ intervalo de confianza. Me parece que esto puede ser una forma útil de explicar lo que $p$ -valores realmente son para la gente que sabe un poco de estadística).

Leer sobre el fundamento teórico de la decisión de las regiones creíbles bayesianas Me he preguntado si existe una conexión/equivalencia similar entre las regiones creíbles y las pruebas bayesianas.

• ¿Existe una conexión general?
• Si no hay una conexión general, ¿hay ejemplos en los que haya una conexión?
• Si no hay una conexión general, ¿cómo podemos ver esto?

Answer 1

Me las arreglé para llegar a un ejemplo donde existe una conexión. Sin embargo, parece depender en gran medida de mi elección de la función de pérdida y del uso de hipótesis compuestas.

Empiezo con un ejemplo general, al que sigue un caso especial sencillo que implica la distribución normal.

Ejemplo general

Para un parámetro desconocido $\theta $ , dejemos que $\Theta$ sea el espacio de parámetros y considere la hipótesis $\theta\in\Theta_0$ frente a la alternativa $\theta\in\Theta_1=\Theta\backslash\Theta_0$ .

Dejemos que $\varphi$ sea una función de prueba, utilizando la notación en Xi'an 's La elección bayesiana (lo que es un poco al revés de lo que yo al menos estoy acostumbrado), para que rechacemos $\Theta_0$ si $\varphi=0$ y aceptar $\Theta_0$ si $\varphi=1$ . Consideremos la función de pérdida $$ L(\theta,\varphi) = \begin{cases} 0, & \mbox{if } \varphi=\mathbb{I}_{\Theta_0}(\theta) \\ a_0, & \mbox{if } \theta\in\Theta_0 \mbox{ and }\varphi=0\\ a_1, & \mbox{if } \theta\in\Theta_1 \mbox{ and }\varphi=1. \end{cases} $$ La prueba de Bayes es entonces $$\varphi^\pi(x)=1\quad \rm if\quad P(\theta\in\Theta_0|x)\geq a_1(a_0+a_1)^{-1}.$$

Tome $a_0=\alpha\leq 0.5$ y $a_1=1-\alpha$ . La hipótesis nula $\Theta_0$ se acepta si $\rm P(\theta\in\Theta_0|x)\geq 1-\alpha$ .

Ahora, una región creíble $\Theta_c$ es una región tal que $\rm P(\Theta_c|x)\geq 1-\alpha$ . Así, por definición, si $\Theta_0$ es tal que $\rm P(\theta\in\Theta_0|x)\geq 1-\alpha$ , $\Theta_c$ puede ser una región creíble sólo si $\rm P(\Theta_0\cap\Theta_c|x)>0$ .

Aceptamos la hipótesis nula si y sólo si cada $1-\alpha$ -región creíble contiene un subconjunto no nulo de $\Theta_0$ .

Un caso especial más sencillo

Para ilustrar mejor el tipo de prueba que tenemos en el ejemplo anterior, consideremos el siguiente caso especial.

Dejemos que $x\sim \rm N(\theta,1)$ con $\theta\sim \rm N(0,1)$ . Establecer $\Theta=\mathbb{R}$ , $\Theta_0=(-\infty,0]$ y $\Theta_1=(0,\infty)$ por lo que deseamos comprobar si $\theta\leq 0$ .

Los cálculos estándar dan $$\rm P(\theta\leq 0|x)=\Phi(-x/\sqrt{2}),$$ donde $\Phi(\cdot)$ es la fdc normal estándar.

Dejemos que $z_{1-\alpha}$ sea tal que $\Phi(z_{1-\alpha})=1-\alpha$ . $\Theta_0$ se acepta cuando $-x/\sqrt{2}>z_{1-\alpha}$ .

Esto equivale a aceptar cuando $x\leq \sqrt{2}z_{\alpha}.$ Para $\alpha=0.05$ , $\Theta_0$ por lo tanto, se rechaza cuando $x>-2.33$ .

Si en lugar de ello utilizamos la anterior $\theta\sim \rm N(\nu,1)$ , $\Theta_0$ se rechaza cuando $x>-2.33-\nu$ .

Comentarios

La función de pérdida anterior, en la que pensamos que aceptar falsamente la hipótesis nula es peor que rechazarla falsamente, puede parecer a primera vista un poco artificiosa. Sin embargo, puede ser de gran utilidad en situaciones en las que los "falsos negativos" pueden resultar costosos, por ejemplo, en la detección de enfermedades contagiosas peligrosas o de terroristas.

La condición de que todas las regiones creíbles deben contener una parte de $\Theta_0$ es en realidad un poco más fuerte de lo que esperaba: en el caso frecuentista la correspondencia es entre una sola prueba y una sola $1-\alpha$ de confianza y no entre una sola prueba y todas $1-\alpha$ intervalos.

Answer 2

Michael y Fraijo sugirió que la simple comprobación de si el valor del parámetro interesado estaba contenido en alguna región creíble era el equivalente bayesiano de invertir los intervalos de confianza. Al principio era un poco escéptico al respecto, ya que no me parecía evidente que este procedimiento diera lugar realmente a una prueba bayesiana (en el sentido habitual).

Resulta que sí, al menos si estás dispuesto a aceptar cierto tipo de funciones de pérdida. Muchas gracias a Zen que proporcionó referencias a dos artículos que establecen una conexión entre las regiones HPD y las pruebas de hipótesis:

• Pereira y Stern (1999), Pruebas y credibilidad: prueba de significación bayesiana completa para hipótesis precisas , Entropía
• Madruga, Esteves y Wechsler (2001), Sobre la bayesianidad de las pruebas de Pereira-Stern , Prueba

Intentaré resumirlas aquí, para futuras referencias. Por analogía con el ejemplo de la pregunta original, trataré el caso especial en el que las hipótesis son $$H_0: \theta\in\Theta_0=\{\theta_0\}\qquad \mbox{and}\qquad H_1: \theta\in\Theta_1=\Theta\backslash \Theta_0,$$ donde $\Theta$ es el espacio de los parámetros.

Pereira y Stern propusieron un método para comprobar dichas hipótesis sin tener que poner probabilidades a priori en $\Theta_0$ y $\Theta_1$ .

Dejemos que $\pi(\cdot)$ denotan la función de densidad de $\theta$ y definir $$T(x)=\{ \theta:\pi(\theta|x)>\pi(\theta_0|x)\}.$$

Esto significa que $T(x)$ es una región HPD con credibilidad $P(\theta\in T(x)|x)$ .

La prueba de Pereira-Stern rechaza $\Theta_0$ cuando $P(\theta\notin T(x)|x)$ es "pequeño" ( $<0.05$ , digamos). Para una posterior unimodal, esto significa que $\theta_0$ está muy lejos en las colas de la posterior, lo que hace que este criterio sea algo similar al uso de los valores p. En otras palabras, $\Theta_0$ se rechaza en el $5~\%$ nivel si y sólo si no está contenido el in $95~\%$ Región HPD.

Que la función de prueba $\varphi$ sea $1$ si $\Theta_0$ se acepta y $0$ si $\Theta_0$ es rechazado. Madruga et al. propusieron la función de pérdida $$ L(\theta,\varphi,x) = \begin{cases} a(1-\mathbb{I}(\theta\in T(x)), & \mbox{if } \varphi(x)=0 \\ b+c\mathbb{I}(\theta\in(T(x)), & \mbox{if } \varphi(x)=1, \end{cases} $$ con $a,b,c>0$ .

La minimización de la pérdida esperada conduce a la prueba de Pereira-Stern donde $\Theta_0$ se rechaza si $P(\theta\notin T(x)|x)<(b+c)/(a+c).$

Hasta ahora, todo va bien. La prueba de Pereira-Stern equivale a comprobar si $\theta_0$ está en una región HPD y existe una función de pérdida que genera esta prueba, lo que significa que está fundada en la teoría de la decisión.

Sin embargo, la parte controvertida es que la función de pérdida depende de $x$ . Aunque estas funciones de pérdida han aparecido en la literatura algunas veces, no parecen ser generalmente aceptadas como muy razonables.

Para más información sobre este tema, consulte un lista de artículos que citan el artículo de Madruga et al. .

---

Actualización de octubre de 2012:

No estaba completamente satisfecho con la función de pérdida anterior, ya que su dependencia de $x$ hace que la toma de decisiones sea más subjetiva de lo que me gustaría. Pasé algún tiempo más pensando en este problema y terminé escribiendo una breve nota al respecto, publicado en arXiv hoy mismo .

Dejemos que $q_{\alpha}(\theta|x)$ denotan la función cuantil posterior de $\theta$ , de tal manera que $P(\theta\leq q_{\alpha}(\theta|x))=\alpha$ . En lugar de los conjuntos HPD, consideramos el intervalo central (de igual cola) $(q_{\alpha/2}(\theta|x),q_{1-\alpha/2}(\theta|x))$ . Para probar $\Theta_0$ utilizando este intervalo puede justificarse en el marco de la teoría de la decisión sin una función de pérdida que dependa de $x$ .

El truco consiste en reformular el problema de la comprobación de la hipótesis puntual-nula $\Theta_0=\{\theta_0\}$ como un problema de tres decisiones con conclusiones direccionales. $\Theta_0$ se comprueba con ambos $\Theta_{-1}=\{\theta:\theta<\theta_0\}$ y $\Theta_{1}=\{\theta:\theta>\theta_0\}$ .

Que la función de prueba $\varphi=i$ si aceptamos $\Theta_i$ (¡nótese que esta notación es la opuesta a la utilizada anteriormente!). Resulta que bajo la ponderación $0-1$ función de pérdida $$L_2(\theta,\varphi) = \begin{cases} 0, & \mbox{if } \theta\in\Theta_i\mbox{ and }\varphi=i, \quad i\in \{-1,0,1\}, \\ \alpha/2, & \mbox{if } \theta\notin\Theta_0 \mbox{ and }\varphi=0,\\ 1, & \mbox{if } \theta\in\Theta_{i}\cup\Theta_0 \mbox{ and }\varphi=-i,\quad i\in\{-1,1\},\end{cases}$$ la prueba de Bayes consiste en rechazar $\Theta_0$ si $\theta_0$ no está en el intervalo central.

Esto me parece una función de pérdida bastante razonable. Discuto esta pérdida, la pérdida de Madruga-Esteves-Wechsler y las pruebas utilizando conjuntos creíbles más adelante en el manuscrito en arXiv.

Answer 3

Casualmente leí su artículo en arXiv antes de llegar a esta pregunta y ya escribí una entrada en el blog sobre ella ( programado para aparecer en octubre, 08 ). En resumen, su construcción me parece interesante desde el punto de vista teórico, pero también creo que es demasiado artificiosa como para recomendarla, sobre todo porque no parece resolver el problema de la prueba bayesiana de la hipótesis de punto nulo, que tradicionalmente requiere poner alguna masa a priori sobre el valor del parámetro de punto nulo.

A saber, la solución que usted propone por encima de (en la actualización de octubre) y como Teorema 2 en su artículo en arXiv no es un procedimiento de prueba válido en el sentido de que $\varphi$ toma tres valores, en lugar de los dos que corresponden a aceptar/rechazar. Del mismo modo, la función de pérdida que utiliza en el Teorema 3 (no reproducido aquí) equivale a probar una hipótesis unilateral, $H_0: \theta\le\theta_0$ en lugar de una hipótesis puntualmente nula $H_0: \theta= \theta_0$ .

Sin embargo, mi mayor problema es que me parece que tanto el Teorema 3 como el Teorema 4 en su artículo en arXiv no son válidos cuando $H_0$ es una hipótesis puntualmente nula, es decir, cuando $\Theta_0=\{\theta_0\}$ sin masa previa.

Answer 4

Puede utilizar un intervalo creíble (o región HPD) para las pruebas de hipótesis bayesianas. No creo que sea habitual; aunque, para ser justos, no veo ni utilizo mucho las pruebas de hipótesis bayesianas formales en la práctica. Los factores de Bayes se utilizan ocasionalmente (y en el "Núcleo Bayesiano" de Robert se alaban un poco) en la configuración de las pruebas de hipótesis.

Answer 5

Una región creíble es simplemente una región en la que la integral de la densidad posterior sobre la región es una probabilidad especificada, por ejemplo, 0,95. Una forma de formar una prueba de hipótesis bayesiana es ver si el valor o los valores nulos hipotéticos del parámetro o los parámetros caen o no en la región creíble. De este modo, podemos tener una correspondencia similar a 1-1 entre las pruebas de hipótesis y las regiones creíbles, al igual que hacen los frecuentistas con los intervalos de confianza y las pruebas de hipótesis. Pero ésta no es la única forma de hacer pruebas de hipótesis.