¿Cómo pueden los bayesianos expresar una verdadera ignorancia sobre un parámetro y seguir realizando la inferencia? El caso binomial

Question

¿Cómo captar una afirmación de ignorancia sobre un parámetro en un análisis bayesiano?

Por ejemplo, supongamos que observo una variable aleatoria binomial $X\sim Bin(n, p)$ . Diga $X = 5$ y $n = 10$ . Quiero hacer una inferencia sobre $p$ .

Pero ahora, además, supongo que no sé nada sobre $p$ más allá del hecho de que esté entre cero y uno. Un previo uniforme no es una afirmación de ignorancia sobre $p$ , tal y como se comenta aquí ¿Qué es la paradoja del vino y el agua en la estadística bayesiana y cuál es su resolución? .

Entonces, ¿cómo puedo expresar mi ignorancia sobre $p$ y proceder a la inferencia a partir de los datos observados?

Answer 1

(Gran parte de esta respuesta está copiada de otra respuesta mía aquí ; lo hago sin más atribución específica del material citado o parafraseado).

Una buena forma de proceder en este caso es realizar el análisis dentro del probabilidad imprecisa marco (ver esp. Walley 1991 , Walley 2000 ). En este marco, la creencia previa está representada por un conjunto de distribuciones de probabilidad y esto conduce a un conjunto correspondiente de distribuciones posteriores. A continuación le mostraré cómo funciona esto para su ejemplo específico de datos binomiales.

Antes de llegar a la implementación de este método, lo primero que hay que señalar aquí es que la forma más extrema de ignorancia posible sería tomar una distribución previa imprecisa compuesta por el conjunto de todos los posibles antecedentes en el rango de parámetros. Esto llevaría a una posterior imprecisa con es el conjunto de todas las posibles posteriores, por lo que su inferencia sería entonces vacía. Es decir, la ignorancia total al entrar conduce a la ignorancia total al salir. En consecuencia, si queremos una inferencia útil, debemos enmarcar nuestra "ignorancia" de alguna manera que restrinja la previa imprecisa a un rango razonable de previos a partir del cual se pueda formar un pequeño conjunto de posteriores. Esto puede hacerse permitiendo que la expectativa a priori del parámetro varíe sobre todos los valores posibles en su rango, pero restringiendo la varianza a priori a un solo valor o a un rango pequeño para obtener una inferencia posterior útil.

---

Aplicación al modelo binomial: Supongamos que observamos datos $X_1,...,X_n | \theta \sim \text{IID Bern}(\theta)$ donde $\theta$ es el parámetro desconocido de interés. Normalmente utilizaremos una densidad beta como previa (tanto la previa de Jeffrey como la de referencia son de esta forma). Podemos especificar esta forma de densidad a priori en términos de la media a priori $\mu$ y otro parámetro $\kappa > 1$ como:

$$\begin{equation} \begin{aligned} \pi_0(\theta | \mu, \kappa) = \text{Beta}(\theta | \mu, \kappa) = \text{Beta} \Big( \theta \Big| \alpha = \mu (\kappa - 1), \beta = (1-\mu) (\kappa - 1) \Big). \end{aligned} \end{equation}$$

(Este formulario da momentos previos $\mathbb{E}(\theta) = \mu$ y $\mathbb{V}(\theta) = \mu(1-\mu) / \kappa$ .) Ahora bien, en un modelo impreciso podríamos establecer que la previa consista en la conjunto de todas estas distribuciones a priori sobre todos los posibles valores esperados pero con el otro parámetro fijo para controlar la precisión en el rango de valores medios. Por ejemplo, podríamos utilizar el conjunto de priores:

$$\mathscr{P}_0 \equiv \Big\{ \text{Beta}(\mu, \kappa) \Big| 0 \leqslant \mu \leqslant 1 \Big\}. \quad \quad \quad \quad \quad$$

Supongamos que observamos $s = \sum_{i=1}^n x_i$ indicadores positivos en los datos. Entonces, utilizando la regla de actualización para el modelo Bernoulli-beta, el conjunto posterior correspondiente es:

$$\mathscr{P}_\mathbf{x} = \Big\{ \text{Beta}\Big( \tfrac{s + \mu(\kappa-1)}{n + \kappa -1}, n+\kappa \Big) \Big| 0 \leqslant \mu \leqslant 1 \Big\}.$$

El rango de valores posibles para la expectativa posterior es:

$$\frac{s}{n + \kappa-1} \leqslant \mathbb{E}(\theta | \mathbb{x}) \leqslant \frac{s + \kappa-1}{n + \kappa-1}.$$

Lo importante aquí es que aunque empezamos con un modelo que era "desinformativo" con respecto al valor esperado del parámetro (la expectativa previa abarcaba todos los valores posibles), terminamos con inferencias posteriores que son informativas con respecto a la expectativa posterior del parámetro (ahora abarcan un conjunto más estrecho de valores). Como $n \rightarrow \infty$ esta gama de valores se reduce a un solo punto, que es el verdadero valor de $\theta$ .

Answer 2

Según Bruno de Finetti, uno de los principales defensores del Bayes subjetivo, las probabilidades a priori se pueden "elicitar". Se trata de un acto constructivo. De Finetti sostiene que siempre hay algún tipo de creencia sobre el futuro que puede expresarse mediante probabilidades previas. Una forma de hacerlo es la siguiente: Antes de Observando los datos, imagine el siguiente "juego": Te ves obligado a ofrecer apuestas de x Kj (Kujambel, digamos que es la unidad de dinero que se utiliza aquí) sobre todo tipo de resultados posibles para juegos en los que ganas 1 Kj en caso de que el resultado (o conjunto de resultados) se produzca. El problema es que si se ofrecen x Kj por ganar 1 Kj para el evento $A$ su oponente que apuesta puede elegir entre aceptar esto, o tomar 1-x para pagarle 1 Kj en caso de que $A^c$ se produce. Así que tiene un incentivo para elegir x no demasiado alto (porque puede perderlo si $A$ no sucede), pero tampoco demasiado bajo (porque el oponente puede entonces simplemente tomar 1-x para $A^c$ en lugar de x para $A$ ).

De este modo, se puede realizar una "ingeniería inversa" de sus apuestas. En realidad esto no es totalmente cierto - si usted tiene $n=10$ y se suponen experimentos Bernoulli intercambiables (es decir, independientes dados $p$ ), no hay suficientes eventos observables para reconstruir completamente el previo y se necesitaría en principio pensar en el caso $n\to\infty$ . Sin embargo, se puede jugar con esto como un experimento mental imaginando que en algún momento el verdadero valor de $p$ se le revela (como límite de los resultados de infinitos experimentos de Bernoulli, digamos); el previo sobre $p$ se traduce en apuestas ofrecidas para todo tipo de subconjuntos de $[0,1]$ entonces. Una manera probablemente sensata de seguir adelante con esto es mirar una serie de priores supuestamente "sin información" sugeridos en la literatura, calcular las probabilidades resultantes para todo tipo de eventos de interés para $n=10$ y decidir (todo ello antes de haber visto los datos) qué conjunto de apuestas le parece adecuado.

"¿Y si no estoy dispuesto a apostar nada?" - Bueno, es un experimento mental, pero si lo rechazas de todos modos, De Finetti no te ayudará. Mala suerte.

"Creo que esto de las apuestas puede llevarnos a alguna parte, ¿tal vez puedas demostrar que siempre debo tener alguna creencia previa probabilística revelada por mi comportamiento? Aunque me parece difícil de probar sin invocar fuertes suposiciones". Esto no se puede demostrar, más bien se puede ver como una suposición implícita o axioma. Personalmente pienso en esto como constructivo , lo que significa que se trata de un esquema que producirá un previo que puedes tomar como "tuyo" si te comprometes a seguirlo, sin necesidad de asumir nada sobre las creencias que tienes sin ser consciente de ellas. Tú eliges si lo aceptas o no.

Descargo de responsabilidad : Estoy explicando el enfoque de De Finetti aquí. No pretendo que sea el único correcto. Este enfoque es controvertido por varias razones, y no es mi objetivo defenderlo contra cualquier objeción que pueda imaginar. Sin embargo, es un enfoque de principios claro que te lleva a alguna parte.

Answer 3

Digamos que tenemos parámetros $\theta$ y alguna variable latente $z$ . El producto de todas las dependencias condicionales es la forma de calcular el impacto de todos los parámetros.

$q\left(z \mid \theta_{\mathcal{O}}\right) \propto p(z) \prod_{k \in \mathcal{O}} q\left(z \mid \theta_{k}\right)$

Si queremos ignorar el parámetro $i$ , entonces sólo tenemos que poner $q(z \mid \theta_i)=1$