Diferencia entre Priores no informativos e impropios

Question

Me pregunto cuál es la diferencia entre estos dos tipos de antecedentes:

• No informativo
• Impropia

Answer 1

Los antecedentes inadecuados son $\sigma$ -medidas no negativas definidas $\text{d}\pi$ en el espacio de los parámetros $\Theta$ tal que $$\int_\Theta \text{d}\pi(\theta) = +\infty$$ Como tal, generalizan la noción de distribución a priori, que es una distribución de probabilidad en el espacio de parámetros $\Theta$ tal que $$\int_\Theta \text{d}\pi(\theta) =1$$ Son útiles en varios aspectos para caracterizar

1. el conjunto de límites de los procedimientos bayesianos adecuados, que no son todos los procedimientos bayesianos adecuados;
2. procedimientos óptimos frecuentistas como en los teoremas de clase completa (de admisibilidad) como el de Wald;
3. Los mejores estimadores invariantes frecuentistas (ya que pueden expresarse como estimaciones de Bayes bajo la correspondiente medida de Haar correcta, normalmente impropia);
4. priores derivados de la forma de la función de verosimilitud, como los priores no informativos (por ejemplo, el de Jeffreys).

Como no se integran en un número finito, no permiten una interpretación probabilística, pero pueden utilizarse en la inferencia estadística si la probabilidad marginal es finita $$\int_\Theta \ell(\theta|x)\text{d}\pi(\theta) < +\infty$$ ya que la distribución posterior $$\dfrac{\ell(\theta|x)\text{d}\pi(\theta)}{\int_\Theta \ell(\theta|x)\text{d}\pi(\theta)}$$ está entonces bien definida. Esto significa que se puede utilizar exactamente de la misma manera que se utiliza una distribución posterior derivada de una previa adecuada, para derivar cantidades posteriores para la estimación como las medias posteriores o los intervalos creíbles posteriores.

Advertencia: Una rama de la inferencia bayesiana no se maneja muy bien con priores inadecuados, a saber, cuando se prueban hipótesis agudas. De hecho, esas hipótesis requieren la construcción de dos distribuciones a priori, una bajo la hipótesis nula y otra bajo la alternativa, que son ortogonales. Si una de estas distribuciones a priori es impropia, no se puede normalizar y el factor de Bayes resultante es indeterminado.

En la teoría de la decisión bayesiana, cuando se busca un procedimiento de decisión óptimo $\delta$ bajo la función de pérdida $L(d,\theta)$ un previo inadecuado $\text{d}\pi$ es útil en los casos en que el problema de minimización $$\arg \min_d \int_\Theta L(d,\theta)\ell(\theta|x)\text{d}\pi(\theta)$$ permite una solución no trivial (incluso cuando la distribución posterior no está definida). La razón de esta distinción es que la decisión sólo depende del producto $L(d,\theta)\text{d}\pi(\theta)$ lo que significa que es invariable bajo cambios de la previa por términos multiplicativos $\varpi(\theta)$ siempre que la función de pérdida se divida por los mismos términos multiplicativos $\varpi(\theta)$ , $$L(d,\theta)\text{d}\pi(\theta)=\dfrac{L(d,\theta)}{\varpi(\theta)}\times\varpi(\theta)\text{d}\pi(\theta)$$

Las distribuciones a priori no informativas son clases de distribuciones a priori (propias o impropias) que se determinan en términos de un cierto criterio informativo que se relaciona con la función de verosimilitud, como

1. La razón insuficiente de Laplace plana antes;
2. Prioridades invariantes de Jeffreys (1939);
3. priores de máxima entropía (o MaxEnt) (Jaynes, 1957);
4. priores de longitud de descripción mínima (Rissanen, 1987; Grünwald, 2005);
5. priores de referencia (Bernardo, 1979, 1781; Berger & Bernardo, 1992; Bernardo & Sun, 2012)
6. probabilidades de coincidencia (Welsh & Peers, 1963; Scricciolo, 1999; Datta, 2005)

y otras clases, algunas de las cuales se describen en Kass & Wasserman (1995). La denominación "no informativo" es un término erróneo, ya que ninguna prioridad es completamente no informativa. Véase mi debate en este foro. O el de Larry Wasserman diatriba . (Los priores no informativos suelen ser inadecuados).

Answer 2

Una prioridad no informativa, en rigor, no es una distribución a priori. Se trata de una función tal que, si la consideramos como si fuera una distribución y aplicamos la fórmula de Bayes, obtenemos una determinada distribución posterior, que pretende reflejar lo mejor posible la información contenida en los datos y sólo en los datos, o conseguir una buena propiedad de coincidencia frecuencial (es decir, un $95\%$ -El intervalo de credibilidad posterior es aproximadamente un $95\%$ -intervalo de confianza).

Una prioridad no informativa suele ser "impropia". Una distribución tiene una propiedad bien conocida: su integral es igual a uno. Se dice que una a priori no informativa es impropia cuando su integral es infinita (por lo tanto, en ese caso está claro que no es una distribución).