¿Es un previo vago lo mismo que un previo no informativo?

Question

Esta es una pregunta sobre terminología. ¿Es un "previo vago" lo mismo que un previo no informativo, o hay alguna diferencia entre ambos? Mi impresión es que son lo mismo (por haber buscado juntos vago y no informativo), pero no puedo estar seguro.

Answer 1

Gelman et al. (2003) dicen:

hace tiempo que se desea contar con distribuciones a priori que puedan garantizar un papel mínimo en la distribución posterior. Tales distribuciones se denominan a veces "distribuciones previas de referencia" y la densidad previa se describe como vaga, plana o no informativo .[énfasis del texto original]

Basándome en mi lectura de la discusión de la priorización de Jeffreys en Gelman et al. (2003, p.62ff, no hay consenso sobre la existencia de una priorización verdaderamente no informativa, y que son suficientes las priorizaciones suficientemente vagas/planas/difusas.

Algunos de los puntos que se exponen:

1. Cualquier prioridad incluye información, incluyendo las prioridades que afirman que no se conoce ninguna información.
   • Por ejemplo, si sabemos que no sabemos nada sobre el parámetro en cuestión, entonces sabemos algo sobre él.
2. En la mayoría de los contextos aplicados, no hay ninguna ventaja clara para una prioridad verdaderamente no informativa cuando bastan las prioridades suficientemente vagas, y en muchos casos hay ventajas -como encontrar una prioridad adecuada- para utilizar una parametrización vaga de una prioridad conjugada.
3. El principio de Jeffreys puede ser útil para construir priores que minimicen el contenido de información de Fisher en modelos univariantes, pero no existe un análogo para el caso multivariante
4. Al comparar los modelos, la prioridad de Jeffreys variará con la distribución de la probabilidad, por lo que las prioridades también tendrían que cambiar
5. En general, se ha debatido mucho sobre si existe una prioridad no informativa (debido a 1, pero también véase la discusión y las referencias en la página 66 de Gelman et al. para la historia de este debate).

Nota: esta es la wiki de la comunidad - La teoría subyacente está en los límites de mi comprensión, y agradecería contribuciones a esta respuesta.

Gelman et al. 2003 Bayesian Data Analysis, Chapman and Hall/CRC

Answer 2

Definitivamente no, aunque a menudo se utilizan indistintamente. Un previo vago (relativamente desinformado, que no favorece realmente unos valores sobre otros) sobre un parámetro $\theta$ puede inducir un previo muy informativo sobre alguna otra transformación $f(\theta)$ . Esta es, al menos, parte de la motivación del prior de Jeffreys, que se construyó inicialmente para ser lo menos informativo posible.

Los antecedentes imprecisos también pueden hacer algunas cosas miserables a su modelo. El ejemplo ya clásico es utilizar $\mathrm{InverseGamma}(\epsilon, \epsilon)$ como $\epsilon\rightarrow 0$ priores sobre los componentes de la varianza en un modelo jerárquico.

El previo limitador impropio da un posterior impropio en este caso. Una alternativa popular era tomar $\epsilon$ para ser realmente pequeño, lo que resulta en un previo que parece casi uniforme en $\mathbb{R}^+$ . Pero también da lugar a un posterior casi impropio, y el ajuste del modelo y las inferencias se resienten. Véase el artículo de Gelman Distribuciones previas para los parámetros de varianza en modelos jerárquicos para una exposición completa.

Editar: @csgillespie (¡acertadamente!) señala que no he respondido completamente a tu pregunta. En mi opinión, una prioridad no informativa es aquella que es vaga en el sentido de que no favorece particularmente un área del espacio de parámetros sobre otra, pero al hacerlo no debería inducir prioridades informativas sobre otros parámetros. Así que una prioridad no informativa es vaga, pero una prioridad vaga no es necesariamente no informativa. Un ejemplo en el que esto entra en juego es la selección bayesiana de variables; una prioridad "vaga" sobre las probabilidades de inclusión de variables puede inducir en realidad una prioridad bastante informativa sobre el número total de variables incluidas en el modelo.

Me parece que la búsqueda de priores verdaderamente no informativos es quijotesca (aunque muchos no estarían de acuerdo); mejor utilizar los llamados priores "débilmente" informativos (que, supongo, suelen ser vagos en algún sentido). En realidad, ¿con qué frecuencia sabemos nada sobre el parámetro en cuestión?

Answer 3

Lambert et al (2005) plantean la cuestión "¿Qué tan vago es lo vago? Un estudio de simulación del impacto del uso de distribuciones previas vagas en MCMC utilizando WinBUGS ". Escriben: "No defendemos el uso del término distribución a priori no informativa, ya que consideramos que todas las distribuciones a priori aportan algo de información". Estoy de acuerdo, pero no soy un experto en estadística bayesiana.

Answer 4

Sospecho que "prior vago" se utiliza para referirse a un prior que se sabe que codifica alguna cantidad pequeña, pero no nula, de conocimiento con respecto al verdadero valor de un parámetro, mientras que un "prior no informativo" se utilizaría para significar una ignorancia completa con respecto al valor de ese parámetro. Quizás se utilizaría para mostrar que el análisis no era completamente objetivo.

Por ejemplo, una gaussiana muy amplia podría ser una prioridad vaga para un parámetro donde una prioridad no informativa sería uniforme. La gaussiana sería casi plana en la escala de interés, pero sin embargo favorecería un valor particular un poco más que cualquier otro (pero podría hacer que el problema fuera más manejable matemáticamente).

Answer 5

Los priores no informativos tienen diferentes formas. Estas formas incluyen las priores vagas y las priores impropias. Por lo tanto, la prioridad vaga forma parte de las prioridades no informativas.