Cómo elegir la prioridad en la estimación bayesiana de parámetros

Question

Conozco 3 métodos para hacer estimación de parámetros, ML, MAP y Bayes approach. Y para MAP y Bayes enfoque, tenemos que elegir a priori para los parámetros, ¿verdad?

Digamos que tengo este modelo $p(x|\alpha,\beta)$ en el que $\alpha,\beta$ son parámetros, para hacer la estimación mediante MAP o Bayes, leí en el libro que más nos vale elija un conjugado previo $p(\alpha,\beta)$ que es un conjunta probabilidad de $\alpha,\beta$ ¿verdad?

Tengo dos preguntas:

1. ¿Tenemos otras opciones para elegir el prior que no sea este conjugado?

2. ¿Podemos elegir priores para $\alpha$ y $\beta$ respectivamente como $p(\alpha)$ y $p(\beta)$ ¿Además de juntarlas en una conjunta?

Answer 1

Como se indica en el comentario, la distribución a priori representa las creencias previas sobre la distribución de los parámetros.

Cuando se dispone realmente de creencias previas, se puede:

• convertirlos en términos de momentos (p. ej., media y varianza) para ajustar una distribución común a estos momentos (p. ej., Gaussiana si su parámetro se encuentra en la línea real, Gamma si se encuentra a $R^+$ ).
• utilizar su comprensión intuitiva de estas creencias para proponer una distribución a priori determinada y comprobar si realmente se ajusta a su propósito y que no es demasiado sensible a elecciones arbitrarias (realizar un análisis de robustez o sensibilidad)

Cuando no se dispone de creencias previas explícitas, se puede:

• derivar (o simplemente utilizar si ya está disponible, un gran recurso es http://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf ) una prior Jeffreys (por ejemplo, uniforme para un parámetro de localización) o una prior de referencia (especialmente en el caso de parámetros multivariantes).
• A veces, estas opciones son imposibles o muy difíciles de derivar y, en este caso, se puede intentar elegir entre una de las muchas prioridades "genéricas" débilmente informativas (por ejemplo, distribución uniforme de contracción para los parámetros de escala del modelo jerárquico o $g$ -para la regresión gaussiana).

Dicho esto, no hay ninguna restricción para utilizar un prior conjunto o independiente ( $p(a,b)$ Vs $p(a) \cdot p(b)$ ). Como complemento, diría que, en mi humilde opinión, hay tres cosas principales que hay que tener en cuenta a la hora de elegir un prior:

• tenga cuidado de que su posterior sea integrable en casi todas partes (o adecuado), lo que siempre es cierto si utiliza un anterior integrable (véase ¿Es necesario que la posterior bayesiana sea una distribución adecuada? para más detalles),
• limite el apoyo de su prior sólo si está muy seguro de los límites de apoyo (así que evite hacerlo).
• y por último, pero no por ello menos importante, asegúrese (la mayoría de las veces experimentalmente) de que su elección de prior significa lo que quiere expresar. En mi opinión, esta tarea es a veces la más crítica. No olvide nunca que, al hacer inferencia, una variable a priori no significa nada por sí misma, tiene que considerar la variable a posteriori (que es la combinación de la variable a priori y la probabilidad).

Answer 2

También existe el Bayes empírico. La idea es ajustar la prioritaria a los datos:

$$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$$

Aunque esto pueda parecer incómodo al principio, en realidad existen relaciones con la longitud mínima de la descripción. Ésta es también la forma típica de estimar los parámetros del núcleo de los procesos gaussianos.

Answer 3

Para responder directamente a las dos preguntas anteriores:

1. Tienes otras opciones para elegir priores no conjugados que no sean priores conjugados. El problema es que si se eligen priores no conjugados, no se puede hacer una inferencia bayesiana exacta (en pocas palabras, no se puede derivar una forma cerrada posterior). En lugar de ello, debe realizar una inferencia aproximada o utilizar métodos de muestreo como el muestreo de Gibbs, el muestreo de rechazo, MCMC, etc. para derivar su posterior. El problema con los métodos de muestreo es que, intuitivamente, es como dibujar un elefante en la oscuridad tocándolo repetidamente: ----, puede ser sesgado e incompleto. La razón por la que la gente elige a priori no conjugado es que para ciertas probabilidades, la opción de a priori conjugado es bastante limitada, o dicho de otro modo, la mayoría son no conjugados.

2. Sí, sin duda. Si α y β son independientes, que es la condición idealista, se puede obtener su distribución conjunta mediante p(α)p(β). Si no son independientes, puede que tengas que calcular la probabilidad condicional y hacer la integral para obtener la distribución conjunta.