4 votos

¿Estimación bayesiana por muestreo a priori?

Dada una función de pérdida cuadrática, el estimador de Bayes viene dado por \begin{equation}\hat{\theta} = E[\theta|y] = \frac{\int_\Theta\theta p(y|\theta) p(\theta) d\theta}{\int_\Theta p(y|\theta) p(\theta) d\theta}\end{equation} donde $\theta\in\Theta$ es el vector de parámetros, $y$ son los datos, $p(\theta)$ es la prioridad, $p(\theta|y)$ es la posterior, y $p(y|\theta)$ es la probabilidad. Se han desarrollado diversas técnicas numéricas (muestreo de rechazo, métodos MCMC, etc.) para extraer información de la distribución posterior cuando no se dispone de un muestreo directo de la misma. Estas técnicas permiten estimar $E[\theta|y]$ con \begin{equation}E[\theta|y]\approx\frac{1}{n}\sum_{i=1}^n\theta_i\end{equation} donde $\theta_i$ es el $i^{th}$ sacar de la parte posterior.

Mi pregunta: Si somos capaces de extraer de la distribución a priori, ¿no podríamos simplemente muestrear la previa para aproximar numéricamente las integrales del lado derecho de la primera ecuación? En otras palabras, aproximar $E[\theta|y]$ con \begin{equation}E[\theta|y]\approx \frac{\frac{1}{n}\sum_{i=1}^n\theta_i p(y|\theta_i)}{\frac{1}{n}\sum_{i=1}^np(y|\theta_i)} = \frac{\sum_{i=1}^n\theta_i p(y|\theta_i)}{\sum_{i=1}^np(y|\theta_i)} \end{equation} donde $\theta_i$ es el $i^{th}$ de la anterior. Esto parece ser una alternativa más conveniente y computacionalmente eficiente que las técnicas de muestreo de rechazo y MCMC. Entiendo que en algunos casos no podemos extraer de la prioridad, pero en esos casos ¿por qué no elegir diferentes prioridades? No he visto el método que propongo discutido en ningún libro de texto o en línea, así que espero que alguien pueda explicarme la locura de este enfoque.

6voto

Carl Clegg Puntos 31

Muy bien, creo que he encontrado la respuesta a mi pregunta. La razón por la que mi aproximación se utiliza raramente/nunca es que generalmente es una aproximación muy pobre de las integrales. Para ver por qué, considere lo que sucede cuando la función de probabilidad picos en algún lugar en las colas de la anterior (como a menudo será el caso). El $\theta$ que rodean el pico rara vez se muestrean, lo que da lugar a una mala aproximación de la función de probabilidad. Para más información, véanse las páginas 25 y 26 del documento enlazado más abajo: https://engineering.purdue.edu/kak/Tutorials/MonteCarloInBayesian.pdf

Edición: El primer párrafo de la sección 3.2 del siguiente documento también habla de esto, pero en el contexto del cálculo de los factores de Bayes: https://www.insper.edu.br/wp-content/uploads/2014/09/2014_wpe341.pdf

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X