¿Cuál es la probabilidad marginal difícil/insuperable para estimar?

Question

Me tienen en general una cuestión básica que ha sido preocupante para mí por un tiempo. A través de la mayor parte de mi lectura de la estadística bayesiana, se indicó en la materia-de-factedly que la probabilidad marginal, a menudo intratable o de difícil estimación. Por qué?

Razones a menudo mencionados incluyen declaraciones sobre la naturaleza dimensional de la integral/sumatoria a ser estimado, o que el reino de los modelos posibles son infinitas.

Quisiera que esta comunidad que me apunte a algo que se clava en el por qué, y explica este problema en un lenguaje sencillo.

Enlaces a recursos también sería apreciada. He buscado en google los términos en la búsqueda de recursos que explicar esto claramente, pero la mayoría de ellos sólo el estado de la cuestión sin explicación. También tengo los libros de reconocimiento de patrones en aprendizaje de máquina y el kevin murphy, aprendizaje de máquina libro. No estoy satisfecho con las explicaciones de estos textos, así que estoy buscando algo claro y sencillo.

Answer 1

Aquí hay una respuesta por ejemplo. Suponga que tiene el siguiente modelo jerárquico $$ Y_{ig} \stackrel{ind}{\sim} N(\theta_g,1) \quad \theta_g \stackrel{ind}{\sim} N(\mu,\tau^2) \quad \mu|\tau^2 \sim N(m,\tau^2/k) \quad \tau^2 \sim IG(a,b) $$ para grupos de $g=1,\ldots,G$ y observaciones dentro de un grupo de $i=1,\ldots,n_g$ y conocidos los valores de $m,k,a,$$b$. Con $$y = (y_{1,1},\ldots,y_{n_1,1},y_{1,2},\ldots,y_{n_2,2},\ldots,y_{1,G},\ldots,y_{n_G,G}),$$ la probabilidad marginal es $$ p(y) = \int \cdots \int \prod_{g=1}^G \left[\prod_{i=1}^{n_g} N(y_{ig};\theta_g,1) \right] N(\theta_g; \mu,\tau^2) d\theta_1 \cdots d\theta_G d\mu d\tau^2.$$ La dimensión de la integral es $G+2$ e si $G$ es grande, entonces esta una alta dimensión integral. La mayoría de las técnicas de integración numérica se necesita una enorme cantidad de muestras o iteraciones para obtener una aproximación razonable a esta integral.

Esta integral pasa a tener un marginales de la probabilidad en forma cerrada, así que usted puede evaluar qué tan bien una integración numérica técnica puede estimar la probabilidad marginal. Para entender por qué el cálculo de la probabilidad marginal es difícil, usted podría comenzar por lo más fácil, como por ejemplo tener una única observación, tener un único grupo, habiendo $\mu$ $\sigma^2$ ser conocidos, etc. Poco a poco puede hacer el problema más y más difícil, y ver cómo la integración numérica de las técnicas de la tarifa relativa a la verdad. Te darás cuenta de que son cada vez peores, es decir, que se necesitan más y más muestras o iteraciones para obtener la misma precisión, como la dimensión del problema, es decir,$G$, aumenta. Por último, vamos a $Y_{ig} \stackrel{ind}{\sim} Po(e^{\theta_g})$ y ahora tiene una probabilidad marginal con ninguna forma cerrada. Según su experiencia, cuando se supo la verdad, ¿cuánto vas a creer una estimación numérica cuando usted no sabe la verdad? Supongo que usted no va a tener mucha confianza en la estimación numérica.