Hay un enfoque Bayesiano para la estimación de densidad de

Question

Estoy interesado para estimar la densidad de una variable aleatoria continua $X$. Una forma de hacer esto que he aprendido es el uso de la Estimación de Densidad de Kernel.

Pero ahora estoy interesado en un enfoque Bayesiano que a lo largo de las siguientes líneas. Yo al principio creen que $X$ sigue una distribución $F$. Aprovecho $n$ lecturas de $X$. Hay algunas enfoque para la actualización de $F$ basado en mis nuevas lecturas?

Sé que puedo sonar como que me estoy contradiciendo a mí mismo: Si yo creo que el único en $F$ mi antes de la distribución, no hay datos debe convencerme de lo contrario. Sin embargo, supongamos $F$ se $Unif[0,1]$ y mis puntos de datos eran como $(0.3, 0.5, 0.9, 1.7)$. Ver $1.7$, que obviamente no se pegue a mi antes, pero ¿cómo debo actualizar?

Actualización: a partir de las sugerencias en los comentarios, me han empezado a observar en el proceso de Dirichlet. Permítanme usar las siguientes notaciones:

$ G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

Después de enmarcar mi problema original en este idioma, supongo que estoy interesado en los siguientes: $\theta_{n+1} | x_1,...,x_n$. ¿Cómo se hace esto?

En este conjunto de notas (página 2), el autor hizo un ejemplo de $\theta_{n+1} | \theta_1,...,\theta_n$ (Polya sistema Urn). No estoy seguro de si esto es relevante.

Actualización 2: también me gustaría preguntar (después de ver las notas): ¿cómo la gente elige $\alpha$ para la DP? Parece una elección al azar. Además, ¿cómo deciden las personas antes de $H$ para DP? Debo usar un previo para $\theta$ mi antes de $H$?

Answer 1

Puesto que usted desea un enfoque bayesiano, debe asumir algún conocimiento previo acerca de la cosa que queremos estimar. Esto será en la forma de una distribución.

Ahora, ahí está el problema, que es ahora una distribución de las distribuciones. Sin embargo, esto no es problema si se supone que el candidato de las distribuciones vienen de algunos con parámetros de la clase de las distribuciones.

Por ejemplo, si usted quiere asumir los datos es gaussiano distribuido con desconocidos, sino se conoce la varianza, entonces todo lo que necesita es un previo encima de la media.

MAPA de estimación del parámetro desconocido ( $\theta$ ) podría proceder, suponiendo que todas las observaciones / puntos de datos son condicionalmente independientes dado el parámetro desconocido. A continuación, el MAPA de estimación es

$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$,

donde

$ \text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$.

Cabe señalar que hay combinaciones particulares de la probabilidad anterior $\text{Pr}[\theta]$ y el candidato de las distribuciones $\text{Pr}[x | \theta]$ que dan lugar a la fácil (forma cerrada) las actualizaciones a medida que más puntos de datos son recibidos.

Answer 2

Para la estimación de densidad a los efectos de lo que usted necesita no es

$\theta_{n+1}|x_{1},\ldots,x_{n}$.

La fórmula en las notas de las $\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$ reffers a la distribución predictiva del proceso de Dirichlet.

Para la estimación de densidad de la muestra de la distribución predictiva $$ \pi(dx_{n+1}|x_{1},\ldots,x_{n}) $$

El muestreo de la anterior distribución se puede realizar con métodos condicionales con marginal de los métodos. Para los métodos condicionales, tomar una mirada en el papel de Stephen Walker [1]. Marginales métodos que usted debe comprobar en Radford Neal papel [2].

Para el concnetration parámetro $\alpha$ Mike West [3] se propone un método para la inferencia en la MCMC procedimiento, incluyendo un completo condicional de distribución para $\alpha$. Si usted decide no actualizar la concentración de $\alpha$ en la MCMC procedimiento, usted debe tener en cuenta que si usted elige un valor grande para, a continuación, el número de valores distintos extraído de la Dirichlet proceso será más grande que el número de valores distintos que cuando un pequeño número de $\alpha$ será usado.

[1] S. G., Walker (2006). El muestreo de la Dirichlet modelo de Mezcla con rebanadas de. Comunicaciones en Statitics (Simulación y Cálculo).

[2] R. M., Neal (2000) de la Cadena de Markov de Monte Carlo métodos de Dirichlet Proceso de Mezcla de modelos. Diario de cálculo y Gráficas Estadísticas. Vol. 9, Nş 2, pp 249-265

[3] M., West (1992). Hyperparameter estimación de Dirichlet en el proceso de mezcla de modelos. Informe técnico

Answer 3

Hay algunas enfoque para la actualización de F basado en mis nuevas lecturas?

No es algo precisamente para eso. Es más o menos la idea principal de la inferencia Bayesiana.

$p(\theta | y) \propto p(y|\theta)p(\theta)$

El $p(\theta)$ es tu antes, lo de llamar a $F$. El $p(y|\theta)$ es lo que Bayesians llamada la "probabilidad" y es la probabilidad de observar los datos, dado un cierto valor de theta. Usted acaba de multiplicar juntos y obtener lo que se llama un "posterior" de la distribución de $\theta$. Esta es su "actualizado F". Consulte el capítulo 1 de cualquier Introducción a la Bayesiana Estadísticas de libro.

Usted no tiene que deshacerse de $p(\theta)$ (la previa), sólo tiene que darse cuenta de que no es su mejor conjetura más, ahora que tienes los datos para perfeccionar.