La estimación de la covarianza distribución posterior de un multivariante de gauss

Question

Necesito a "aprender" la distribución de un bivariante de gauss con algunas muestras, pero una buena hipótesis sobre el estado de la distribución, por lo que me gustaría usar el enfoque bayesiano.

He definido mi antes: $$ \mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0}) $$ $$ \mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix} $$

Y mi distribución dada la hipótesis de $$ \mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma}) $$ $$ \mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix} $$

Ahora sé que gracias a aquí que para la estimación de la media de la vista de los datos

$$ \mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$$

Puedo calcular:

$$ \mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0} $$

$$ \mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma} $$

Ahora viene la pregunta, tal vez me equivoque, pero me parece que $ \mathbf{\Sigma_n} $ es simplemente la matriz de covarianza para la estimación del parámetro de $\mathbf{\mu_n} $, y no la estimación de la covarianza de mis datos. Lo que me gustaría sería calcular también

$$ \mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n}) $$

con el fin de tener una especifica completamente la distribución aprendido de mis datos.

Es esto posible? Ya es resuelto mediante el cálculo de $\mathbf{\Sigma_n}$ y sólo se expresa en el camino equivocado de la fórmula anterior (o simplemente estoy misentrepreting)? Las referencias se agradece. Muchas gracias.

EDITAR

A partir de los comentarios, parece que mi enfoque era "malo", en el sentido de que estaba asumiendo una constante de la covarianza, que se define por $ \mathbf{\Sigma} $. Lo que necesito sería poner un antes también, $ \mathbf{P}(\mathbf{\Sigma}) $, pero no sé qué de distribución que debo usar, y, posteriormente, ¿cuál es el procedimiento para su actualización.

Answer 1

Usted puede hacer Bayesiano para la actualización de la estructura de covarianza en mucho el mismo espíritu que se actualiza la media. El conjugado previo de la matriz de covarianza de la multivariado normal es el Inverso de distribución de Wishart, así que tiene sentido comenzar por ahí,

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

Entonces, cuando usted consigue tu muestra de $X$ de la longitud de la $n$ se puede calcular la covarianza de la muestra la estimación de $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

Esto se puede utilizar para actualizar su estimación de la matriz de covarianza

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

Usted puede optar por utilizar la media de este como su punto de estimación de la covarianza (Posterior Significa Estimador)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

o puede elegir utilizar el modo (maximum a Posteriori Estimador)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

Answer 2

Ok, he encontrado la verdadera solución para mi problema. Estoy publicando incluso si la respuesta correcta a mi (fuera de lugar) la pregunta es la seleccionada.

Básicamente, mi pregunta explica cómo estimar la media de conocer la covarianza, y la respuesta de cómo estimar la covarianza sabiendo que la media. Pero mi problema real fue estimar con ambos parámetros desconocidos.

He encontrado la respuesta en Wikipedia con la derivación se explica aquí. La normal multivariante del conjugado antes es Normal inverso-Wishart, que es básicamente una distribución multivariante de las Normales.

La previa de los parámetros que necesitan ser especificados $\mathbf{\mu}_0$ a definir la media, $\mathbf{\Psi}$ a definir la covarianza, y dos valores escalares $\kappa_0$ $\nu_0$ que yo diría que definir lo seguros que estamos en la estimación de los dos primeros parámetros, respectivamente.

La actualización de la distribución después de la observación de $n$ muestras de una $p$-variable Normal tiene la forma

$$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$$

donde

$$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i} $$

$$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T $$

así que mi deseado parámetros estimados son

$$ E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} } $$ $$ E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$$