¿Cuántos parámetros naturales hay realmente en la familia exponencial conjugada a priori?

Question

La familia exponencial con parámetro natural $\theta$ se puede escribir $$ p(x|\theta)=h_\ell(x)\exp(\theta^Tt(x)-a_\ell(\theta)) $$ con previo conjugado $$ p(\theta|\lambda)=h_c(\theta)\exp(\lambda_1^T\theta+\lambda_2(-a_\ell(\theta))-a_c(\lambda)), $$ donde el parámetro natural $\lambda=(\lambda_1,\lambda_2)$ claramente tiene dimensión $\dim(\theta)+1$ y la estadística suficiente se puede escribir $(\theta,-a_\ell(\theta))$ .

Consideremos el caso de los datos univariantes de distribución normal con media desconocida $\mu$ y precisión desconocida $\tau$ . Entonces el parámetro natural $\theta$ tiene dimensión 2. Sabemos que su prior conjugado es normal-gamma. La página de Wikipedia para la familia exponencial afirma que la distribución normal-gamma tiene 4 parámetros naturales. Sin embargo, dada la definición anterior para la prioridad conjugada, yo esperaría $\dim(\theta)+1=3$ parámetros naturales. ¿Cómo puede encajar esta definición de la distribución normal-gamma en la expresión previa conjugada anterior? ¿No es generalmente cierto que el previo conjugado tiene $\dim(\theta)+1$ ¿parámetros?

Answer 1

Es una observación correcta que una familia conjugada de priores para una familia exponencial de distribuciones con un parámetro bidimensional $(\theta_1,\theta_2)$ puede definirse mediante tres parámetros y, por tanto, que para una familia de distribuciones Normal $$f(x|\theta_1,\theta_2)\propto \exp\left\{\frac{-x^2}{2\theta_2}+\frac{x\theta_1}{\theta_2}-\frac{\theta_1^2}{2\theta_2}-\frac{\log(\theta_2)}{2}\right\}$$ una familia conjugada de priores está definida por $$\pi(\theta_1,\theta_2|\alpha_1,\alpha_2,\lambda)\propto \exp\left\{\frac{-\alpha_1}{2\theta_2}+\frac{\alpha_2\theta_1}{\theta_2}-\lambda\frac{\theta_1^2}{2\theta_2}-\lambda\frac{\log(\theta_2)}{2}\right\}$$ Sin embargo, también es posible definir priores conjugados con más hiperparámetros en el sentido de que los priores y los posteriors pertenecen a la misma familia.

En nuestro libro Fundamentos bayesianos con R , recurrimos a la versión de cuatro parámetros:

Consideramos ahora el caso general de una muestra iid $\mathscr{D}_n=(x_1,\ldots,x_n)$ de la distribución normal $\mathscr{N}(\mu,\sigma^2)$ y $\theta=(\mu,\sigma^2)$ . Esta configuración también permite una prioridad conjugada, ya que la distribución normal sigue siendo una familia exponencial cuando ambos parámetros son desconocidos. Es de la forma $$ (\sigma^2)^{-\lambda_\sigma-3/2}\,\exp\left\{-\left(\lambda_\mu(\mu-\xi)^2+\alpha\right)/2\sigma^2\right\} $$ desde \begin {eqnarray} \label {eq:conjunor} \pi (( \mu , \sigma ^2)| \mathscr {D}_n) & \propto & ( \sigma ^2)^{- \lambda_\sigma -3/2}\, \exp\left\ {- \left ( \lambda_\mu ( \mu - \xi )^2 + \alpha \right )/2 \sigma ^2 \right\ } \nonumber\\ && \times ( \sigma ^2)^{-n/2}\, \exp \left\ {- \left (n( \mu - \overline {x})^2 + s_x^2 \right )/2 \sigma ^2 \right\ } \\ & \propto & ( \sigma ^2)^{- \lambda_\sigma ( \mathscr {D}_n)} \exp\left\ {- \left ( \lambda_\mu ( \mathscr {D}_n) ( \mu - \xi ( \mathscr {D}_n))^2+ \alpha ( \mathscr {D}_n) \right )/2 \sigma ^2 \right\ }\,, \nonumber \end {eqnarray} donde $s_x^2 = \sum_{i=1}^n (x_i-\overline{x})^2$ . Por lo tanto, la prioridad conjugada en $\theta$ es el producto de una distribución gamma inversa sobre $\sigma^2$ , $\mathscr{IG}(\lambda_\sigma,\alpha/2)$ y, condicionado a $\sigma^2$ una distribución normal en $\mu$ , $\mathscr{N} (\xi,\sigma^2/\lambda_\mu)$ .

pero no hay ninguna razón particular para hacerlo, excepto si un grado diferente de precisión previa ( $\lambda_\mu\ne\lambda_\sigma$ ) está disponible en $\mu$ y en $\sigma$ .