Calcular la prioridad conjugada a partir de la distribución muestral

Question

Siento que esta pregunta podría ser marcada como duplicada porque veo muchas similares incurriendo en ese destino pero lo intentaré de todas formas. Yo diría que no he encontrado nada similar.

He estado pensando en un procedimiento para encontrar distribuciones a priori conugadas que se basa en estadísticas suficientes. La idea es calcular la verosimilitud de la muestra, luego identificar el estadístico suficiente utilizando el teorema de factorización de Neyman y al final sustituir algún hiperparámetro por el estadístico suficiente en la función $g(\theta, T(x))$ donde $\theta$ es el parámetro de interés y $T(X)$ es la estadística suficiente.

Por poner un ejemplo, tengo la siguiente distribución exponencial

\begin{gather} p(y_t\mid\alpha) = \alpha\, \exp\{-\alpha y_t\}\mathbb{1}_{(0,\infty)}(y_t) \end{gather}

Entonces, la función de verosimilitud es (dado $y_t$ son iid)

\begin{gather} L(\alpha) = \alpha^T \exp\left\{-\alpha\sum y_t\right\} \mathbb{1}_{(0,\infty)}(\max(y_t)) \end{gather}

Utilizando el teorema de factorización de Neyman, podemos factorizar la probabilidad como $g(\alpha,T(x))=\alpha^T \exp\{-\alpha\sum y_t\}$ y $c(y)=\mathbb{1}_{(0,\infty)}(\max(y_t))$ de modo que nuestra estadística suficiente es $T(X) = \sum y_t$ .

Entonces, la previa conjugada a este modelo debería ser \begin{gather} \pi(\alpha)=g(\alpha,\eta)=\alpha^T \exp\{-\alpha\eta\} \end{gather}

donde $\eta$ es el hiperparámetro.

Traté de calcular la posterior para comprobar si la familia es la misma, pero me sale esto

\begin{gather} p(\alpha\mid y_t) = \alpha^{2T} \exp\left\{-\alpha\left(\eta+\sum y_t\right) \right\} \end{gather}

lo que no me parece una distribución exponencial.

Ahora, mi pregunta es: ¿debo insertar un parámetro aleatorio $\eta$ ¿o debería ser algo significativo, quizá relacionado con la distribución en juego? ¿O hay problemas en mi forma de proceder?

Answer 1

Su prior es \begin{align} & \text{constant} \times \alpha^T \exp(-\eta\alpha)\, d\alpha & & \text{for } \alpha>0 \tag 1 \\[8pt] = {} & \frac 1 {T!\eta^{T+1}} (\eta\alpha)^T \exp(-\eta\alpha) \big( \eta\, d\alpha\big) & & \text{for } \alpha > 0. \tag 2 \end{align} Se trata de una distribución gamma.

La probabilidad tal y como la has dado es $$ L(\alpha) = \alpha^T \exp\left( -\alpha\sum_{t=1}^T y_t \right). $$ Pero observe que $\eta$ no es el único hiperparámetro de la prior; en efecto $T$ también es un hiperparámetro. No está claro por qué lo ha elegido igual al tamaño de la muestra, probablemente porque no hay una buena razón. Supongamos que reescribimos $(1)$ como $$ \text{constant} \times \alpha^S \exp(-\eta\alpha) \, d\alpha \quad \text{for }\alpha>0. $$ Lo mejor es utilizar la forma $(1)$ en lugar de $(2)$ en este punto y encontrar la constante normalizadora sólo después de encontrar la distribución posterior excepto para esa constante.

Ahora multiplique y obtendrá una distribución gamma cuyo parámetro de "forma" es $S+T.$

Tanto la anterior como la posterior son distribuciones gamma.