Considere $n$ observaciones i.i.d de una distribución normal con media desconocida, $\mu$ y varianza desconocida $\sigma^2$ es decir, $y_i \sim i.i.d \ N(\mu, \sigma^2)$ para $i = 1, 2, \cdots, n$ .
Sea $\boldsymbol{\theta} = (\mu, \sigma)'$ sea la parametrización de los dos parámetros desconocidos. Utilizando la Prioridad de Jeffrey y suponiendo a priori la independencia entre $\mu$ y $\sigma$ podemos demostrar que una prioridad no informativa para $\boldsymbol{\theta}$ puede escribirse como $p(\mu, \sigma) \propto \frac{1}{\sigma}$ . La posterioridad viene dada por: \begin{align*} p(\mu, \sigma|\mathbf{y}) & \propto L(\mu, \sigma|\mathbf{y})p(\mu,\sigma) \ \ \text{where} \ \ L \ \ \text{denotes the likelihood function}. \\ & \propto \frac{1}{\sigma^n}\exp\left[-\frac{1}{2\sigma^2}\sum_{i=1}^n(y_i-\mu)^2\right] \times \frac{1}{\sigma} \\ & = \frac{1}{\sigma^{n+1}}\exp\left[-\frac{1}{2\sigma^2}\sum_{i=1}^n(y_i-\mu)^2\right] \end{align*}
Quiero mostrar que esta prior es invariante a la parametrización donde definimos $\boldsymbol{\eta} = (\mu, \psi)'$ donde $\psi = \ln(\sigma)$ . Lo que sigue es mi trabajo, por favor aconsejen si mis argumentos y razonamientos son correctos.
Dado $\boldsymbol{\theta} = (\mu, \sigma)$ y $\boldsymbol{\eta} = (\mu, \psi)$ donde $\psi = \ln(\sigma) \implies \exp(\psi) = \sigma$ para demostrar que se mantiene la invariancia, tenemos que demostrar que $p(\boldsymbol{\eta}|\mathbf{y}) \propto L(\boldsymbol{\eta}|\mathbf{y})p(\boldsymbol{\eta})$ y $p(\boldsymbol{\eta}|\mathbf{y}) \propto L(\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})\displaystyle{\left|\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{\eta}'}\right|}$ proporcionan expresiones equivalentes. Empezaremos por encontrar una expresión para $p(\boldsymbol{\eta}|\mathbf{y}) \propto L(\boldsymbol{\eta}|\mathbf{y})p(\boldsymbol{\eta})$ .
Desde entonces, $$p(\mathbf{y}|\boldsymbol{\theta}) = L(\boldsymbol{\theta}|\mathbf{y}) = \left(2\pi\right)^{-\frac{n}{2}}\left(\sigma^2\right)^{-\frac{n}{2}}\exp\left[-\frac{1}{2\sigma^2}\sum_{i=1}^n (y_i - \mu)^2\right]$$ Entonces, $$L(\boldsymbol{\eta}|\mathbf{y}) = \left(2\pi\right)^{-\frac{n}{2}}\left(\exp(2\psi)\right)^{-\frac{n}{2}}\exp\left[-\frac{1}{2\exp(2\psi)}\sum_{i=1}^n (y_i - \mu)^2\right]$$ La log-verosimilitud es así, $$l(\boldsymbol{\eta}|\mathbf{y}) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\left(2\psi\right) - \frac{1}{2\exp(2\psi)}\sum_{i=1}^n (y_i - \mu)^2$$ Suponiendo a priori la independencia entre $\mu$ y $\psi$ implica $p(\mu, \psi) = p(\mu)p(\psi)$ y aplicando la Prioridad de Jeffreys a cada parámetro se obtiene, \begin{align*}p(\mu) & \propto \left|-E\left[\frac{\partial^2 l}{\partial \mu^2}\right]\right|^{\frac{1}{2}} \\ p(\psi) & \propto \left|-E\left[\frac{\partial^2 l}{\partial \psi^2}\right]\right|^{\frac{1}{2}}\end{align*}
Desde $\frac{\partial^2 l}{\partial \mu^2} = -\frac{n}{\exp(2\psi)}$ y $\frac{\partial^2 l}{\partial \psi^2} = -\frac{2}{\exp(2\psi)}\sum_{i=1}^n (y_i-\mu)^2$ tenemos: \begin{align*} p(\mu) \propto \left|-E\left[-\frac{n}{\exp(2\psi)}\right]\right|^{\frac{1}{2}} = \left(\frac{n}{\exp(2\psi)}\right)^{\frac{1}{2}} \propto c \ \ \ \text{where} \ c \ \text{is a constant} \end{align*} $$p(\psi) \propto \left|-E\left[-\frac{2}{\exp(2\psi)}\sum_{i=1}^n (y_i-\mu)^2\right]\right|^{\frac{1}{2}} =\left(\frac{2}{\exp(2\psi)}E\left[\sum_{i=1}^n (y_i-\mu)^2\right]\right)^{\frac{1}{2}} = \left|\frac{2n\exp(2\psi)}{\exp(2\psi)} \right|^{\frac{1}{2}} \propto c$$
Por lo tanto $p(\boldsymbol{\eta}) \propto c$ y $p(\boldsymbol{\eta}|\mathbf{y}) \propto \frac{1}{\exp(\psi n)}\exp\left[-\frac{1}{2\exp(2\psi)}\sum_{i=1}^n (y_i - \mu)^2\right]$ . A continuación encontraremos una expresión para $p(\boldsymbol{\eta}|\mathbf{y}) \propto L(\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})\displaystyle{\left|\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{\eta}'}\right|}$ suponiendo que utilicemos el correcto a priori no informativa para $\boldsymbol{\theta}$ es decir, $p(\boldsymbol{\theta}) \propto \frac{1}{\sigma}$ . El cálculo del jacobiano es el siguiente: \begin{align*} \displaystyle{\left|\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{\eta}'}\right|} = \left|\left[\begin{matrix} \mu \\ \sigma \end{matrix}\right]\left[\begin{matrix} \frac {\partial} {\partial \mu} & \frac {\partial} {\partial \psi} \end{matrix}\right] \right| = \left|\left[ \begin{matrix} \frac{\partial \mu}{\partial \mu} & \frac{\partial \mu}{\partial \psi} \\ \frac{\partial \sigma}{\partial \mu} & \frac{\partial \sigma}{\partial \psi} \end{matrix} \right]\right| = \left|\left[ \begin{matrix} 1 & 0 \\ 0 & \frac{\partial\exp(\psi)}{\partial \psi} \end{matrix} \right]\right| = \left|\left[ \begin{matrix} 1 & 0 \\ 0 & \exp(\psi) \end{matrix} \right]\right| = \exp(\psi) \end{align*}
Así tenemos, \begin{align*} p(\boldsymbol{\eta}|\mathbf{y}) & \propto \frac{1}{\sigma^{n+1}}\exp\left[-\frac{1}{2\sigma^2}\sum_{i=1}^n(y_i-\mu)^2\right]\exp(\psi) \\ &= \frac{1}{\exp(\psi n + \psi)}\exp\left[-\frac{1}{2\exp(2\psi)}\sum_{i=1}^n(y_i-\mu)^2\right]\exp(\psi) \\ &= \frac{1}{\exp(\psi n)}\exp\left[-\frac{1}{2\exp(2\psi)}\sum_{i=1}^n(y_i-\mu)^2\right] \end{align*}
Que es exactamente la expresión que obtuvimos, por lo tanto la propiedad de invariancia se cumple si $p(\mu, \sigma) \propto \frac{1}{\sigma}$ .
