Tengo $n$ se extrae de una distribución normal 2d con un vector de media diferente en cada extracción. La varianza se mantiene constante en $\tau I_2$ . ¿Cómo puedo obtener el estimador MLE para $\tau$ ? Dado que la media está cambiando, parece 0 o una muy pequeña $\epsilon$ es el mejor, pero esto no tiene mucho sentido en una configuración normal.
Respuesta
¿Demasiados anuncios?
La PDF de una distribución normal multivariante de dimensión $k$ y el vector medio $\mu$ y la matriz de covarianza $\tau I$ es $$f_x(x | \mu, \tau) = (2 \pi)^{-k} \tau^{-k/2} \exp(-\frac{1}{2\tau}(x-\mu)^T(x-\mu))$$ Dado $N$ observaciones de la distribución, la función de verosimilitud podría escribirse como $$L(\mu,\tau) = f_x(x_1,x_2\ldots x_N \vert \mu,\tau) $$ Si las observaciones son independientes se obtiene el siguiente producto $$L(\mu,\tau) = \Pi_{n=1}^N f_x(x_n\vert \mu,\tau) $$ que es $$L(\mu,\tau) = (2 \pi)^{-Nk} \tau^{-Nk/2} \exp(-\frac{1}{2\tau}\sum\limits_{n=1}^N (x_n-\mu)^T(x_n-\mu)) $$ La estimación de máxima probabilidad de $\tau$ maximiza lo anterior o cualquier función que sea creciente de lo anterior, una de las cuales es la log-verosimilitud, que es $$\ell (\mu,\tau) = \log L(\mu,\tau) = \log (2 \pi)^{-Nk} \tau^{-Nk/2} \exp(-\frac{1}{2\tau}\sum\limits_{n=1}^N (x_n-\mu)^T(x_n-\mu)) $$ que también es $$\ell (\mu,\tau) = \log (2 \pi)^{-Nk} + \log \tau^{-Nk/2} + \log \exp(-\frac{1}{2\tau}\sum\limits_{n=1}^N (x_n-\mu)^T(x_n-\mu)) $$ Utilizando $\log \exp(x) = x$ obtenemos $$\ell (\mu,\tau) = \log (2 \pi)^{-Nk} + \log \tau^{-Nk/2} -\frac{1}{2\tau}\sum\limits_{n=1}^N (x_n-\mu)^T(x_n-\mu) $$ Utilizando $\log x^a = a \log x$ obtenemos $$\ell (\mu,\tau) = -Nk\log (2 \pi) - \frac{Nk}{2} \log \tau -\frac{1}{2\tau}\sum\limits_{n=1}^N (x_n-\mu)^T(x_n-\mu) $$ Derivación con respecto a $\tau$ , $$\frac{\partial}{\partial \tau}\ell (\mu,\tau) = - \frac{Nk}{2\tau} + \frac{1}{2\tau^2}\sum\limits_{n=1}^N (x_n-\mu)^T(x_n-\mu) = 0 $$ que te da $$\hat{\tau} = \frac{1}{Nk}\sum\limits_{n=1}^N (x_n-\mu)^T(x_n-\mu) \tag{1}$$ Pero no sabemos la media $\mu$ y, por tanto, debe estimarse mediante el mismo proceso, es decir $$\frac{\partial}{\partial \mu}\ell (\mu,\tau) = - \frac{1}{2\tau^2}\sum\limits_{n=1}^N (-2 x_n + 2 \mu ) = 0 $$ que nos da $$\hat{\mu} = \frac{1}{N}\sum\limits_{n=1}^N x_n \tag{2} $$ Sustituyendo (2) en (1) obtenemos $$\hat{\tau} = \frac{1}{Nk}\sum\limits_{n=1}^N (x_n-\frac{1}{N}\sum\limits_{l=1}^N x_l)^T(x_n-\frac{1}{N}\sum\limits_{l=1}^N x_l)$$
