Derivación de MLE de $\mu$ en la distribución gaussiana multivariante

Question

Consideremos la distribución gaussiana cuya matriz de covarianza es conocida, supongamos que tenemos $D$ -dimensional $N$ datos $y_n \in \mathbb{R}^D$ . Y la función de verosimilitud de $\mu$ es $$L(\mu)=\Pi_{n=1}^N \frac{1}{\sqrt{2\pi^D |\Sigma|}}exp{(-\frac{1}{2}(y_n-\mu)^T\Sigma^{-1}(y_n-\mu))}$$ y tomar el logaritmo de ambos lados,

$$logL(\mu)=-\frac{N}{2}log(2\pi^D|\Sigma|)-\sum_{n=1}^N \frac{1}{2}(y_n-\mu)^T\Sigma^{-1}(y_n-\mu)$$ Y mi pregunta es, ¿cómo debo calcular el $\hat{\mu}_{ML}$ ? Gracias de antemano.

Answer 1

Sea $Y_1,\ldots,Y_n$ ser i.i.d. $\mathsf N_D\left(\mu,\Sigma\right).$ La función de verosimilitud viene dada por

$$L(\mu,\Sigma )=\left(\frac{1}{\sqrt{2\pi}}\right)^{nD}\frac{1}{|\Sigma|^{n/2}}\text{exp}\left(-\frac{1}{2}\sum_{i=1}^n(Y_i-\mu)'\Sigma^{-1}(Y_i-\mu)\right)$$

Maximizar $L$ con respecto a $\mu$ y $\Sigma$ es equivalente a minimizar $-2\text{ log}(L)$ con respecto a $\mu$ y $\Sigma.$

Ahora

$$\begin{align*} -2\text{ log}L(\mu,\Sigma) &=\sum_{i=1}^n(Y_i-\mu)'\Sigma^{-1}(Y_i-\mu)+n\text{ log}(|\Sigma|)+nD\text{ log}(2\pi)\\\\ &=n\cdot{\bf{tr}}\left(\Sigma^{-1}\bar{S}\right)+n\left(\bar{Y}-\mu\right)'\Sigma^{-1}\left(\bar{Y}-\mu\right)+n\text{ log}(|\Sigma|)+nD\text{ log}(2\pi) \end{align*}$$

donde $\bar{S}=\frac{n-1}{n}S$ y $S$ es la matriz de varianza-covarianza de la muestra.

A partir de aquí, está claro que si minimizamos $-2\text{ log}(L)$ con respecto a $\mu$ el mínimo se produce en $\hat{\mu}=\bar{Y}$