Estimadores de máxima verosimilitud - Gaussianos multivariantes

Question

Contexto

La gaussiana multivariante aparece con frecuencia en el aprendizaje automático y los siguientes resultados se utilizan en muchos libros y cursos de ML sin las derivaciones.

Datos dados en forma de matriz $\mathbf{X}$ de las dimensiones $m \times p$ si suponemos que los datos siguen una $p$ -variante gaussiana con parámetros media $\mu$ ( $p \times 1$ ) y matriz de covarianza $\Sigma$ ( $p \times p$ ) el Máxima verosimilitud Estimadores están dadas por:

• $\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$
• $\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

Entiendo que el conocimiento de la gaussiana multivariante es un requisito previo para muchos cursos de ML, pero sería útil tener la derivación completa en una respuesta autocontenida de una vez por todas, ya que creo que muchos autodidactas están rebotando por los sitios web stats.stackexchange y math.stackexchange en busca de respuestas.

---

Pregunta

¿Cuál es la derivación completa de los estimadores de máxima verosimilitud para la gaussiana multivariante

---

Ejemplos:

Estos notas de clase (página 11) sobre el Análisis Discriminante Lineal, o estos hacer uso de los resultados y asumir los conocimientos previos.

También hay algunos puestos que están parcialmente contestados o cerrados:

• Estimador de máxima verosimilitud para la distribución normal multivariante
• ¿Necesita ayuda para entender la estimación de máxima verosimilitud para la distribución normal multivariante?

Answer 1

Derivación de los estimadores de máxima verosimilitud

Supongamos que tenemos $m$ vectores aleatorios, cada uno de ellos de tamaño $p$ : $\mathbf{X^{(1)}, X^{(2)}, \dotsc, X^{(m)}}$ donde cada vector aleatorio puede interpretarse como una observación (punto de datos) a través de $p$ variables. Si cada $\mathbf{X}^{(i)}$ son i.i.d. como vectores gaussianos multivariantes:

$$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$$

Cuando los parámetros $\mu, \Sigma$ son desconocidos. Para obtener su estimación podemos utilizar el método de máxima verosimilitud y maximizar la función logarítmica de verosimilitud.

Nótese que por la independencia de los vectores aleatorios, la densidad conjunta de los datos $\mathbf{ \{X^{(i)}}, i = 1,2, \dotsc ,m\}$ es el producto de las densidades individuales, es decir $\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$ . Tomando el logaritmo se obtiene la función de probabilidad logarítmica

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$$

$$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$$

Derivación de $\hat \mu$

Para tomar la derivada con respecto a $\mu$ e igualar a cero haremos uso de la siguiente identidad de cálculo matricial:

$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$ si $\mathbf{w}$ no depende de $\mathbf{A}$ y $\mathbf{A}$ es simétrica.

$$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( x^{(i)} - \mu ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$$

Lo que a menudo se llama el media de la muestra vectorial.

Derivación de $\hat \Sigma$

Derivar la MLE para la matriz de covarianza requiere más trabajo y el uso de las siguientes propiedades de álgebra lineal y cálculo:

• La traza es invariante bajo permutaciones cíclicas de productos matriciales: $\mathrm{tr}\left[ABC\right] = \mathrm{tr}\left[CAB\right] = \mathrm{tr}\left[BCA\right]$
• Desde $x^TAx$ es escalar, podemos tomar su traza y obtener el mismo valor: $x^TAx = \mathrm{tr}\left[x^TAx\right] = \mathrm{tr}\left[xx^TA\right]$
• $\frac{\partial}{\partial A} \mathrm{tr}\left[AB\right] = B^T$
• $\frac{\partial}{\partial A} \log |A| = (A^{-1})^T = (A^T)^{-1}$
• El determinante de la inversa de una matriz invertible es la inversa del determinante: $|A| = \frac{1}{|A^{-1}|}$

La combinación de estas propiedades nos permite calcular

$$\frac{\partial}{\partial A} x^TAx =\frac{\partial}{\partial A} \mathrm{tr}\left[xx^TA\right] = [xx^T]^T = \left(x^{T}\right)^Tx^T = xx^T$$

Que es el producto exterior del vector $x$ con ella misma.

Ahora podemos reescribir la función de probabilidad logarítmica y calcular la derivada con respecto a ella. $\Sigma^{-1}$ (nota $C$ es constante)

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m \mathrm{tr}\left[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } \right] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$$

Igualando a cero y resolviendo para $\Sigma$

$$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$$

Fuentes

• https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter13.pdf
• http://ttic.uchicago.edu/~shubhendu/Diapositivas/Estimación.pdf

Answer 2

Una prueba alternativa para $\widehat{\Sigma}$ que toma la derivada con respecto a $\Sigma$ directamente:

Recogiendo con el log-likelihood como arriba: $$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$$ donde $S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$ y hemos utilizado las propiedades cíclicas y lineales de $\text{tr}$ . Para calcular $\partial \ell /\partial \Sigma$ primero observamos que $$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$$ por la cuarta propiedad anterior. Para tomar la derivada del segundo término necesitaremos la propiedad de que $$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$$ (de El libro de cocina de Matrix (ecuación 63). Aplicando esto con $B=I$ obtenemos que $$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$$ porque ambos $\Sigma$ y $S_\mu$ son simétricos. Entonces $$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$$ Si se pone a 0 y se reordena, se obtiene $$\widehat{\Sigma} = \frac{1}{m}S_\mu.$$

Este enfoque da más trabajo que el estándar que utiliza las derivadas con respecto a $\Lambda = \Sigma^{-1}$ y requiere una identidad de rastreo más complicada. Sólo lo encontré útil porque actualmente necesito tomar derivadas de una función de probabilidad modificada para la que parece mucho más difícil de usar $\partial/{\partial \Sigma^{-1}}$ que $\partial/\partial \Sigma$ .

Answer 3

Aunque las respuestas anteriores son correctas, mencionar el rastro es innecesario (desde un punto de vista personal).

La siguiente derivación podría ser más sucinta: