Aprendizaje de los parámetros de una mezcla de gaussianas mediante MLE

Question

Parece que el MLE (a través de EM) se utiliza ampliamente en el aprendizaje de máquinas / estadísticas para aprender los parámetros de una mezcla de Gaussianos. Estoy asumiendo que nos dan muestras aleatorias de la mezcla.

Mi pregunta es: ¿hay alguna prueba cuantitativo ¿Los límites del error en función del número de muestras (y quizás de los parámetros de la gaussiana)?

Por ejemplo, ¿cuál es el tiempo de ejecución necesario para estimar los parámetros hasta un determinado error?

Lo ideal sería que estos límites no asumieran que empezamos en una vecindad local de la solución óptima ni nada parecido. (Si EM no es el método elegido y hay una forma mejor de hacerlo, por favor, señale esto también).

Answer 1

EM resuelve esencialmente el problema de máxima verosimilitud y, por lo tanto, tiene las mismas propiedades con respecto al tamaño de las muestras. Se sabe que EM para los modelos de mezcla gaussiana converge asintóticamente a un máximo local y presenta una convergencia de primer orden (véase este documento ).

Por cierto, hay algunos resultados que cuantifican la calidad de la solución EM en función de los parámetros de la distribución de los datos. Véase este documento que muestra que la bondad depende de la separación de los componentes de la mezcla (medida por las varianzas). Muchos trabajos han analizado los modelos de mezcla utilizando este criterio.

Si no desea utilizar EM para los modelos de mezcla, puede tomar un enfoque totalmente bayesiano .