¿Cuál es la diferencia entre la estimación por máxima verosimilitud y el descenso gradual?

Question

¿Cuáles son los pros y los contras de ambos métodos?

Answer 1

Estimación de máxima verosimilitud es un enfoque general para estimar los parámetros en los modelos estadísticos maximizando el probabilidad función definida como

$$ L(\theta|X) = f(X|\theta) $$

es decir, la probabilidad de obtener datos $X$ dado algún valor del parámetro $\theta$ . Conociendo la función de probabilidad para un determinado problema se puede buscar tal $\theta$ que maximiza la probabilidad de obtener los datos que tiene. A veces tenemos estimadores conocidos, por ejemplo, la media aritmética es un estimador MLE para $\mu$ parámetro para distribución normal pero en otros casos se pueden utilizar diferentes métodos que incluyen el uso de algoritmos de optimización. El enfoque ML no le dice cómo para encontrar el valor óptimo de $\theta$ -- puedes simplemente tomar conjeturas y usar la probabilidad para comparar qué conjetura fue mejor -- sólo te dice cómo puedes comparar si un valor de $\theta$ es "más probable" que la otra.

Descenso gradual es un algoritmo de optimización . Se puede utilizar este algoritmo para encontrar el mínimo (o el máximo, entonces se llama ascenso en pendiente ) de muchas funciones diferentes. Al algoritmo no le importa realmente cuál es la función que minimiza, sólo hace lo que se le pide. Así que con el uso de un algoritmo de optimización tienes que saber de alguna manera cómo puedes saber si un valor del parámetro de interés es "mejor" que el otro. Tienes que proporcionar a tu algoritmo alguna función a minimizar y el algoritmo se encargará de encontrar su mínimo.

Se pueden obtener estimaciones de máxima verosimilitud utilizando diferentes métodos y el uso de un algoritmo de optimización es uno de ellos. Por otra parte, el descenso de gradiente también puede utilizarse para maximizar funciones distintas de la función de verosimilitud.

Answer 2

Normalmente, cuando obtenemos la función de verosimilitud $$f = l(\theta)$$ , entonces resolvemos la ecuación $$\frac{ df }{ d\theta } = 0$$ .

podemos obtener el valor de $$\theta$$ que puede dar el valor máximo o mínimo de f ¡hecho!

Pero la función de probabilidad de la regresión logística no solución de forma cerrada por esta vía. Así que tenemos que utilizar otro método, como gradient descent .