Cuando es de Máxima Verosimilitud de la misma como de los mínimos Cuadrados

Question

En este papel en p315:

http://www.ssc.upenn.edu/~fdiebold/papers/paper55/DRAfinal.pdf

Ellos explican que el uso de Levenberg Marquardt (LM) (junto con BHHH) para maximizar la probabilidad. Sin embargo, como yo lo entiendo LM sólo pueden ser utilizados para la solución de mínimos Cuadrados (LS) problemas? Son los LS y MLE de las soluciones de la misma para este tipo de problema?

Sé que cuando los errores son normales como en OLS, a continuación, las soluciones son las mismas. Aquí los procesos que se estiman son AR(1) de modo que los errores son normales aunque el proceso en general no lo es. Puedo tratar el MLE y LS solución indistintamente en esta situación?

En el que caso de que puedo aplicar LM para resolver el LS solución segura en el conocimiento que el óptimo LS parámetros también son las que va a resolver el MLE problema?

¿O es que el algoritmo LM tiene que ser cambiado de alguna manera para que pueda ser aplicada directamente a la MLE estimación? Si es así, cómo?

Saludos

Baz

Answer 1

De Levenberg-Marquardt es un general (no lineal) de la optimización de la técnica. No es específica de LS, a pesar de que es, probablemente, su uso más generalizado. Mirando a su referencia de papel, que son (en su mayoría) ajuste de espacio de estado modelos con aditivo Normal errores. La formación de la función de probabilidad de los rendimientos de

$\ln L(\theta|X=x) = K - \ln \sigma -\frac{1}{2\sigma^2}\sum\left(x_j-f(\theta)\right)^2$,

que es una no lineal de mínimos cuadrados problema.