Encontrar el punto máximo de la función de densidad de probabilidad

Question

Tengo curiosidad por saber por qué siempre encontramos mle usando la primera derivada (parcial) sin comprobar los puntos finales o el punto singular o la segunda derivada (parcial). Muchas gracias.

Answer 1

No es una pregunta estúpida en absoluto. Ver este post para un caso en el que una probabilidad puede tener dos máximos y un mínimo.

Cuando se trata de la máxima verosimilitud en un enfoque teórico general, tendemos a suponer silenciosamente que la verosimilitud es una función unimodal (que suele tener un máximo). Además, muchas distribuciones "conocidas" tienen log-concave densidades (en su variable). Esto, unido al hecho de que los coeficientes desconocidos tienen en muchos casos una relación lineal con la variable (o podemos hacerla lineal a través de una parametrización uno a uno, lo que no afecta al MLE), hace que la densidad sea también logarítmica-cóncava en los coeficientes desconocidos... que son los argumentos con respecto a los cuales maximizamos la log-verosimilitud (por ahora, cóncava). La satisfacción de las condiciones de segundo orden es lo que sigue, en estos casos.

Pero en trabajos teóricos más específicos, en los que surgen nuevas probabilidades logarítmicas, el investigador tiene, en mi opinión, la responsabilidad de tratar específicamente la cuestión de si se satisfacen o no las condiciones de segundo orden.

Por último, en el trabajo aplicado, los algoritmos del software comprueban por sí mismos si el hessiano es definido negativo en el punto que localizan como estacionario, (e informan al respecto) para que al menos sepamos si tenemos un máximo local o no.

Answer 2

En primer lugar, en respuesta a la respuesta de Alecos Papadopoulos, ¿debería el programa informático comprobar la existencia de un negativo definido? ¿Sí? ¿Lo hacen? Sospecho que muchos no lo hacen. Pero en realidad, si hay cualquier restricción, incluyendo las restricciones de límite, tales como los parámetros de ser no negativo, y uno o más restricciones son "activos" en una solución candidata (por ejemplo, el parámetro que se estima es en un límite), a continuación, la comprobación de la definición negativa de la Hessian, no es lo que debe hacerse. La condición correcta de segundo orden es que Z' * Hessian * Z sea semidefinido negativo, donde Z es una base para el espacio nulo del Jacobiano de las restricciones activas. ( Z' * Hessian * Z es la proyección del hessiano en el espacio nulo del jacobiano de las restricciones activas). Si las únicas restricciones activas son los límites, entonces Z' * Hessian * Z equivale a eliminar las filas y columnas de los parámetros de un límite del Hessian. Además, las condiciones de primer orden requieren el multiplicador de Lagrange de signo correcto para cada restricción activa de límites, lo que equivale al requisito de que cualquier parámetro en un límite inferior necesita que su componente de gradiente sea no positivo, y cualquier parámetro en un límite superior necesita que su componente de gradiente sea no negativo. Y si se satisfacen todas las condiciones de primer y segundo orden, eso sólo indica que se trata de un máximo local, a menos que se sepa que la función de probabilidad es cóncava (o logarítmica-cóncava).

Supongamos que has encontrado el máximo GLOBAL, pero hay varios máximos locales con valores de la función de verosimilitud casi tan altos, ¿crees que la estimación de máxima verosimilitud debería proporcionarte una gran confianza en la solución? Los intervalos de confianza que arroja el software sólo son "válidos" en relación con ese máximo local (aunque sea global), y no le proporcionarán NINGÚN indicio de que haya valores similares, o mejores, fuera de cualquier intervalo de confianza que forme. Si hay muchas regiones dispares con una probabilidad similar, el máximo de probabilidad podría no ser una probabilidad muy alta en términos absolutos.