Hay siempre un maximizer para cualquier MLE problema?

Question

Me pregunto si siempre hay un maximizer para cualquier máxima (log-)estimación de la probabilidad de problema? En otras palabras, existe alguna distribución y algunos de sus parámetros, para que el MLE problema no tiene una maximizer?

Mi pregunta viene de una reclamación de un ingeniero que la función de costo (probabilidad o la log-verosimilitud, no estoy seguro de cuál era la intención) en el MLE es siempre cóncava y por lo tanto siempre tiene una maximizer.

Gracias y saludos!

Answer 1

Tal vez el ingeniero tenía en mente canónica exponencial de las familias: en su natural parametrización, el espacio de parámetros es convexa y la log-verosimilitud es cóncava (ver Thm 1.6.3 en Bickel & Doksum de la Estadística Matemática, Volumen 1). También, en algunas leves condiciones técnicas (básicamente que el modelo de "rango completo", o, equivalentemente, que la natural parámetro de identificación personal), la log-verosimilitud de la función es estrictamente cóncava, lo que implica que existe un único maximizer. (Corolario 1.6.2 en la misma referencia). [También, las notas de la conferencia citado por @biostat el mismo punto de vista.]

Tenga en cuenta que el natural parametrización de una canónica exponencial de la familia suele ser diferente de la estándar de parametrización. Así, mientras que @cardenal señala que la log-verosimilitud para la familia $\mathcal{N}(\mu,\sigma^2)$ no es convexa en a $\sigma^2$, será cóncava en los parámetros de naturaleza, que se $\eta_1 = \mu / \sigma^2$$\eta_2 = -1/\sigma^2$.

Answer 2

Probabilidad función de la frecuencia alcanza el máximo para la estimación del parámetro de interés. Sin embargo, en algún momento MLE no existe, como Gaussiana de la mezcla o de distribución no paramétrica de funciones, que tiene más de uno de los picos (bi o multi -modal). Yo a menudo se enfrentan con el problema de la estimación de la población de la genética de los parámetros desconocidos es decir, las tasas de recombinación, el efecto de la selección natural.

Una de las razones que también @punto cardinal que es ilimitado espacio paramétrico.

Por otra parte, yo recomiendo el siguiente artículo, consulte la sección 3 (por función) y Fig.3. Sin embargo, no es muy útil y práctico documento de información sobre el MLE.

Answer 3

Admito que puede ser que falte algo, pero ...

Si este es un problema de estimación, y el objetivo es estimar un parámetro desconocido, y el parámetro se sabe que provienen de algunas cerrado y acotado, y la probabilidad de la función es continua, entonces tiene que existir un valor para este parámetro que maximiza la probabilidad de la función. En otras palabras, un máximo tiene que existir. (No necesita ser único, pero al menos una máxima que debe existir. No hay ninguna garantía de que todos los máximos locales serán máximos globales, pero que no es una condición necesaria para un máximo de existir.)

No sé si la probabilidad de la función siempre tiene que ser convexa, pero que no es una condición necesaria para que exista un máximo.

Si he pasado por alto algo, yo daría la bienvenida a la audiencia qué es lo que me falta.