¿Cómo es que un estimador ML no puede ser único o constante?

Question

Christian H Weiss dice:

En general, no está claro si los estimadores ML (únicamente) existen y si son coherentes.

¿Puede alguien explicarme lo que quiere decir? ¿Generalmente no sabemos la forma de una función de log-verosimilitud una vez que especifique la distribución de probabilidad?

Answer 1

Multimodal de probabilidad de la función puede tener dos modos de exactamente el mismo valor. En este caso, el MLE no puede ser única ya que existen dos posibles estimadores que puede ser construido mediante el uso de la ecuación de $\partial l(\theta; x) /\partial \theta = 0$.

Ejemplo de este tipo de probabilidad de la Wikipedia:

Aquí vemos que no hay un único valor de $\theta$ que maximiza la probabilidad. El enlace de Wikipedia también da algunas condiciones en la existencia de una única y coherente Emv aunque creo que hay más (una más exhaustiva búsqueda de la literatura le guía).

Edit: Este enlace acerca de la Emv, que creo que son notas de la conferencia de Cambridge, enumera algunos con más regularidad condiciones para el MLE para existir.

Se pueden encontrar ejemplos de incoherente ML estimadores en este CV pregunta.

Answer 2

Un ejemplo surge de la clasificación de la deficiencia. Supongamos que usted está llevando a cabo una regresión por MCO, pero su diseño de la matriz no es de rango completo. En este caso, hay cualquier cantidad de soluciones que obtener el valor de máxima verosimilitud. Este problema no es exclusivo de regresión por MCO, pero de regresión OLS es bastante simple ejemplo.

Otro caso que se plantea en el MLE para la regresión logística binaria. Supongamos que la regresión de las exhibiciones de la separación; en este caso, la probabilidad de no tener un máximo definido, en el sentido de que arbitrariamente grandes coeficientes de monótonamente aumento de la probabilidad.

En ambos casos, el común de los métodos de regularización como la cresta de sanciones puede resolver el problema.

Answer 3

Otro ejemplo simple que muestra que el estimador ML no siempre es único es el modelo <span class="math-container">$U(\theta, \theta +1)^n$</span>. Si su muestra es <span class="math-container">$(x_1, ..., x_n)$</span> probabilidad <span class="math-container">$f(x_1,...x_n|\theta)$</span> para este ejemplo es 1 <span class="math-container">$x_i \in [\theta, \theta +1] \forall i=1...n$</span> y <span class="math-container">$0$</span> lo contrario.