¿Es cierto que la log-verosimilitud *siempre* tiene curvatura negativa? ¿Por qué?

Question

La información de Fisher se define de dos formas equivalentes: como la varianza de la pendiente de $\ell(x)$ y como el negativo de la curvatura esperada de $\ell(x)$ . Como la primera es siempre positiva, esto implicaría que la curvatura de la función log-liklihood es negativa en todas partes. Esto me parece plausible, ya que todas las distribuciones que he visto tienen una función de log-verosimilitud con curvatura negativa, pero no veo por qué esto debe ser el caso.

Answer 1

Tu conclusión no se deduce: si el valor esperado de la curvatura de la log-verosimilitud es negativo, no es necesariamente en todas partes negativo. Sólo tiene que ser, por término medio, más negativo que positivo. Piense en una distribución bimodal: efectivamente, hay una región entre las modas con una probabilidad logarítmica positivamente curvada, por lo que su afirmación no puede ser cierta.

Obsérvese el vínculo con la estimación de máxima verosimilitud para la intuición: en la vecindad del MLE, se puede esperar que la curvatura sea negativa porque se encuentra en un máximo (aunque no necesariamente, como si el máximo se produce en el límite, por ejemplo). Si la curvatura es negativa en las regiones más probables, entonces la media debe tienden a ser negativos, intuitivamente. De hecho, siempre debe serlo, bajo las condiciones de regularidad que permiten utilizar la equivalencia con la definición de "varianza de la pendiente", como señalas.

Answer 2

Para algunos clases de funciones de probabilidad, se puede demostrar que la probabilidad es log-concave es decir, que la log-verosimilitud tiene segundas derivadas $<=0$ en todas partes, lo que facilita mucho la vida (por ejemplo, a menudo se puede demostrar la existencia de máximos globales únicos, utilizar métodos de optimización especializados...) Por ejemplo,

• esta pregunta del CV muestra que la probabilidad de la familia exponencial con la función de enlace canónica es logarítmica-cóncava
• este documento "Concavidad de la probabilidad logarítmica" Pratt 1981, JASA demuestra la log-concavidad para una clase de modelos con respuestas ordinales.

Ciertamente, también hay contraejemplos (probabilidades que son probablemente no logarítmicas). Por ejemplo, cualquier probabilidad logarítmica que sea bimodal o multimodal es no logarítmica-cóncava... por ejemplo

• "A note on bimodality in the log-likelihood function for penalized spline mixed models", Welham y Thompson 2009 CS&DA
• "Probabilidades planas y multimodales y falta de ajuste del modelo en familias exponenciales curvas", Sundberg 2010 Scand J Stat
• "Problemas de estimación por verosimilitud de las funciones de covarianza de los procesos gaussianos espaciales", Warnes y Ripley 1987 Biometrika