Ejemplo de estimador de máxima verosimilitud inconsistente

Question

Estoy leyendo un comentario a un artículo, y el autor afirma que a veces, aunque los estimadores (encontrados por ML o máxima cuasilocalidad) no sean consistentes, la potencia de una prueba de razón de verosimilitud o cuasilocalidad puede converger a 1 a medida que el número de datos observados tiende a infinito (consistencia de la prueba). ¿Cómo y cuándo ocurre esto? ¿Conoces alguna bibliografía?

Answer 1

[Creo que esto podría ser un ejemplo del tipo de situación que se discute en su pregunta].

Hay numerosos ejemplos de estimadores ML inconsistentes. La inconsistencia se ve comúnmente con una variedad de problemas de mezcla ligeramente complicados y problemas de censura.

[La consistencia de una prueba consiste básicamente en que la potencia de la prueba para una hipótesis falsa (fija) aumenta a uno a medida que $n\to\infty$ .]

Radford Neal da un ejemplo en su blog de 2008-08-09 Estimación de máxima verosimilitud inconsistente: Un ejemplo "ordinario" . Implica la estimación del parámetro $\theta$ en:

$$X\ |\ \theta\ \ \sim\ \ (1/2) N(0,1)\ +\ (1/2) N(\theta,\exp(-1/\theta^2)^2) $$

(Neal utiliza $t$ donde tengo $\theta$ ) donde la estimación ML de $\theta$ tenderá a $0$ como $n\to\infty$ (y de hecho la probabilidad puede ser mucho mayor en un pico cercano a 0 que en el valor verdadero para tamaños de muestra bastante modestos). No obstante, se da el caso de que hay un pico cerca del valor verdadero $\theta$ es más pequeño que el que está cerca de 0.

Imaginemos ahora dos casos relacionados con esta situación:

a) realizar una prueba de razón de verosimilitud de $H_0: \theta=\theta_0$ contra la alternativa $H_1: \theta<\theta_0$ ;

b) realizar una prueba de razón de verosimilitud de $H_0: \theta=\theta_0$ contra la alternativa $H_1: \theta\neq\theta_0$ .

En el caso (a), imagine que el verdadero $\theta<\theta_0$ (para que la alternativa sea verdadera y $0$ es la otra cara de la verdad $\theta$ ). Entonces, a pesar de que la probabilidad muy cercana a 0 superará a la de $\theta$ la probabilidad en $\theta$ no obstante, supera la probabilidad en $\theta_0$ incluso en muestras pequeñas, y la proporción seguirá aumentando a medida que $n\to\infty$ de tal manera que la probabilidad de rechazo en una prueba de razón de verosimilitudes sea 1.

De hecho, incluso en el caso (b), siempre que $\theta_0$ es fijo y está acotado fuera de $0$ También debería darse el caso de que el cociente de probabilidad crezca de tal manera que la probabilidad de rechazo en una prueba de cociente de probabilidad también se acerque a 1.

Así que esto parecería ser un ejemplo de estimación ML inconsistente, donde la potencia de un LRT debería sin embargo ir a 1 (excepto cuando $\theta_0=0$ ).

[Nota: no hay nada en esto que no esté ya en la respuesta de Whuber, que creo que es un ejemplo de claridad, y es mucho más simple para entender la diferencia entre la consistencia de la prueba y la consistencia de un estimador. El hecho de que el estimador inconsistente en el ejemplo específico no era ML no importa realmente en cuanto a la comprensión de esa diferencia - y traer en un estimador inconsistente que es específicamente ML - como he tratado de hacer aquí - no altera realmente la explicación de ninguna manera sustancial. El único punto real del ejemplo aquí es que creo que aborda su preocupación sobre el uso de un estimador ML].

Answer 2

Dejemos que $(X_n)$ se extrae iid de una Normal $(\mu, 1)$ distribución. Consideremos el estimador

$$T(x_1, \ldots, x_n) = 1 + \bar{x} = 1 + \frac{1}{n}\sum_{i=1}^n x_n.$$

La distribución de $T(X_1,\ldots,X_n)=1+\bar{X}$ es Normal $(\mu+1, 1/\sqrt{n})$ . Converge a $\mu+1\ne \mu$ , demostrando que es incoherente.

Al comparar una hipótesis nula $\mu=\mu_0$ a una alternativa simple, digamos $\mu=\mu_A$ el coeficiente de probabilidad logarítmica será exactamente el mismo que el LLR basado en $\bar{X}$ en lugar de $T$ . (En efecto, $T$ es útil para comparar la hipótesis nula $\mu+1=\mu_0+1$ a la hipótesis alternativa $\mu+1=\mu_A+1$ .) Dado que la prueba basada en la media tiene una potencia que converge a $1$ para cualquier tamaño de prueba $\alpha\gt 0$ y cualquier tamaño del efecto, la potencia de la prueba utilizando $T$ también converge a $1$ .