¿Cuáles son las condiciones de regularidad de la prueba de la razón de verosimilitud?

Question

¿Podría alguien decirme cuáles son las condiciones de regularidad para la distribución asintótica de la prueba de la razón de verosimilitud?

Dondequiera que miro, está escrito 'Bajo las condiciones de regularidad' o 'bajo las regularidades probabilísticas'. ¿Cuáles son exactamente las condiciones? ¿Que existan la primera y la segunda derivadas de la log-verosimilitud y que la matriz de información no sea cero? ¿O algo totalmente distinto?

Answer 1

Las condiciones de regularidad requeridas se enumeran en la mayoría de los libros de texto intermedios y no difieren de las de la mle. Las siguientes se refieren al caso de un parámetro, pero su extensión al caso de varios parámetros es sencilla.

Condición 1 : Los pdf son distintos, es decir. $\theta \neq \theta ^{\prime} \Rightarrow f(x_i;\theta)\neq f(x_i;\theta ^{\prime}) $

Obsérvese que esta condición establece esencialmente que el parámetro identifica el pdf.

Condición 2: Los pdf tienen soporte común para todos $\theta$

Lo que esto implica es que la ayuda no depende de $\theta$

Condición 3 :El punto $\theta_0$ el parámetro real que es, es un punto interior en algún conjunto $\Omega$

La última se refiere a la posibilidad de que $\theta$ aparece en los puntos finales de un intervalo.

Los tres juntos garantizan que la probabilidad se maximiza en el parámetro verdadero $\theta_0$ y luego que el mle $\hat{\theta}$ que resuelve la ecuación

$$\frac{\partial l(\theta)} {\partial \theta}=0$$

es coherente.

Condición 4 : El pdf $f(x;\theta)$ es dos veces diferenciable en función de $\theta$

Condición 5 : La integral $\int_{-\infty}^{\infty} f(x;\theta)\ \mathrm dx$ puede diferenciarse dos veces bajo el signo integral en función de $\theta$

Necesitamos los dos últimos para derivar la Información de Fisher, que desempeña un papel central en la teoría de la convergencia de la mle.

Para algunos autores son suficientes, pero si queremos ser rigurosos necesitamos además una condición final que garantice la normalidad asintótica del mle.

Condición 6 :El pdf $f(x;\theta)$ es tres veces diferenciable en función de $\theta$ . Además para todos $\theta \in \Omega$ existe una constante $c$ y una función $M(x)$ tal que

$$\left| \frac{\partial^3 log f(x;\theta)}{\partial \theta^3} \right| \leq M(x)$$

con $E_{\theta_0} \left[M(X)\right] <\infty$ para todos $|\theta-\theta_0|<c$ y todos $x$ en apoyo de $X$

Esencialmente, la última condición nos permite concluir que el resto de una expansión de Taylor de segundo orden sobre $\theta_0$ está acotada en probabilidad y, por tanto, no plantea ningún problema asintótico.

¿Es eso lo que tenías en mente?