Normalidad asintótica de la MLE cuando los datos se modelan con covariables

Question

Digamos que tengo un vector de datos $X_1,\ldots,X_n$ que quiero modelar con alguna función de distribución paramétrica $f(X_i;\theta,Z_i)$ y las covariables $Z_i$ . En este caso, ¿cómo puedo demostrar la normalidad asintótica de la máxima verosimilitud $\hat{\theta}$ ?

Muchas pruebas de la normalidad asintótica de la MLE se centran en la situación en la que $X_1,\ldots,X_n$ son i.i.d. (por ejemplo, Comportamiento normal asintótico de la MLE, pregunta sobre la prueba. ). Sea $S_i(\theta)=\frac{\partial}{\partial \theta} \ln f(x_i,\theta)$ , $S'_i(\theta)=\frac{\partial^2}{(\partial \theta)^2} \ln f(x_i,\theta)$ , $S_n(\theta)=\sum_{i=1}^n S_i(\theta)$ y $S'_n(\theta)=\sum_{i=1}^n S'_i(\theta)$ . Cuando $X_i$ son i.i.d., la prueba sigue aproximadamente los siguientes pasos:

(1) La MLE es consistente $\hat{\theta}_n \rightarrow \theta$ donde $\theta$ es el valor verdadero. La prueba (por ejemplo http://ocw.mit.edu/courses/mathematics/18-443-statistics-for-applications-fall-2006/lecture-notes/lecture3.pdf ) a menudo utiliza LLN y $\ln f(X_i;\theta)$ necesita ser identificada.

(2) $\sqrt{n}(\hat{\theta}_n-\theta) \approx \frac{\frac{1}{\sqrt{n}}S_n(\theta)}{\frac{1}{n}S'_n(\theta)}$ . La aproximación se mantiene para grandes $n$ debido a (1)

(3) El numerador converge en la distribución a $$ N(0,\operatorname{Var}(S_i(\theta))) \tag{$ * $} $$ por CLT.

(4) El denominador converge en probabilidad a $E(S'_i(\theta))$ por LLN.

(5) $E(S'_i(\theta))=\operatorname{Var}(S_i(\theta))=I_1(\theta)$

(6) Por el teorema de Slutsky y (2),(3),(4),(5), y dejando que Z sea de $(*)$ :

$$\sqrt{n}(\hat{\theta}_n-\theta) \rightarrow E(S'_i(\theta))^{-1} Z \sim N(0,E(S'_i(\theta))^{-1} \operatorname{Var}(S_i(\theta)) E(S'_i(\theta))^{-1}) =N(0,I_1(\theta)^{-1}).$$

Sin embargo, cuando los datos se modelan con covariables, los datos dejan de tener una distribución idéntica. Por lo tanto, la LLN y la CLT utilizadas en (1), (3), (4) no se cumplen. ¿Puede alguien explicar cómo demostrar la normalidad asintótica de la MLE en esta circunstancia?

Answer 1

Supongo que una forma de convencerme de la normalidad asintótica de la MLE cuando $X_1,\cdots, X_N$ son independientes pero no idénticos es utilizar aproximadamente los mismos argumentos que en la hipótesis i.i.d. excepto los dos cambios siguientes:

[Cambio 1] La CLT clásica i.i.d. se sustituye por la CLT de Lyapunov ( http://en.wikipedia.org/wiki/Central_limit_theorem#cite_ref-6 ) que no requiere observaciones idénticas (pero sí independientes). Establece que, bajo ciertas condiciones, si $Z_i \overset{ind}{\sim} (\mu_i,\sigma^2_i)$ entonces:

$$ \frac{1}{(\sum_{i=1}^{n}Var(Z_i))^{1/2}}\sum_{i=1}^{n} (Z_i-\mu_i) \overset{d}{\rightarrow} N(0,1) $$

[Cambio 2] Que $Z_i \overset{ind}{\sim} (\mu_i,\sigma^2_i)$ y $c_i,i=1,2,\cdots$ sea la secuencia de constantes. En lugar de utilizar el SLLN normal, utilice argumentos similares a los de WLLN con la condición de que $\frac{\sum_{i=1}^n \sigma_i^2}{ (\sum_{i=1}^n c_i)^2} \rightarrow 0 $ como $ n\rightarrow \infty$ . Por la desigualdad de Chebychev para todos $\epsilon$ : $$ Pr(|\frac{\sum_{i=1}^n Z_i}{\sum_{i=1}^n c_i}-\frac{\sum_{i=1}^n\mu_i}{\sum_{i=1}^n c_i}|\ge \epsilon) \le \frac{Var(\frac{\sum_{i=1}^n Z_i}{\sum_{i=1}^n c_i}-\frac{\sum_{i=1}^n\mu_i}{\sum_{i=1}^n c_i})}{\epsilon^2} =\frac{Var(\sum_{i=1}^n Z_i)}{(\sum_{i=1}^n c_i)^2\epsilon^2}=\frac{\sum_{i=1}^n \sigma_i^2}{ (\sum_{i=1}^n c_i)^2\epsilon^2} $$ Por lo tanto, si se cumple la condición, entonces tenemos WLLN para el escenario no idéntico para la secuencia de variables aleatorias $Z_1,Z_2,\cdots$ . El LLN utilizado en los pasos (1) y (4) de la prueba para el caso i.i.d. anterior se sustituye por éste suponiendo que se cumple la condición.

En resumen, podemos demostrar (aproximadamente) la normalidad asintótica de la MLE cuando las observaciones no están idénticamente distribuidas siguiendo los siguientes pasos:

(1) $\hat{\theta}\rightarrow \theta$ en probabilidad bajo la condición discutida en [Cambio 2].

(2) La siguiente aproximación es válida para grandes $n$ debido a (1): $$ [\sum_{i=1}^n Var(S_i(\theta))]^{1/2} (\hat{\theta}-\theta) \approx- \frac{ \frac{1}{[\sum_{i=1}^n Var(S_i(\theta))]^{1/2}} S_n(\theta) }{ \frac{1}{[\sum_{i=1}^n Var(S_i(\theta))]} S_n'(\theta) } =- \frac{ \frac{1}{[\sum_{i=1}^n Var(S_i(\theta))]^{1/2}} \sum_{i=1}^n S_i(\theta) }{ \frac{1}{[\sum_{i=1}^n Var(S_i(\theta))]} \sum_{i=1}^n S'_i(\theta) } $$

(3) El numerador se convierte en $N(0,1)$ por Lyapunov CLT [Cambio 1].

(4) Por el LLN de [Cambio 2], para grandes $n$ el denominador es aproximadamente $\frac{1}{\sum_{i=1}^n Var(S_i(\theta))} \sum_{i=1}^n E(S'_i(\theta))$

(5) $ Var(S_i(\theta)) = E(S'_i(\theta))= I_i(\theta) $ para todos $i$ .

(6) Por el teorema de Slutsky y (2),(3),(4),(5), para grandes $n$ , $$ [\sum_{i=1}^n Var(S_i(\theta))]^{1/2} (\hat{\theta}-\theta)\approx N(0,[\frac{ \sum_{i=1}^n E(S'_i(\theta)) }{\sum_{i=1}^n Var(S_i(\theta))} ]^{-2}) $$ Por lo tanto: $$ \hat{\theta}\approx N(0,\frac{\sum_{i=1}^n Var(S_i(\theta))}{ [\sum_{i=1}^n E(S'_i(\theta))]^2 } ) = N(0,\frac{1}{ \sum_{i=1}^n I_i(\theta) } ) $$

Answer 2

Se puede hacer esto con teoremas centrales del límite para el caso no iid. Por ejemplo, consulte el libro "Estimation, inference, and specification analysis" de Halbert White. Sin embargo, la forma más fácil es simplemente asumir que la distribución de covariables especifica una secuencia de patrones de covariables iid y que esta distribución de covariables no depende funcionalmente de theta