Distribución de las estimaciones del coeficiente GLM

Question

Estoy confundido sobre cómo se distribuyen los coeficientes del MLG. Sea $\hat\beta$ sea el vector de estimaciones de coeficientes y $n$ el número de observaciones. ¿Los coeficientes se distribuyen así?

$$ \hat\beta \sim N\bigg(\beta, \frac{1}{n} \bigg(E\Big[-\frac{\partial^2 \mathcal{L}(\beta)}{\partial \beta \partial \beta^T}\Big]\bigg)^{-1}\bigg), $$

o se distribuyen así:

$$ \hat\beta \sim N\bigg(\beta, \bigg(E\Big[-\frac{\partial^2 \mathcal{L}(\beta)}{\partial \beta \partial \beta^T}\Big]\bigg)^{-1}\bigg)? $$

Cualquier idea sería muy útil, ya que estoy teniendo problemas para entender esto.

Answer 1

Suponiendo que $\hat{\beta}$ es el MLE, no conocemos el distribución de $\hat{\beta}$ pero sabemos que el distribución asintótica de $\sqrt n (\hat{\beta} - \beta)$ para ser $N\bigg(0, \bigg(E\Big[-\frac{\partial^2 \mathcal{L}(\beta)}{\partial \beta \partial \beta^T}\Big]\bigg)^{-1}\bigg)$ .

Reordenando los términos decimos $\hat\beta$ es aproximadamente $ N\bigg(\beta, \frac{1}{n} \bigg(E\Big[-\frac{\partial^2 \mathcal{L}(\beta)}{\partial \beta \partial \beta^T}\Big]\bigg)^{-1}\bigg)$ . No podemos decir que se trata de una distribución asintótica porque como $ n \rightarrow \infty$ la varianza será cero.

Answer 2

Su pregunta, en mi opinión, no está directamente relacionada con los MLG, sino que puede responderse con ejemplos más sencillos que no requieren enfoques de verosimilitud:

Tome $X_i\sim iid (\mu,1)$ es decir, el $X_i$ se distribuyen de forma independiente e idéntica a partir de una distribución con cierta media $\mu$ y una varianza de 1 (para simplificar).

Entonces, por el teorema del límite central sabemos que como $n\to\infty$ , $$\sqrt{n}(\bar{X}-\mu)\to_dN(0,1)$$

Básicamente, "magnificamos" la diferencia $\bar{X}-\mu$ que a su vez, por la ley de los grandes números, desaparece como $n\to\infty$ .

Podemos entonces aproximadamente dicen que $\bar{X}\sim N(\mu,1/n)$ . La "lógica" es la siguiente:

$$Var(\sqrt{n}(\bar{X}-\mu))=1\Rightarrow nVar(\bar{X}-\mu)=1\Rightarrow Var(\bar{X}-\mu)=1/n\Rightarrow Var(\bar{X})=1/n,$$ donde la última implicación es porque $\mu$ no es aleatorio. Esto es sólo una aproximación porque la declaración de la izquierda es la asintótica varianza, es decir, la varianza de $\sqrt{n}(\bar{X}-\mu)$ como $n\to\infty$ por lo que el enunciado más a la derecha debería ser, en consecuencia, el siguiente $Var(\bar{X})=0$ . Eso, por la LLN, es correcto, pero la aproximación a menudo resulta útil, sin embargo.