Demuestre que cada iteración de la puntuación de Fisher para GLM es de mínimos cuadrados para la respuesta de trabajo

Question

Demuestre que cada iteración del algoritmo Fisher Scoring (también Iterated ReWeighted Least Squares - IRLS o IWLS) es lo mismo que hacer mínimos cuadrados en las respuestas de trabajo, donde las respuestas de trabajo se definen como:

$$z_i^{(t)} = \eta_i + (y_i-\mu_i^{(t)})\frac{\partial\eta_i^{(t)}}{\partial\mu_i^{(t)}}$$

( $\eta$ es el predictor lineal).

Answer 1

La puntuación, o primera derivada de las ecuaciones de verosimilitud del MLG, es $S(\beta) = X^TDV^{-1}(y-\mu)$ donde $D$ es una matriz diagonal con $\frac{\partial \mu_i}{\partial \eta_i}$ en su diagonal, y $V$ es una matriz diagonal con $Var(y_i)$ por su diagonal.

La matriz de información de $\beta$ es igual a $I(\beta) =X^TWX$ donde $W$ es una matriz diagonal con $(\frac{\partial\mu_i}{\partial \eta_i})^2/V(y_i)$ .

Tenga en cuenta que $DV^{-1} = WD^{-1}$ .

Cada iteración de la puntuación de Fisher es:

$\beta^{(t+1)} = \beta^{(t)} + I(\beta^{(t)})^{-1}S(\beta^{(t)}) = I(\beta^{(t)})^{-1}(I(\beta^{(t)})\beta^{(t)} + S(\beta^{(t)})) = \\ (X^TW^{(t)}X)^{-1}(I(\beta^{(t)})\beta^{(t)} + S(\beta^{(t)})) = (X^TW^{(t)}X)^{-1}X^TW^{(t)}Z^{(t)}$

Para la última igualdad tenemos que utilizar lo siguiente:

$S(\beta) = X^TD V^{-1}(y-\mu) = X^TW D^{-1}(y-\mu) = X^TW(Z-\eta) = X^TWZ -X^TW(X\beta) = X^TWZ - I(\beta)\beta$

Por lo tanto $I(\beta)\beta + S(\beta) = X^TWZ$ .