Vinculación analítica de los coeficientes de los modelos lineales alternativos (OLS)

Question

El problema general :

Tengo dos modelos alternativos que podría utilizar para mi estimación

Modelo A: $y = \alpha^A+ X \beta^A_0 + Z\beta^A_1 + \varepsilon^A$

Modelo B: $y = \alpha^B + X \beta^B_0 + \varepsilon^B$

$X$ : $(n\times k_X)$ y

${Z}$ : $(n\times k_{Z})$

Quiero estimar el efecto de X sobre y, pero puedo utilizar opcionalmente un conjunto de variables ( $Z$ ) como variables de control.

Estoy tratando de evaluar la diferencia que supone para mi estimación de la pendiente si la estimo a través del modelo A o del modelo B. En concreto, quiero encontrar una expresión analítica para evaluarla:

• La covarianza entre $\hat{\beta_0^A}$ y $\hat{\beta_0^B}$
• La expectativa condicional: E[ $\hat{\beta_0^A}$ | $\hat{\beta_0^B}$ ]
• O, idealmente, las distribuciones conjuntas completas / relación funcional entre los dos estimadores

Un problema simplificado con solución :

Ya encontré una solución para el caso más sencillo con $k_X=1$ y $k_{Z}=1$ pasando de la notación matricial a la notación de suma:

Estimación del coeficiente de la pendiente OLS del modelo B (sin variables de control): $$\beta^{B}_0 = \frac{\sum_ix_iy_i}{\sum_ix_i^2}$$ Estimación del coeficiente de la pendiente OLS del modelo A (con un control): $$\beta^A_0 = \frac{(\sum_ix_iy_i)(\sum_iz_i^2)-(\sum_iy_iz_i)(\sum_iz_ix_i)}{(\sum_ix_i^2)(\sum_iz_i^2)-(\sum_ix_iz_i)^2}$$ donde las letras minúsculas indican desviaciones de la media, por ejemplo $x_i = X_i-\bar{X}$ .

Reordenando los términos se obtiene: $$\beta^A_0\left(1-\frac{(\sum_ix_iz_i)^2}{\sum_ix_i^2\sum_iz_i^2}\right) + \frac{\sum_iy_iz_i\sum_iz_ix_i}{\sum_ix_i^2\sum_iz_i^2}= \beta^B_0 $$

Esto es lo que quiero generalizar al caso general.

Editar: en la versión original de la pregunta pedía el caso de que los dos modelos tuvieran dos conjuntos alternativos de covariables.

Answer 1

Para simplificar un poco la notación, dejemos que $X$ también contienen un vector de unos (para el intercepto). Además, dejemos que $\theta_1=(\alpha, \beta_0')'$ y $\theta=(\theta_1', \beta_1)'$ y $P_A=A(A'A)^{-1}A'$ . \begin{align*} \hat\theta^A&=\begin{pmatrix}X'X & X'Z \\ Z'X & Z'Z\end{pmatrix}^{-1}\begin{pmatrix}X'y\\Z'y\end{pmatrix} \\ &= \begin{pmatrix}[X'X-X'Z(Z'Z)^{-1}Z'X]^{-1} & -[X'X-X'Z(Z'Z)^{-1}Z'X]^{-1}X'Z(Z'Z)^{-1}\\-[Z'Z-Z'X(X'X)^{-1}X'Z]^{-1}Z'X(X'X)^{-1} & [Z'Z-Z'X(X'X)^{-1}X'Z]^{-1}\end{pmatrix}\begin{pmatrix}X'y\\Z'y\end{pmatrix} \\ \fin{align*} Así que \begin{align*} \hat\theta^A_1&=[X'X-X'Z(Z'Z)^{-1}Z'X]^{-1}X'y -[X'X-X'Z(Z'Z)^{-1}Z'X]^{-1}X'Z(Z'Z)^{-1}Z'y\\ &=[X'X-X'Z(Z'Z)^{-1}Z'X]^{-1}(X'X)(X'X)^{-1}X'y -[X'X-X'Z(Z'Z)^{-1}Z'X]^{-1}X'Z(Z'Z)^{-1}Z'y\\ &=[X'(I-P_Z)X]^{-1}X'(I-P_Z)y\\ &=[X'(I-P_Z)X]^{-1}X'\left[X\hat\theta_1^B-P_Zy\right], \end{align*} donde \begin{align*} \hat\theta_1^B=(X'X)^{-1}X'y. \end{align*}

La covarianza es entonces bastante sencilla:

$$ Cov(\hat\theta_1^A, \hat\theta_1^B)=Cov([X'(I-P_Z)X]^{-1}X'(I-P_Z)y, (X'X)^{-1}X'y)=[X'(I-P_Z)X]^{-1}X'(I-P_Z)V(y)X(X'X)^{-1}. $$ Bajo los supuestos clásicos, $V(y)=\sigma^2I$ Así que \begin{align*} Cov(\hat\theta_1^A, \hat\theta_1^B)&=\sigma^2[X'(I-P_Z)X]^{-1}X'(I-P_Z)X(X'X)^{-1}=\sigma^2(X'X)^{-1}. \end{align*}

Cuando $X$ y $Z$ son ambos vectores, obtenemos \begin{align*} \hat\beta_0^A&=\left(\sum_{i=1}^nx_i^2-\frac{(\sum_{i=1}^nx_iz_i)^2}{\sum_{i=1}^nz_i^2}\right)^{-1}\left(\hat\beta_0^B\sum_{i=1}x_i^2-\frac{\sum_{i=1}^nx_iz_i\sum_{i=1}^nz_iy_i}{\sum_{i=1}^nz_i^2}\right)\\ \hat\beta_0^A&=\left(1-\frac{(\sum_{i=1}^nx_iz_i)^2}{\sum_{i=1}^nx_i^2\sum_{i=1}^nz_i^2}\right)^{-1}\left(\hat\beta_0^B-\frac{\sum_{i=1}^nx_iz_i\sum_{i=1}^nz_iy_i}{\sum_{i=1}^nx_i^2\sum_{i=1}^nz_i^2}\right)\\ \hat\beta_0^A\left(1-\frac{(\sum_{i=1}^nx_iz_i)^2}{\sum_{i=1}^nx_i^2\sum_{i=1}^nz_i^2}\right)&=\hat\beta_0^B-\frac{\sum_{i=1}^nx_iz_i\sum_{i=1}^nz_iy_i}{\sum_{i=1}^nx_i^2\sum_{i=1}^nz_i^2}\\ \hat\beta_0^A\left(1-\frac{(\sum_{i=1}^nx_iz_i)^2}{\sum_{i=1}^nx_i^2\sum_{i=1}^nz_i^2}\right)+\frac{\sum_{i=1}^nx_iz_i\sum_{i=1}^nz_iy_i}{\sum_{i=1}^nx_i^2\sum_{i=1}^nz_i^2}&=\hat\beta_0^B, \end{align*} que es lo que tienes para el mismo caso.