Distribución de la combinación lineal de los coeficientes de regresión OLS

Question

Tengo una simple regresión lineal OLS $Y_i = \alpha+ \beta_1 X_{1i} + \beta_2 X_{2i} + e_i$ donde $e_i \sim N(0,\sigma)$ . He estimado la regresión a partir de los datos y he obtenido estimaciones para mis coeficientes, así como la correspondiente matriz de covarianza. Supongamos que mi conjunto de datos es grande (>500)

Ahora me gustaría construir el intervalo de confianza del 95% para $Z = a_1 \beta_1 + a_2 \beta_2$ . Mi primer pensamiento fue que podía suponer que Z sigue una distribución normal porque mis coeficientes de regresión son aproximadamente normales y una combinación lineal de variables normales es también una variable normal. He encontrado algunas fuentes en las que tratan $Z$ como una variable aleatoria normal.

Pero ahora tengo una duda porque he descubierto que una combinación lineal de variables aleatorias normales sólo es normal si son independientes. Entonces, ¿sigue siendo seguro asumir $Z$ ¿es aleatorio?

Answer 1

sería mejor explicarlo en notación matricial. Supongamos que el modelo lineal general de Gauss-Markov $$\mathbf{y = X \boldsymbol \beta + \boldsymbol \epsilon}$$ En su caso, $\mathbf{X}$ = ( $\mathbf{1}$ , $\mathbf{x_1}$ , $\mathbf{x_2}$ ) y $\mathbf{\boldsymbol \beta} = (\alpha, \; \beta_1 \; \beta_2)'.$ El estimador OLS es $$\hat{\boldsymbol \beta} = \left(\mathbf{X}'\mathbf{X} \right)^{-1}\mathbf{X}'\mathbf{y}.$$ Desde $\mathbf{y} \ \sim \ N(\mathbf{X \boldsymbol \beta}, \sigma^2)$ entonces $$\hat{\boldsymbol \beta} \ \sim \ N \left(\mathbf{X \boldsymbol \beta}, \sigma^2(\mathbf{X}'\mathbf{X})^{-1} \right).$$ Basándose en el resultado anterior, es capaz de derivar la distribución de $Z = \alpha_1 \beta_1 + \alpha_2 \beta_2$ si escribe $Z = \boldsymbol \lambda' \boldsymbol \beta$ , donde $\lambda' = (0, \alpha_1, \alpha_2)$ . Denotemos que $$\hat{Z} = \alpha_1 \hat{\beta}_1 + \alpha_2 \hat{\beta}_2 = \boldsymbol \lambda' \hat{\boldsymbol \beta},$$ entonces puedes conseguir fácilmente que $$\frac{\hat{Z} - Z}{\sigma\sqrt{\boldsymbol \lambda' (\mathbf{X}' \mathbf{X})^{-1} \boldsymbol \lambda}} \ \sim \ N(0, 1).$$ Tenga en cuenta que $\sigma$ es desconocido, por lo que no se puede construir el intervalo de confianza basado en la distribución normal. Un enfoque riguroso es derivar el intervalo de confianza basado en una $t$ -estadística de prueba (sólo ignoro la derivación pero doy el resultado, deberías poder encontrar los detalles en cualquier libro de modelos lineales o a través de la página web). En concreto, $$\frac{\hat{Z} - Z}{\hat{\sigma} \sqrt{\boldsymbol \lambda' (\mathbf{X}' \mathbf{X})^{-1} \boldsymbol \lambda}} \ \sim \ t(n-p),$$ donde $\hat{\sigma}^2 = \frac{\mathbf{y}'(\mathbf{I - P_X}) \mathbf{y}}{n-p}$ , $\mathbf{P_X}$ es la matriz de proyección, y $p = rank(\mathbf{X})$ .

Answer 2

En realidad, no es cierto que las variables deban ser independientes para que su suma sea normal.

Si X e Y se distribuyen conjuntamente de forma normal con media $\mu_{1} $ y $\mu_{2} $ y la varianza $\sigma_{1}^{2}$ y $\sigma_{2}^{2}$ con correlación $\rho $ entonces Z sigue distribuyéndose normalmente con la media $\mu_{1}+\mu_{2} $ y la varianza $\sqrt { \sigma_{2}^{2}+ \sigma_{1}^{2}+2 \rho \sigma_{2} \sigma_{1}}$ Esperemos que eso te dé lo que necesitas.