Encontrar la suma residual de los cuadrados

Question

Deje que $Y_1, Y_2, Y_3$ sean variables aleatorias no correlacionadas con varianza común $\sigma^2>0$ tal que
$$\begin{aligned} E[Y_1]&=\beta_1+\beta_2, \\ E[Y_2]&=2\beta_1, \\ E[Y_3]&=\beta_1-\beta_2 \end{aligned}$$ donde $\beta_1$ y $\beta_2$ son parámetros desconocidos. Encuentre la suma residual de cuadrados bajo el modelo lineal anterior. Procedo de la siguiente manera:

Nota que: $$\begin{aligned} E[Y_1-\beta_1-\beta_2]&=0, \\ V[Y_1-\beta_1-\beta_2]&=\sigma^2, \\ E[Y_2-2\beta_1]&=0, \\ V[Y_2-2\beta_1]&=\sigma^2, \\ E[Y_3-\beta_1+\beta_2]&=0, \\ V[Y_3-\beta_1+\beta_2]&=\sigma^2 \end{aligned}$$ Entonces, la suma residual de cuadrados bajo el modelo lineal anterior es: $$\sum{e_i^2}=(Y_1-\beta_1-\beta_2)^2+(Y_2-2\beta_1)^2+(Y_3-\beta_1+\beta_2)^2$$ ¿Estoy procediendo de la manera correcta? ¿Alguien puede explicar qué se quiere decir con modelo lineal aquí?

Answer 1

Su modelo debe ser reescrito como una ecuación de estimación de la forma $Y=X\theta+\epsilon$ donde $y_1,y_2,y_3$ son simplemente la misma variable observada en diferentes grupos (o clústeres)

Eso implica: $y_i = \theta_1D1_i + \theta_2 D2_i + \theta_3 D3_i + \epsilon_i$ Donde $Dk_i$ es una variable dummy que =1 si la i-ésima observación corresponde al k-ésimo grupo. Así $\theta_1=\beta_1+\beta_2$ $\theta_2=2\beta_1$ $\theta_3=\beta_1-\beta_2$. Pero estimar las ecuaciones anteriores daría como resultado 3 parámetros $\theta$ de los cuales solo existen 2 $\beta$ por lo que el sistema está sobredeterminado. Sería más razonable escribir $\theta_3$ como:

$\theta_3 = \theta_2-\theta_1$ así la ecuación de estimación se convierte en:

$y_i = \theta_1(D1_i-D3_i) + \theta2 (D2_i+D3_i) + \epsilon_i\equiv \theta_1x_{1i}+ \theta_2x_{2i} + \epsilon_i$

que es una regresión lineal estándar con 2 variables explicativas. Una vez que el modelo es estimado ($\hat \theta$), la suma de los residuos al cuadrado es

$\sum_i\hat\epsilon_i^2 =\sum_i y_i^2-2 \sum_i y_i \hat y_i+ \sum \hat y_i^2$

El primer término se obtiene como $\sum (Y1_i + Y2_i +Y3_i)^2$. Desarrollando el segundo término se obtiene :

$-2(\hat\theta_1\sum_i y_i x_{1i}+\hat \theta_2 \sum y_i x_{2i})$ $\equiv -2(\hat \theta_1 (\sum_i Y1_i-\sum Y3_i)+\hat \theta_2(\sum Y2_i- \sum Y3_i))$

mientras que el tercero es:

$\hat\theta_1^2\sum_ix_{1i}^2 +\hat\theta_2^2\sum_ix_{2i}^2+2\hat\theta_1\hat\theta_2\sum_i{x_{1i}x_{2i}} donde las sumas son sencillas de calcular siguiendo el álgebra del segundo término.

Pero ¿Qué hay de los valores de $\hat \theta$ ? Es fácil. Consideremos las observaciones del primer grupo, la ecuación se convierte en, $y_i=Y1_i= \theta_1 + \epsilon_i$, la segunda: $Y2_i=\theta_2 +\epsilon_i$ y la tercera: $Y3_i=y_i=\theta_2-\theta_1+\epsilon_i$

Estas 3 ecuaciones son mutuamente excluyentes ya que se basan en muestras diferentes, por lo que estimar la primera y la segunda (por OLS, ML, etc.) implica que los $\theta$ estimados son solo promedios de los $Yk$ correspondientes:

$\hat \theta_1 = \bar{Y1}$, y $\hat \theta_2=\bar{Y2}$ y por lo tanto $\hat \theta_3=\bar Y2 -\bar{Y1}$

Answer 2

No recuerdo haber encontrado este problema antes, pero matemáticamente has interpretado correctamente las suposiciones. Ahora, el siguiente paso es estimar los 2 betas. ¿Cómo se debería hacer eso? Todo lo que está claro a partir del enunciado del problema es que los términos de error estarían descorrelacionados por implicación y tendrían la misma varianza. Pero no está claro (1) si tienen la misma distribución y (2) si esa distribución sería normal. Si los términos de error son normales, serán iid con media 0 y varianza común. Entonces podrías aplicar mínimos cuadrados a la fórmula que tienes para la suma de cuadrados de errores. Si los términos de error son muy no normales pero tienen la misma distribución, se puede utilizar un procedimiento de ajuste robusto como el mínimo de la suma de desviaciones absolutas. Ten en cuenta que los residuos no correlacionados no son necesariamente independientes en situaciones no normales.

Esto se llama un modelo lineal o más correctamente un modelo lineal multivariado porque las variables de respuesta Y$_1$, Y$_2$ y Y$_3$ son todas funciones lineales de los parámetros.