Regresión lineal para la muestra iid: El valor de $E(\epsilon_i^2|x_i)$ no es la misma a través de i. ¿Por qué?

Question

Regresión lineal para una muestra iid (Y,X).

$E(\epsilon_i^2|X)=E(\epsilon_i^2|x_i)$ , donde $x_i$ es la i-ésima observación de k regresores, y epsilon es el término de error.

El libro que estoy usando dice que de una muestra iid podemos deducir que $E(\epsilon_i^2)$ es constante a través de i, y también la forma funcional de $E(\epsilon_i^2|x_i)$ a través de i.

Sin embargo, el valor de $E(\epsilon_i^2|x_i)$ no es la misma a través de i. ¿Por qué?

Se agradecería cualquier ayuda.

Answer 1

Dado que se trata de una regresión lineal, se suponga que la relación

$$y_i = \mathbf x_i'\beta + \epsilon_i,\;\; \forall i$$

y así la muestra i.i.d. de tamaño $n$ es, dada nuestra suposición, una colección de observaciones

$$\{y_i,\mathbf x_i\}_{\{i\in [1,n]\}} = \{\mathbf x_i'\beta + \epsilon_i,\mathbf x_i\}_{\{i\in [1,n]\}}$$

Obsérvese que consideramos que la afirmación "muestra i.i.d." se refiere a la distribución conjunta de la muestra , es decir, del $y$ y el $\mathbf x_i$ 's. Este es el enfoque que se suele adoptar en Econometría (véase, por ejemplo Hayashi (2000) cap. 1 p. 12 - descargable legalmente ). Visto así, el "supuesto i.i.d." tiene algunas implicaciones para la distribución marginal de los errores, así como para la autocorrelación (implica la no autocorrelación de los errores), pero no cubre la homo/heteroskedasticidad condicional.

En concreto, si la muestra es (o suponemos que es) i.i.d., entonces debido a la supuesta descomposición de $y_i$ se deduce de lo anterior que el $\epsilon_i$ son i.i.d. y así $$E(\epsilon_i^2) = E(\epsilon_j^2),\;\; \forall i,j \in [1,n]$$

También

$$E(\epsilon_i^2 \mid \mathbf x_i) = E((y_i - \mathbf x_i'\beta)^2 \mid \mathbf x_i) = E(y_i^2 - 2y_i\mathbf x_i'\beta+ (\mathbf x_i'\beta)^2 \mid \mathbf x_i)$$

$$=E(y_i^2 \mid\mathbf x_i) - 2\mathbf x_i'\beta E(y_i \mid \mathbf x_i) + (\mathbf x_i'\beta)^2 $$

El $\mathbf x_i$ pueden ser i.i.d. pero esto no significa que cada realización real sea idéntica (esto convertiría los regresores en constantes). Por lo tanto, sin más suposiciones en general tendremos

$$E(\epsilon_i^2\mid\mathbf x_i ) \neq E(\epsilon_j^2\mid\mathbf x_j),\;\; i,j \in [1,n]$$

En otras palabras, la homocedasticidad condicional debe imponerse como adicional asunción. Obsérvese también que el supuesto de exogeneidad estricta (o independencia de la media) del vector de error con respecto a la matriz del regresor, $E(\epsilon \mid \mathbf X) = 0$ que para una muestra i.i.d. equivale a $E(\epsilon_i \mid \mathbf x_i) = 0,\; \forall i$ no trae consigo la homocedasticidad condicional, siendo esta última un supuesto distinto.

Answer 2

Sin embargo, el valor de $E(\epsilon_i^2|x_i)$ no es el mismo a través de i. ¿Por qué?

Aclaremos primero que lo más probable es que su libro se refiera a los errores, no a los residuos. La diferencia es que los primeros no son observables, mientras que los segundos sí. La regresión supone que los verdadero El modelo es $y=X\beta+\varepsilon$ , donde $\varepsilon$ es un azaroso error . No es observable.

La modelización de la regresión tratará de estimar los coeficientes, y obtendrá $y=Xb+e$ , donde $b$ son los coeficientes estimados, y $e$ - residuos (error estimado). Se espera que al menos $X$ es correcto, es decir, que ha añadido todos los predictores verdaderos y no ha añadido predictores erróneos. Si espera que su modelo esté correctamente especificado, siga con la estimación $b$ y $e$ . Tenga en cuenta que en cualquier momento no observar los verdaderos errores $\varepsilon$ . Por lo tanto, su afirmación anterior parece provenir de una confusión de errores y residuos. Realmente no puedes afirmar que las expectativas de los errores están correlacionadas con los predictores, porque no los observas. No observas los erros, y aún menos observables son sus expectativas. Puedes sospechar que lo están, y hacer algunas pruebas sobre residuos para apoyar su sospecha.

Los residuos son observables, por supuesto. Los has estimado. ¿Cómo vas a estimar la expectativa de los residuos como en tu declaración anterior? Usted observa los residuos individuales $e_i$ , pero cómo conseguiría $E[e_i]$ ? Por otro lado $E[e|X]=0$ está garantizado por la regresión. Así es como funciona la regresión: estimará los residuos de tal manera que esto se mantenga.