Consistencia de los estimadores en la regresión lineal simple

Question

¿En qué condiciones son los estimadores $\beta_0$ y $\beta_1$ en la regresión lineal simple consistente?

He deducido que $S_{xx}$ debería ir al infinito a medida que n va al infinito, pero no llego más lejos.

¡Espero que me puedan ayudar!

Answer 1

Veremos $\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$ primero. La ley de los grandes números dice que $\bar{y}$ converge a $\text{E}(y) = \beta_0 + \beta_1 \text{E}(x)$ y si $\hat{\beta}_1 \to \beta_1$ entonces $\hat{\beta}_1 \bar{x}$ converge a $\beta_1 \text{E}(x)$ . Esto significa que $\hat{\beta}_0$ será coherente si $\hat{\beta}_1$ es. Ahora mirando $\hat{\beta}_1$ y asumiendo que todas las varianzas y covarianzas son finitas y bien definidas tenemos

\begin{align} \hat{\beta}_1 &= \frac{\sum_{i=1}^{n} (y_i - \bar{y})(x_i - \bar{x})}{\sum_{i=1}^{n}(x_i - \bar{x})^2} \\ &\to \frac{\text{Cov}(y, x)}{\text{Var}(x)} \\ &= \frac{\text{Cov}(\beta_0 + \beta_1 x + \epsilon, x)}{\text{Var}(x)} \\ &= \beta_1 + \frac{\text{Cov}(\epsilon, x)}{\text{Var}(x)} \end{align}

que es igual a $\beta_1$ siempre y cuando $\text{Cov}(\epsilon, x) = 0$ .

Para demostrar la afirmación más fuerte de que los estimadores son consistentes en el cuadrado medio podemos empezar con la matriz de covarianza de la varianza para $(\hat{\beta}_0, \hat{\beta}_1)$ que es igual a $\sigma^2 (X^T X)^{-1}$ . Aquí $X$ es la matriz de datos y para la regresión lineal simple es simplemente $[1 ; x]$ donde $1$ es un vector de unos y $x = (x_1, x_2, \ldots, x_n)$ es el conjunto de predictores. Si pasamos por el álgebra lineal obtenemos

$$ (X^T X)^{-1} = \begin{bmatrix} n^{-1} \sum_{i=1}^{n} x_i^2 & - \bar{x} \\ - \bar{x} & 1 \end{bmatrix} \frac{1}{\sum_{i=1}^{n} x_i^2 - n \bar{x}^2} $$

y el denominador $\sum_{i=1}^{n} x_i^2 - n \bar{x}^2$ no es más que la suma de los cuadrados de $x$ . Esto significa que mientras $\sum_{i=1}^{n} (x_i - \bar{x})^2 \to \infty$ como $n \to \infty$ cada elemento de esta matriz es cero, incluyendo los elementos diagonales.

Answer 2

Consideremos la situación clásica en la que se supone que el modelo verdadero es de la forma

$y = \beta_0 + \beta_1x + u$ con $E[u] = 0$ . En este caso, el estimador OLS convergerá asintóticamente a $\beta_0$ y $\beta_1$ siempre que $E[xu] = 0$

Si te refieres a la consistencia en el sentido de la convergencia a los parámetros de la mejor aproximación lineal a $E[y|x]$ entonces todo lo que necesitas es que los datos que obtienes, $(y_i,x_i)$ es iid.