Demostración del teorema de Gauss-Markov

Question

Teorema: Dejemos que $Y=X\beta+\varepsilon$ donde $$Y\in\mathcal M_{n\times 1}(\mathbb R),$$ $$X\in \mathcal M_{n\times p}(\mathbb R),$$ $$\beta\in\mathcal M_{n\times 1}(\mathbb R ),$$ y $$\varepsilon\in\mathcal M_{n\times 1}(\mathbb R ).$$

Suponemos que $X$ tiene rango completo $p$ y que $$\mathbb E[\varepsilon]=0\quad\text{and}\quad \text{Var}(\varepsilon)=\sigma ^2I.$$ Entonces, el estimador de mínimos cuadrados (es decir $\hat\beta=(X^TX)^{-1}X^Ty$ ) es el mejor estimador insesgado de $\beta$ es decir, para cualquier estimador lineal insesgado $\tilde\beta$ de $\beta$ , se sostiene que $$\text{Var}(\tilde\beta)-\text{Var}(\hat\beta)\geq 0.$$

Prueba

Dejemos que $\tilde\beta$ un estimador lineal insesgado, es decir $$\tilde\beta=AY\ \ \text{for some }A_{n\times p}\quad\text{and}\quad\mathbb E[\tilde\beta]=\beta\text{ for all }\beta\in\mathbb R ^p.$$

Preguntas :

1) Por qué $\mathbb E[\tilde\beta]=\beta$ para todos $\beta$ No entiendo muy bien este punto. Para mí $\beta$ es fijo, por lo que $\mathbb E[\tilde\beta]=\beta$ para todos $\beta$ no tiene realmente sentido.

2) En realidad, ¿cuál es la diferencia entre el estimador de mínimos cuadrados y el de máxima verosimilitud? Ambos son $\hat\beta=(X^TX)^{-1}X^Ty$ Así que no veo realmente (si son lo mismo), por qué dar dos nombres diferentes.

Answer 1

El Teorema de Gauss-Markov nos dice en realidad que en un modelo de regresión, donde el valor esperado de nuestros términos de error es cero, $E(\epsilon_{i}) = 0$ y la varianza de los términos de error es constante y finita $\sigma^{2}(\epsilon_{i}) = \sigma^{2} < \infty$ y $\epsilon_{i}$ y $\epsilon_{j}$ no están correlacionados para todos los i y j el estimador de mínimos cuadrados $b_{0}$ y $b_{1}$ son insesgados y tienen una varianza mínima entre todos los estimadores lineales insesgados. Nótese que puede haber estimadores sesgados que tengan una varianza aún menor.

Puede encontrar amplia información sobre el Teorema de Gauss-Markov, como la demostración matemática del Teorema de Gauss-Markov, aquí http://economictheoryblog.com/2015/02/26/markov_theorem/

Sin embargo, si quiere saber qué supuesto es necesario para $b1$ sea un estimador insesgado para $\beta1$ Supongo que los supuestos 1 a 4 del siguiente post ( http://economictheoryblog.com/2015/04/01/ols_assumptions/ ) debe cumplirse para tener un estimador insesgado.

Además, es cierto que el estimador de máxima verosimilitud y el de mínimos cuadrados son equivalentes bajo ciertas condiciones, es decir, si el ruido $\epsilon$ tiene una distribución gaussiana.

Espero que esto ayude.

HTH

Answer 2

El teorema de Gauss-Markov establece que, bajo los supuestos habituales, el estimador OLS $\beta_{OLS}$ es BLUE (Best Linear Unbiased Estimator). Para demostrarlo, tomemos un estimador lineal insesgado arbitrario $\bar{\beta}$ de $\beta$ . Como es lineal, podemos escribir $\bar{\beta} = Cy$ en el modelo $y = \beta X + \varepsilon$ . Además, es necesariamente imparcial, $\mathbb{E} [ \bar{\beta} ] =C\mathbb{E}[y] = CX\beta= \beta$ que sólo se mantiene cuando $CX=I$ con $I$ la matriz de identidad.

Entonces: \begin{align*} \operatorname{Var}[\bar{\beta}] &= \operatorname{Var}[Cy] \\ &= C \operatorname{Var}[y]C'\\ &= \sigma^2 CC' \\ &\geq \sigma^2 CP_XC' \\ &= \sigma^2 CX(X'X)^{-1}X'C' \\ &= \sigma^2 (X'X)^{-1} \\ &= \operatorname{Var}[\beta_{OLS}] \end{align*} Donde $P_X$ es la matriz de proyección, $P_X = X(X'X)^{-1}X'$ .

Answer 3

1) La condición $\mathbb{E}[\tilde{\beta}]=\beta$ es simplemente la condición "el estimador es insesgado" en forma matemática. Digamos que estamos considerando el estimador de mínimos cuadrados, entonces $$ \begin{align} \mathbb{E}[\hat{\beta}] &= \mathbb{E}[(X^{\rm T}X)^{-1}X^{\rm T}Y]\\ &= \mathbb{E}[(X^{\rm T}X)^{-1}X^{\rm T}X\beta+\epsilon]\\ &= \beta, \end{align} $$ y por tanto el estimador de mínimos cuadrados es insesgado. Por cierto, hay que suponer que el ruido es de media cero. Así que no todos los estimadores de la forma $\tilde{\beta}=AY+D$ es imparcial.

2) La máxima verosimilitud y los mínimos cuadrados son equivalentes bajo ciertas condiciones, es decir, si se asume que el ruido $\epsilon$ es gaussiano. Si cambias eso, no serán lo mismo.