¿Cuál es la diferencia entre parcialidad e incoherencia?

Question

Estoy tratando de aprender sobre el sesgo en la regresión lineal simple. Específicamente, quiero ver qué sucede cuando el $cov(e,x) = 0$ se viola la hipótesis de la regresión simple.

Si se viola esta suposición, llego a

\begin {Ecuación} \hat { \beta }_1 \rightarrow \beta_1 + \frac {{cov(e,x)}}{{var(x)}}. \end {Ecuación}

Esta derivación es de esta página web (ecuaciones 1 a 6). La página web dice

Si cov(e,x) =\= 0, el estimador OLS es inconsistente, es decir, su valor no converge al verdadero valor del parámetro con el tamaño de la muestra. Además, el estimador MCO está sesgado.

Para mí, está claro que $\hat{\beta}_1$ converge a un valor que no es el verdadero $\beta_1$ Así que que lo hace sesgado. Sin embargo, la página web parece concluir que esto lo hace inconsistente. De alguna manera, concluyen que el estimador está sesgado, pero no estoy seguro (simplemente utilizan "además").

Así que aquí están mis preguntas:

1. ¿Cuál es la diferencia entre parcialidad e incoherencia en este caso? (Cuando concluyen que es incoherente, yo concluyo que es tendencioso).
2. ¿Tiene sentido decir que $\beta_1$ está sesgada? O bien, ¿puede sólo un estimador $\hat{\beta_1}$ ser parcial?
3. Si el $cov(e,x) = 0$ se viola el supuesto, ¿cómo puedo averiguar qué ocurre con la varianza de $\hat{\beta}_1$ ? ¿Puedo saber si aumenta o disminuye?

EDITAR Para aclarar la pregunta 3, me pregunto si hay una prueba/argumento para:

Cuando el segundo supuesto ( $cov(e,x) = 0$ ) de los mínimos cuadrados ordinarios, la varianza de $\hat{\beta_1}$ cambios.

La única respuesta que se me ocurre es utilizar el resultado del sesgo de las variables omitidas. Es decir, comparando $var(\hat{\beta_1})$ y $var(\tilde{\beta_1})$ utilizando las ecuaciones

\begin {alinear} var( \hat { \beta_1 }) = \sigma ^2/[SST_1(1-R_1^2)] \end {align}

\begin {alinear} var( \tilde { \beta_1 }) = \sigma ^2/SST_1. \end {align}

El argumento completo para el caso de la variable omitida proviene del texto de Wooldridge.

Dado que tener una variable omitida es suficiente para violar $cov(e,x) = 0$ ¿es suficiente el argumento dado por Wooldridge para demostrar que la varianza es menor de lo que sería si $cov(e,x) = 0$ ¿es cierto?

(Si mi entendimiento es correcto, creo que $\tilde{\beta_1}$ es el caso que viola la suposición. $\hat{\beta_1}$ es el caso "verdadero").

Answer 1

Hago algunas suposiciones adicionales y simplifico las notaciones, nada de lo cual debería causar confusión. Supongamos, para simplificar, que los datos se generan según $Y = \beta X + \epsilon$ donde todas las variables son $\mathbb R-$ valorado y $\epsilon$ tiene media y varianza cero $\sigma^2$ . Supongamos que $X$ tiene los momentos necesarios. Tenemos $n$ copias independientes del par $(Y, X)$ ; $x = [x_1, \dots, x_n]'$ y $y = [y_1,\dots, y_n]'$ .

El estimador OLS de $\beta$ es

\begin {align} \hat { \beta } &=y'x / x'x \\ &= (x \beta + e)'x/x'x \\ & = \beta + \frac {e'x}{x'x} \\ &= \beta + \frac { \frac {1}{n} \sum_i \epsilon_i x_i}{ \frac {1}{n} \sum_i x_i^2} \end {align}

donde $e = [\epsilon_1, \dots, \epsilon_n]'$ . La afirmación de que esto se acerca $\beta + {\rm Cov}(X, \epsilon) / {\rm Var}(X)$ como $n\to\infty$ suele ser en el sentido de convergencia en probabilidad. Según las definiciones estándar, un estimador es consistente si converge en probabilidad al verdadero valor del parámetro, es decir, en este caso si $\hat{\beta} \to \beta$ en la probabilidad. Aquí, tenemos un término extra, en general no nulo, en el lado derecho por lo que el estimador es inconsistente .

Por otro lado, decimos que $\hat{\beta}$ es insesgada si $\mathbb E \hat{\beta} = \beta$ . Esta afirmación no tiene nada que ver con la convergencia. De todos modos, la expectativa del lado derecho es de nuevo $\beta$ + algún término que no es cero en general. Por lo tanto, $\hat{\beta}$ también es parcial. Esto responde a la primera pregunta.

En cuanto a la segunda pregunta, observe que el sesgo suele considerarse una propiedad de los estimadores, y $\beta$ es desconocido, por lo que no es un estimador. Por lo tanto, no tiene sentido hablar del sesgo de $\beta$ . Si somos liberales en el uso de la parcialidad y dejamos que se aplique a cualquier cosa, vemos que $\mathbb E \beta = \beta$ para que sea "imparcial".

Sin más suposiciones sobre la dependencia entre $X$ y $\epsilon$ realmente no hay manera de saber cuál es la respuesta a la tres, creo. Debo decir que no he tenido tiempo de hacer los cálculos, así que puedo estar equivocado.

A la luz de la discusión en las otras respuestas: Si uno declara una nueva definición de consistencia en términos de la varianza que se acerca a cero, no veo cómo la inconsistencia bajo el supuesto ${\rm Cov}(X, \epsilon) \neq 0$ puede ser confirmado o refutado sin más suposiciones. También es importante señalar que la consistencia en la definición estándar no dice nada sobre la disminución de la varianza o la disminución del sesgo. Son conceptos distintos y no deben mezclarse.

Answer 2

He aquí un ejemplo.

Suponga que tiene un conjunto de n puntos de datos de una distribución normal. Suponemos que las observaciones son independientes.

$$ X_1, X_2, \cdots, X_n \sim N(\mu,\sigma^2) $$

Queremos estimar $\mu$ . La forma habitual es una media muestral $\overline{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$ . El estimador de la media de la muestra $(\hat{\mu} = \overline{x})$ es consistente e insesgada para la distribución normal. Sin embargo, podríamos definir otros estimadores, por ejemplo, podríamos utilizar simplemente la última observación para nuestra estimación de la media $(\hat{\mu} = x_n)$ .

La media de la muestra $\overline{x}$ es un estimador insesgado y consistente para $\mu$ . El estimador del "último valor $x_n$ es insesgado pero no consistente, el valor esperado de este estimador es $\mu$ pero la varianza no disminuye con más observaciones.

La parcialidad y la coherencia no están directamente relacionadas. Ninguno implica al otro.

Sin embargo, si el sesgo sigue siendo distinto de cero y no disminuye con más observaciones, el estimador debe ser incoherente.

En el documento que nos ha proporcionado, el autor demostró que el estimador tenía un sesgo no nulo que no disminuye con $n$ .

No tiene sentido llamar sesgado a un parámetro o a un estimador. Un estimador está sesgado con respecto a un parámetro.

Answer 3

1. Esta es una definición citada de la página 30 de este PDF escrito por el mismo autor ( Página web de Rubaszek ) del PDF de su enlace:

   "Estimadores consistentes: para N -> infinito, la varianza converge a 0"

   La coherencia parece referirse a la varianza (del estimador).

   El sesgo parece ser sobre el valor (del estimador).

   Puedo imaginar un procedimiento de estimación en el que la varianza (del estimador) converge a 0 aunque el valor (del estimador) no converge a su valor poblacional, y viceversa.

2. Teóricamente, existen procedimientos de estimación que producen estimadores cuya varianza oscila eternamente a medida que N -> infinito.

3. Un parámetro poblacional como $\beta_1$ se toma como el verdadero valor. No puede estar sesgado. Técnicamente hablando, lo que está sesgado es el propio procedimiento de estimación, no el valor (como $\hat{\beta_1}$ ) que produce.

Answer 4

Cuando la distribución asintótica de $\hat \beta_1$ se concentra sobre el valor real de $\beta_1$ se dice que es consistente. Esta concentración significa que, en el límite (a medida que el tamaño de la muestra crece), nuestro estimador tiene un sesgo y una varianza nulos, ya que la distribución muestral colapsa en torno al valor real. Esto significa que la consistencia puede ser considerada como el equivalente a la insesgadez en muestras grandes.

Sólo los estimadores pueden estar sesgados. Del mismo modo, no tiene sentido hablar de la varianza de $\beta_1$ .