Es $R^2_{adjusted}$ tanto imparcial y coherente bajo la alternativa en la regresión simple?

Question

Considere la posibilidad de un modelo de regresión simple $$ y_i = \beta_0 + \beta_1 x_i + \varepsilon_i. $$ y supongo que es el modelo correcto para los datos. Hasta donde yo sé, $R^2_{adjusted}$ es un estimador imparcial de la población $R^2$ bajo la hipótesis nula de que $\beta_1=0$. Creo que es coherente, también.

Preguntas:

1. Es $R^2_{adjusted}$ un estimador imparcial de la población $R^2$ bajo la alternativa que $\beta_1\neq 0$?
2. Es coherente?

Answer 1

Como resultado preliminar, $R^2_{adjusted}$ es de hecho imparcial bajo nulo, al menos en error a la normalidad.

A partir de esta pregunta tenemos que $$ R^2\sim Beta(1/2,(n-2)/2) $$ bajo nulo en el presente ajuste de una regresión simple ($k=2$). Por lo tanto, su media es $$ E(R^2)=\frac{1}{n-1} $$ de modo que, a partir de $$ R^2_{ajustado}=1-(1-R^2)\frac{n-1}{n-2}, $$ nos encontramos $$ E(R^2_{ajustado})=1-(1-E(R^2))\frac{n-1}{n-2}=0 $$ De hecho, este resultado no depende de la regresión simple caso, como $R^2\sim Beta((k-1)/2,(n-k)/2)$ en general, por lo que el $E(R^2)=(k-1)/(n-1)$ y $$ E\left(1-(1-R^2)\frac{n-1}{n-k}\right)=0. $$

As to consistency, it is given for any vector $\beta$: escribir $$ R^2=1-\frac{\hat{u}'\hat{u}/n}{\tilde{y}'\tilde{y}/n} $$ con $\tilde{y}$ que denotan menosprecio $y$s, standard leyes de los grandes números nos dan que muestra las desviaciones de forma consistente la estimación de varianzas de la población, $\hat{u}'\hat{u}/n\to_p\sigma^2_u$$\tilde{y}'\tilde{y}/n\to_p\sigma^2_y$.

Por lo tanto, por Slutzky del teorema, $$ R^2\to_p1-\frac{\sigma^2_u}{\sigma^2_y}, $$ es decir, (al menos lo que yo considero), la población de $R^2$. Desde $R^2_{adjusted}-R^2=o_p(1)$, lo mismo es cierto para $R^2_{adjusted}$.

Como para la media de $R^2_{adjusted}$ bajo la alternativa, este hilo parece útil. Se establece un noncentral distribución beta para $R^2$ bajo la alternativa. No he sido capaz de utilizar los resultados como estos para decir algo preciso acerca de $E(R^2)$.

En cualquier caso, este pequeño simulación sugiere que la respuesta es no:

reps <- 10000
adj.R2 <- rep(NA,reps)
beta <- 1
n <- 10

V.u <- 2
V.x <- 3
for (i in 1:reps){
  u <- rnorm(n, sd=sqrt(V.u))
  x <- rnorm(n, sd=sqrt(V.x))
  y <- beta*x + u
  adj.R2[i] <- summary(lm(y~x))$adj.r.squared
}

Resultado:

> mean(adj.R2)
[1] 0.5444916

> (pop.R2 <- 1-V.u/(beta^2*V.x+V.u))
[1] 0.6