Es $R^2$ ¿útil o peligroso?

Question

Estaba hojeando algunas notas de clase por Cosma Shalizi (en particular, la sección 2.1.1 del segunda conferencia ), y me recordaron que se puede obtener un nivel muy bajo $R^2$ incluso cuando se tiene un modelo completamente lineal.

Parafraseando el ejemplo de Shalizi: supongamos que tenemos un modelo $Y = aX + \epsilon$ , donde $a$ es conocido. Entonces $\newcommand{\Var}{\mathrm{Var}}\Var[Y] = a^2 \Var[x] + \Var[\epsilon]$ y la cantidad de varianza explicada es $a^2 \Var[X]$ Así que $R^2 = \frac{a^2 \Var[x]}{a^2 \Var[X] + \Var[\epsilon]}$ . Esto va a 0 como $\Var[X] \rightarrow 0$ y a 1 como $\Var[X] \rightarrow \infty$ .

A la inversa, puedes drogarte $R^2$ incluso cuando su modelo es notablemente no lineal. (¿Alguien tiene un buen ejemplo de antemano?)

Entonces, ¿cuándo es $R^2$ una estadística útil, y cuándo debe ser ignorada?

Answer 1

Para abordar la primera pregunta Considere el modelo

$$Y = X + \sin(X) + \varepsilon$$

con iid $\varepsilon$ de media cero y varianza finita. Como el rango de $X$ (considerado como fijo o aleatorio) aumenta, $R^2$ es 1. Sin embargo, si la varianza de $\varepsilon$ es pequeño (alrededor de 1 o menos), los datos son "notablemente no lineales". En los gráficos, $var(\varepsilon)=1$ .

Por cierto, una forma fácil de conseguir un pequeño $R^2$ es cortar las variables independientes en rangos estrechos. La regresión (utilizando exactamente el mismo modelo ) dentro de cada rango tendrá una baja $R^2$ incluso cuando la regresión completa basada en todos los datos tiene un $R^2$ . Contemplar esta situación es un ejercicio informativo y una buena preparación para la segunda pregunta.

Los dos gráficos siguientes utilizan los mismos datos. El $R^2$ para la regresión completa es de 0,86. La dirección $R^2$ para los cortes (de ancho 1/2 de -5/2 a 5/2) son .16, .18, .07, .14, .08, .17, .20, .12, .01, .00, leyendo de izquierda a derecha. En todo caso, los ajustes obtienen mejor en la situación de rebanada porque las 10 líneas separadas pueden ajustarse más a los datos dentro de sus estrechos rangos. Aunque el $R^2$ para todas las rebanadas están muy por debajo del $R^2$ ni el fuerza de la relación, el linealidad ni de hecho cualquier aspecto de los datos (excepto el rango de $X$ utilizado para la regresión) ha cambiado.

(Se podría objetar que este procedimiento de corte cambia la distribución de $X$ . Es cierto, pero sin embargo se corresponde con el uso más común de $R^2$ en los modelos de efectos fijos y revela el grado en que $R^2$ nos habla de la varianza de $X$ en la situación de efectos aleatorios. En particular, cuando $X$ se limita a variar dentro de un intervalo menor de su rango natural, $R^2$ suele caer).

El problema básico de $R^2$ es que depende de demasiadas cosas (incluso cuando se ajusta en la regresión múltiple), pero sobre todo de la varianza de las variables independientes y de la varianza de los residuos. Normalmente nos dice nada sobre la "linealidad" o la "fuerza de la relación" o incluso la "bondad del ajuste" para comparar una secuencia de modelos.

La mayoría de las veces se puede encontrar una estadística mejor que $R^2$ . Para la selección del modelo se puede recurrir al AIC y al BIC; para expresar la adecuación de un modelo, hay que fijarse en la varianza de los residuos.

Esto nos lleva finalmente a la segunda pregunta . Una situación en la que $R^2$ puede tener alguna utilidad es cuando las variables independientes se fijan en valores estándar, controlando esencialmente el efecto de su varianza. En ese caso, $1 - R^2$ es en realidad una aproximación a la varianza de los residuos, convenientemente estandarizada.

Answer 2

Su ejemplo sólo se aplica cuando la variable $\newcommand{\Var}{\mathrm{Var}}X$ debe estar en el modelo . Desde luego, no se aplica cuando se utilizan las estimaciones habituales por mínimos cuadrados. Para ver esto, observe que si estimamos $a$ por mínimos cuadrados en su ejemplo, obtenemos:

$$\hat{a}=\frac{\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}}{\frac{1}{N}\sum_{i=1}^{N}X_{i}^{2}}=\frac{\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}}{s_{X}^{2}+\overline{X}^{2}}$$ Donde $s_{X}^2=\frac{1}{N}\sum_{i=1}^{N}(X_{i}-\overline{X})^{2}$ es la varianza (muestral) de $X$ y $\overline{X}=\frac{1}{N}\sum_{i=1}^{N}X_{i}$ es la media (muestral) de $X$

$$\hat{a}^{2}\Var[X]=\hat{a}^{2}s_{X}^{2}=\frac{\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2}{s_{X}^2}\left(\frac{s_{X}^{2}}{s_{X}^{2}+\overline{X}^{2}}\right)^2$$

Ahora el segundo término es siempre menor que $1$ (igual a $1$ en el límite) por lo que obtenemos un límite superior por la contribución a $R^2$ de la variable $X$ :

$$\hat{a}^{2}\Var[X]\leq \frac{\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2}{s_{X}^2}$$

Y así, a menos que $\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2\to\infty$ también, veremos realmente $R^2\to 0$ como $s_{X}^{2}\to\infty$ (porque el numerador va a cero, pero el denominador va a $\Var[\epsilon]>0$ ). Además, podemos obtener $R^2$ convergiendo a algo intermedio $0$ y $1$ dependiendo de la rapidez con la que los dos términos divergen. Ahora bien, el término anterior divergirá generalmente más rápido que $s_{X}^2$ si $X$ debe estar en el modelo, y más lento si $X$ no debería estar en el modelo. En ambos casos $R^2$ va en las direcciones correctas.

Y también hay que tener en cuenta que para cualquier conjunto de datos finito (es decir, real) nunca podemos tener $R^2=1$ a menos que todos los errores sean exactamente cero. Esto indica básicamente que $R^2$ es una medida relativa, más que absoluta. Pues a no ser que $R^2$ es en realidad igual a $1$ siempre podemos encontrar un modelo que se ajuste mejor. Este es probablemente el aspecto "peligroso" de $R^2$ en el sentido de que, al estar escalado para estar entre $0$ y $1$ parece que podemos interpetarlo en un sentido absoluto.

Probablemente sea más útil fijarse en la rapidez con la que $R^2$ disminuye a medida que se añaden variables al modelo. Y por último, pero no menos importante, nunca debe ser ignorado en la selección de variables, ya que $R^2$ es efectivamente una estadística suficiente para la selección de variables - contiene toda la información sobre la selección de variables que hay en los datos. Lo único que se necesita es elegir el $R^2$ que corresponde al "ajuste de los errores", que suele depender del tamaño de la muestra y del número de variables.

Answer 3

Si puedo añadir un ejemplo de cuando $R^2$ es peligroso. Hace muchos años estaba trabajando en algunos datos biométricos y siendo joven y tonto me alegré cuando encontré algunos datos estadísticamente significativos $R^2$ valores para mis regresiones de fantasía que había construido utilizando funciones por pasos. Sólo cuando miré hacia atrás, después de mi presentación ante una gran audiencia internacional, me di cuenta de que, dada la enorme varianza de los datos -combinada con la posible mala representación de la muestra con respecto a la población-, un $R^2$ de 0,02 no tiene ningún sentido aunque sea "estadísticamente significativo"...

Los que trabajan con estadísticas tienen que entender los datos.

Answer 4

Cuando se tiene un único predictor $R^{2}$ se interpreta exactamente como la proporción de variación en $Y$ que se puede explicar por la lineal relación con $X$ . Esta interpretación debe ser tenida en cuenta al examinar el valor de $R^2$ .

Puedes conseguir un gran $R^2$ de una relación no lineal sólo cuando la relación se acerca a la lineal. Por ejemplo, supongamos que $Y = e^{X} + \varepsilon$ donde $X \sim {\rm Uniform}(2,3)$ y $\varepsilon \sim N(0,1)$ . Si se hace el cálculo de

$$R^{2} = {\rm cor}(X, e^{X} + \varepsilon)^{2}$$

encontrará que está alrededor de $.914$ (Sólo lo he aproximado por simulación) a pesar de que la relación no es claramente lineal. La razón es que $e^{X}$ se parece mucho a una función lineal sobre el intervalo $(2,3)$ .

Answer 5

Una situación que querría evitar $R^2$ es la regresión múltiple, en la que añadir variables predictoras irrelevantes al modelo puede, en algunos casos, aumentar $R^2$ . Esto se puede solucionar utilizando el ajustado $R^2$ calculado como

$\bar{R}^2 = 1 - (1-R^2)\frac{n-1}{n-p-1}$ donde $n$ es el número de muestras de datos, y $p$ es el número de regresores sin contar el término constante.