4 votos

¿Por qué $R^2$ sea negativo en una regresión múltiple que no tenga intercepto ( $\hat{\beta}_0 = 0$ )?

He visto esta respuesta ( https://stats.stackexchange.com/a/6374/27969 ) que decía que $R^2$ puede ser negativo si se define como $1-\frac{SSR}{SST}$ . SSR es la suma de los residuos al cuadrado que se define como

\begin{align} SSR &= \displaystyle\sum\limits_{i=1}^n (y_i - \hat{y}_{i})^2 \\ &= \displaystyle\sum\limits_{i=1}^n (y_i - \hat{\beta_1} x_{i1} - \hat{\beta_2} x_{i2} - \ldots - \hat{\beta_k} x_{ik} )^2 \\ \end{align}

cuando no hay intercepto, y SST es la suma total de cuadrados, o

\begin{align} SST &= \displaystyle\sum\limits_{i=1}^n (y_i - \bar{y})^2 \\ \end{align}

También SSE, o la suma de cuadrados explicada, es

\begin{align} SSE &= \displaystyle\sum\limits_{i=1}^n (\bar{y} - \hat{y}_i)^2 \end{align}

en la notación de mi libro. Acabo de llegar a la sección de mi libro de texto que menciona esto también y estoy confundido. ¿Por qué es cierto?

Esto es lo que he podido averiguar. Sé que

\begin{align} R^2 &= 1-\frac{SSR}{SST} \\ \end{align}

Así que para $R^2 < 0$ necesitamos $\frac{SSR}{SST} > 1$ . Esto es lo que he calculado:

\begin{align} SSR &> SST \\ \displaystyle\sum\limits_{i=1}^n (y_i - \hat{y}_{i})^2 &> \displaystyle\sum\limits_{i=1}^n (y_i - \bar{y}_{i})^2 \\ \end{align}

Esta es la prueba que he intentado elaborar:

\begin{align} SSR &> SST \\ SSR &> \displaystyle\sum\limits_{i=1}^n (y_i - \bar{y})^2 \\ &> \displaystyle\sum\limits_{i=1}^n \left[ (y_i - \hat{y}_i) - (\bar{y} - \hat{y}_i)\right]^2 \\ &> \displaystyle\sum\limits_{i=1}^n (y_i - \hat{y}_i)^2 - 2\displaystyle\sum\limits_{i=1}^n (y_i - \hat{y}_i)(\bar{y} - \hat{y}_i) - \displaystyle\sum\limits_{i=1}^n (\bar{y}_i - \hat{y}_i)^2 \\ &> SSR - 2\bar{y}\displaystyle\sum\limits_{i=1}^n (y_i - \hat{y}_i) + 2\displaystyle\sum\limits_{i=1}^n \hat{y}_i(y_i - \hat{y}_i) - \displaystyle\sum\limits_{i=1}^n (\bar{y} - \hat{y}_i)^2 \\ &> SSR - 2\bar{y}\displaystyle\sum\limits_{i=1}^n (y_i - \hat{y}_i) + 2\displaystyle\sum\limits_{i=1}^n \hat{y}_i(y_i - \hat{y}_i) - SSE \\ 0 &> -2\bar{y}\displaystyle\sum\limits_{i=1}^n (y_i - \hat{y}_i) + 2\displaystyle\sum\limits_{i=1}^n \hat{y}_i(y_i - \hat{y}_i) - SSE \\ SSE &> -2\bar{y}\displaystyle\sum\limits_{i=1}^n (y_i - \hat{y}_i) + 2\displaystyle\sum\limits_{i=1}^n \hat{y}_i(y_i - \hat{y}_i) \\ \end{align}

Aquí es donde me atasco. ¿Está la prueba en el camino correcto, o hay algún error antes de quedarme atascado? Pistas sería genial.

Empiezo a entender por qué esto es así lógicamente. SSR es la suma de los cuadrados de las distancias de los puntos a la recta de regresión, mientras que SST es la suma de los cuadrados de las distancias de los puntos a una recta trazada a través de $\bar{y}$ . $R^2$ es negativo porque $SSR > SST$ lo que significa que, dado que imponemos la limitación de que la línea de regresión DEBE pasar por el origen, nuestra línea de regresión es un ajuste aún peor que si simplemente trazáramos una línea horizontal en $y =\bar{y}$ y lo usé. Las distancias de los puntos a la recta de regresión son mayores que las distancias de los puntos a la recta en $\bar{y}$ (de acuerdo, la suma de los cuadrados de las distancias es mayor). ¿Es ésta la lógica correcta?

3voto

Pere Puntos 658

Como usted ha dicho, el problema es que no siempre es cierto que $R^2<0$ cuando no hay intercepción y, por lo tanto, sólo tiene que encontrar y ejemplo para demostrar que $R^2$ puede ser inferior a 0.

Sólo propongo un ejemplo extremo en el que $SSR>SST$ :

Residuals for y=1

En cualquier muestra con y=constante y $\bar x$ diferente de 0, $SSR>0$ (los cuadrados de las líneas azules del gráfico) mientras que $SST=0$ . Obsérvese que si consideráramos un intercepto, la recta de regresión sería horizontal y $SSR$ también sería igual a cero.

0voto

Aksakal Puntos 11351

El papel de un intercepto en una regresión es capturar la media de los errores $\varepsilon_i$ de modo que $E[\varepsilon_i]=0$ y $E[X\varepsilon_i]=0$ . Aquí tenemos $y=X\beta+\varepsilon$ o $y=c+\tilde X\beta+\varepsilon$ donde $c$ es un intercepto y $\tilde X$ - regresores de buena fe. Esto es muy conveniente, porque ahora $E[y]=c+E[\tilde X\beta]$ .

Esto también permite descomponer la suma total de cuadrados TTS de la siguiente manera: $$var[y]=var[X\beta+\varepsilon]=var[X\beta]+var[\varepsilon]$$ Entonces obtendrá $$E[y^2]=E[(X\beta)^2]+\sigma^2$$ porque $E[y]=E[X\beta]$ . Esta es tu ecuación R cuadrado: TTS = RSS + SSE.

Cuando se elimina el intercepto, las dos primeras expectativas no son cero, y la TTS no cuadra como a uno le gustaría.

-1voto

Hace poco encontré en LinkedIn la ilustración adjunta con dos ejemplos. El tema era sobre dos tipos de R2: centrado, que se enseña en la escuela, y R2 no centrado. Se mostró, que el paquete estadístico R cambia a este último para los modelos de intercepción cero, ya que éste es siempre positivo.

El R2 global no tiene por qué ser siempre inferior a cero. Sólo lo será si el modelo predice peor que sólo la media global (y ahí no tienes intercepto - no hay media global).

enter image description here No tengo derechos sobre esta foto Fuente: LinkedIn, publicado por Adrian Olszewski, no tengo derechos sobre esta imagen, solo la guardé en mi ordenador.

Sí, es difícil de leer, pero hay toda una discusión en LinkedIn, donde el Sr. Olszewski explica la forma en que R maneja esta situación. He compartido esto porque da dos ejemplos cuando el R2 centrado toma valor negativo. Esto habla a mi mente cuando lo veo. Los puntos fluctúan en y=10, por lo que la media global es más o menos así. Como forzamos a la línea a pasar por (0,0), el modelo funciona mucho peor que la media global y el R2 es -704. En la segunda imagen la situación es menos crítica, y aquí R2 = -0,86. Sé que esto no es una explicación, pero contiene dos ilustraciones.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X