Es posible que $R^2$ a una regresión de dos variables sea mayor que la suma de $R^2$, para las dos regresiones de las variables individuales?

Question

En la OPERACIÓN, es posible que el $R^2$ a una regresión de dos variables sea mayor que la suma de $R^2$, para las dos regresiones de las variables individuales.

$R^2(Y \sim A + B) > R^2(Y \sim A) + R^2(Y \sim B) $

Edit: Ugh, esto es trivial; que es lo que me pasa por tratar a los problemas de los problemas que pensé, mientras que en el gimnasio. Lo siento por la pérdida de tiempo de nuevo. La respuesta es claramente sí.

$ Y \sim N(0,1)$

$ A \sim N(0,1)$

$ B = Y - A $

$R^2(Y \sim A + B) = 1$, claramente. Pero $R^2(Y \sim A)$ debe ser 0 en el límite y $R^2 (Y \sim B)$ debe ser de 0,5 en el límite.

Answer 1

No es posible. Por otra parte, si a y B son correlacionados a todos (si su r es distinto de cero), el rsq de la regresión en tanto será menor que la suma de sus efectos individuales de las regresiones' rsq.

Tenga en cuenta que incluso si a y B son completamente correlacionadas, ajustado rsq (que penalizan para un caso bajo-a-predictor de relación) puede ser ligeramente diferente entre las dos soluciones.

Tal vez te gustaría compartir más acerca de la evidencia empírica que se le cruzó.

Answer 2

Aquí un poco de R que establece una semilla aleatoria, que será el resultado de un conjunto de datos que muestra en acción.

set.seed(103)

d <- data.frame(y=rnorm(20, 0, 1),
                a=rnorm(20, 0, 1),
                b=rnorm(20, 0, 1))

m1 <- lm(y~a, data=d)
m2 <- lm(y~b, data=d)
m3 <- lm(y~a+b, data=d)

r2.a <- summary(m1)[["r.squared"]]
r2.b <- summary(m2)[["r.squared"]]
r2.sum <- summary(m3)[["r.squared"]]

r2.sum > r2.a + r2.b

No sólo es posible (como ya has demostrado analíticamente) no es difícil de hacer. 3 variables normalmente distribuidas, que parece suceder alrededor del 40% del tiempo.