regresión vs correlación: la motivación para usar cada una

Question

Se trata de una pregunta suave, que busca sobre todo la intuición.

He intentado hacer un modelo lineal de dos variables. Observa que los valores p son significativos (<0,05), pero los valores R^2 no lo son. Como se trata de una ecuación lineal con dos predictores, entonces la ecuación es básicamente un plano.

Mis preguntas son:

1. ¿Qué significa este tipo de resultado? Significativo pero es R^2 no es (subjetivamente) bueno.
2. ¿Cuál sería la motivación para utilizar un modelo de regresión frente a la simple comparación de correlaciones? (Lo sé, la correlación es simplemente la relación entre dos variables en ausencia de una tercera variable).

Answer 1

Aquí están algunos de mis conocimientos sobre las regresiones OLS:

(1) R al cuadrado no es un valor p, sino un estadístico calculado a partir de la muestra, por lo que no debe interpretarse como el valor p de la regresión. En el resultado de tu regresión, la prueba F resulta ser significativa al 5%, lo que es una prueba bastante buena de que tu R al cuadrado no está tan cerca de ser insignificante. (Un poco más de detalle, esta prueba F está muy vinculada a R al cuadrado. Ver este post ¿Cuál es la relación entre $R^2$ y la prueba F? )

Una R cuadrada del 20% aproximadamente no está mal en un estudio transversal o de panel, pero es bastante horrible en un análisis de series temporales. Esto se debe a que los datos transversales son mucho más heterogéneos y las variaciones idiosincrásicas dentro de los datos (o SSR si se prefiere) dominan las variaciones totales dentro de los datos, lo que conduce a un R cuadrado bajo.

Sin embargo, estamos contentos de aceptar esta R cuadrada subjetivamente más baja porque el objetivo no es explicar la variación de los datos perfectamente, sino buscar factores comunes que tengan un efecto similar en la mayoría de las entidades del conjunto de datos.

En su caso, la prueba F es significativa al nivel del 5%, lo que sugiere que este modelo funciona significativamente mejor que un modelo con sólo una constante. Esto demuestra que las variables independientes explican en cierta medida las variaciones de la variable dependiente, de modo que la R al cuadrado no es cero.

(2) Una de las ventajas del modelo de regresión es que permite cuantificar el efecto de cada factor individual considerando también las interacciones entre los factores. En una regresión se pueden interpretar los resultados como efectos marginales. Por ejemplo, un aumento de una unidad en X1 se asocia por término medio a un aumento de 20,7 unidades en Y, ceteris paribus .

La motivación de utilizar la correlación es probablemente por su simplicidad. Como medida bruta de cómo un par de variables se mueven linealmente entre sí, suele funcionar. Sin embargo, no tiene en cuenta las interacciones entre las variables, y no se puede interpretar el efecto marginal.

Además, R al cuadrado es el cuadrado de la correlación de la variable dependiente y el valor ajustado de la regresión.