Coeficiente de correlación y coeficiente de determinación

Question

Soy realmente nuevo en la regresión lineal y estoy tratando de enseñarme a mí mismo.

En mi libro de texto hay un problema que pregunta por qué $R^{2}$ en la regresión de $Y$ en $X =$ la correlación muestral entre X e Y el conjunto al cuadrado.

Llevo un rato tirándome los trastos a la cabeza y me sigo atascando porque en el coeficiente de correlación hay un $X$ y $\bar{X}$ plazo, mientras que en el $R^{2}$ término no existe.

¿Puede alguien proporcionar una derivación de por qué $R^{2}$ es el coeficiente de correlación al cuadrado?

Gracias.

Answer 1

Supongamos que tenemos $n$ observaciones $(x_1,y_1),\ldots,(x_n,y_n)$ de una regresión lineal simple $$ Y_i=\alpha+\beta x_i+\varepsilon_i, $$ donde $i=1,\ldots,n$ . Denotemos $\hat y_i=\hat\alpha+\hat\beta x_i$ pour $i=1,\ldots,n$ , donde $\hat\alpha$ y $\hat\beta$ son los estimadores por mínimos cuadrados ordinarios de los parámetros $\alpha$ y $\beta$ . El coeficiente de determinación $r^2$ se define por $$ r^2=\frac{\sum_{i=1}^n(\hat y_i-\bar y)^2}{\sum_{i=1}^n(y_i-\bar y)^2}. $$ Utilizando los hechos que $$ \hat\beta=\frac{\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)}{\sum_{i=1}^n(x_i-\bar x)^2} $$ et $\hat\alpha=\bar y-\hat\beta\bar x$ obtenemos \begin{align*} \sum_{i=1}^n(\hat y_i-\bar y)^2 &=\sum_{i=1}^n(\hat\alpha+\hat\beta x_i-\bar y)^2\\ &=\sum_{i=1}^n(\bar y-\hat\beta\bar x+\hat\beta x_i-\bar y)^2\\ &=\hat\beta^2\sum_{i=1}^n(x_i-\bar x)^2\\ &=\frac{[\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)]^2\sum_{i=1}^n(x_i-\bar x)^2}{[\sum_{i=1}^n(x_i-\bar x)^2]^2}\\ &=\frac{[\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)]^2}{\sum_{i=1}^n(x_i-\bar x)^2}. \end{align*} Por lo tanto, \begin{align*} r^2 &=\frac{\sum_{i=1}^n(\hat y_i-\bar y)^2}{\sum_{i=1}^n(y_i-\bar y)^2}\\ &=\frac{[\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)]^2}{\sum_{i=1}^n(x_i-\bar x)^2\sum_{i=1}^n(y_i-\bar y)^2}\\ &=\biggl(\frac{\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)}{\sqrt{\sum_{i=1}^n(x_i-\bar x)^2\sum_{i=1}^n(y_i-\bar y)^2}}\biggr)^2. \end{align*} Esto demuestra que el coeficiente de determinación de una regresión lineal simple es el cuadrado del coeficiente de correlación muestral de $(x_1,y_1),\ldots,(x_n,y_n)$ .

Answer 2

La prueba completa de cómo derivar el coeficiente de determinación $R^{2}$ del coeficiente de correlación de Pearson al cuadrado entre los valores observados $y_{i}$ y los valores ajustados $\hat{y}_{i}$ se puede encontrar en el siguiente enlace:

http://economictheoryblog.wordpress.com/2014/11/05/proof/

En mi opinión debería ser bastante fácil de entender, sólo hay que seguir los pasos simples.

Answer 3

Hay muchas formas de cálculo disponibles en línea (como la página de Wikipedia sobre el coeficiente de correlación http://en.wikipedia.org/wiki/Pearson_product-moment_correlation_coefficient#Pearson.27s_correlation_and_least_squares_regression_analysis ), pero tenga en cuenta que se trata de una propiedad algebraica mágica de mínimos cuadrados regresión lineal, no la regresión lineal en general.

Answer 4

Hay diferentes formas de expresar R2: Algunas expresiones tienen (X-Xbar) al cuadrado en el numerador, mientras que otras lo expresan sólo con el cuadrado de las ys predichas. Todas las formas son equivalentes.

Referencias: Dougherty; Gujarati; Wooldridge