¿Cuál es la relación entre los coeficientes de correlación y coeficientes de regresión en la regresión múltiple?

Question

Considere el modelo $ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \epsilon$.

1. ¿Cuál es la relación entre los coeficientes de correlación $r_{y,x_1}$, $r_{y,x_2}$ y los coeficientes de regresión $\beta_1$$\beta_2$?

2. En particular, la forma de interpretar una situación en la que un determinado coeficiente de correlación es estadísticamente significativa, pero el correspondiente coeficiente de regresión no es estadísticamente significativa?

3. Recuerdo la lectura de un concepto llamado "los coeficientes de correlación parcial". Es que de alguna manera relevante en el contexto anterior?

Answer 1

Supongamos que la variable $x_1$ $x_2$ están centrados, esto hará las cosas más fáciles (nada impide hacer eso antes de hacer su regresión). Entonces, es fácil ver que:

$r_{y, x_1}\sigma_y=\beta_1\sigma_{x_1} + \beta_2r_{x_1, x_2} \sigma_{x_2}$

y

$r_{y, x_2}\sigma_y=\beta_2\sigma_{x_2} + \beta_1r_{x_1, x_2} \sigma_{x_1}$

Por lo tanto, la relación también implica desviaciones estándar de los términos y la correlación entre el$x_1$$x_2$.

Esto debe responder a su segunda pregunta. Por ejemplo, si $r_{x_1, x_2}=1$$x_1 = x_2$, cualquier solución de $\beta_1\sigma_{x_1} + \beta_2r_{x_1, x_2} \sigma_{x_2} = \sigma_y$ conduce a la misma modelo lineal para $y$. Como consecuencia, $\beta_1$ (o $\beta_2$) puede tomar valores arbitrarios (lo cual va a depender de la implementación numérica de la regresión lineal que se esté usando).

Mirando el valor de $r_{x_1, x_2}$ es entonces fundamental antes de realizar cualquier relación entre el$r_{y, x_i}$$\beta_1, \beta_2$.