En la regresión simple, cuando $Y$ también se estandariza, además de estandarizar en $X$ la pendiente se convierte simplemente en el coeficiente de correlación de la muestra entre $X$ y $Y$ , $S_{X,Y}$ . Para ver esto, observe lo siguiente:
En la regresión simple, no hay un término constante en el modelo, por lo que éste es siempre cero (es decir $\hat{\beta}_0=0$ ). Para determinar la forma de la pendiente, tenemos que establecer la notación y luego hacer el álgebra. En el modelo estandarizado, como no hay término de intercepción, la matriz del modelo es simplemente un vector de su $X$ -(es decir, no hay ninguna columna de 1 que represente el término de intercepción en la regresión no estandarizada). En otras palabras, $\boldsymbol{X}$ aquí hay un vector 1-D de su estandarizado $X$ -valores:
\begin{eqnarray*} \boldsymbol{X} & = & \frac{1}{S_{X}}\begin{bmatrix}X_{1}-X\\ X_{2}-\bar{X}\\ \vdots\\ X_{n}-\bar{X} \end{bmatrix} \end{eqnarray*}
Dónde $S_x$ es la desviación estándar de la muestra del $X$ -valores. Se demuestra fácilmente que:
\begin{eqnarray} \boldsymbol{X^{\prime}X} & = & \boldsymbol{r_{XX}} \end{eqnarray}
donde $\boldsymbol{r_{XX}}$ es la matriz de correlación. Pero como siempre hay una correlación perfecta entre $X$ y ella misma es 1, $\boldsymbol{r_{XX}}=1$ .
Ahora, las ecuaciones normales de mínimos cuadrados se escriben como
\begin{eqnarray*} \boldsymbol{X^{\prime}X}\boldsymbol{b} & = & \boldsymbol{X^{\prime}Y} \end{eqnarray*}
o utilizando el resultado anterior, que $\boldsymbol{X^{\prime}X}=\boldsymbol{r_{XX}}=1$ Esto se reduce a:
\begin{eqnarray*} \boldsymbol{b} & = & \boldsymbol{X^{\prime}Y} \end{eqnarray*}
Así que todo lo que queda por hacer es encontrar la forma de $\boldsymbol{X^{\prime}Y}$ para obtener la estimación de $\hat{\beta_1}$ .
\begin{eqnarray*} \boldsymbol{X^{\prime}Y} & = & \frac{1}{S_{X}}\begin{bmatrix}X_{1}-\bar{X} & X_{2}-\bar{X} & \cdots & X_{n}-\bar{X}\end{bmatrix}\frac{1}{S_{Y}}\begin{bmatrix}Y_{1} -Y\\ Y_{2}-\bar{Y}\N- Y \Y_2}-barra{Y} Y_{n}-bar{Y} \fin{bmatrix} & = & \frac{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)\left(Y_{i}-\bar{Y}\right)}{(n-1)S_{X}S_{Y}}\\ & = & \boldsymbol{r_{XY}} \N - fin{eqnarray*}
Así que vemos cuando ambos $X$ y $Y$ están estandarizados, el $\boldsymbol{X^{\prime}Y}=\boldsymbol{r_{XY}}$ que no es más que el coeficiente de correlación en la regresión simple. Así que, en este caso, $\hat{\beta}_1$ es el coeficiente de correlación entre el $X$ y $Y$ .
Podemos comprobar estos resultados en R :
#Generate some data
x<-rnorm(10, 5, 3)
y<-rnorm(10, 18, 2)
#Standardize x and y
x.standardized<-scale(x)
y.standardized<-scale(y)
#Compute estimated regression coefficients with both x and y standardized
betas.hats<-lm(y.standardized~x.standardized)$coeff
round(betas.hats, 5)
(Intercept) x.standardized
0.00000 0.60224
#Verify that beta_1 = correlation(x,y)
round(cor(x,y), 5)
[1] 0.60224
