Conversión de los betas normalizados en variables originales

Question

Soy consciente de que probablemente se trate de una pregunta muy sencilla, pero después de buscar no encuentro la respuesta que busco.

Tengo un problema en el que tengo que estandarizar las variables ejecutar la (regresión ridge) para calcular las estimaciones ridge de las betas.

A continuación, tengo que volver a convertirlos a la escala de variables original.

Pero, ¿cómo lo hago?

He encontrado una fórmula para el caso bivariante que

$$ \beta^* = \hat\beta \frac{S_x}{S_y} \>. $$

Esto se dio en D. Gujarati, Econometría básica página 175, fórmula (6.3.8).

Dónde $\beta^*$ son los estimadores de la regresión realizada sobre las variables estandarizadas y $\hat\beta$ es el mismo estimador convertido de nuevo a la escala original, $S_y$ es la desviación típica muestral del regresor, y $S_x$ es la desviación típica de la muestra.

Desgraciadamente, el libro no cubre el resultado análogo para la regresión múltiple.

Tampoco estoy seguro de entender el caso bivariante. Una simple manipulación algebraica da la fórmula para $\hat\beta$ en la escala original:

$$ \hat\beta=\beta^* \frac{S_y}{S_x} $$

Me parece impar que el $\hat\beta$ que se calcularon sobre variables que ya están deflactadas por $S_x$ tiene que ser desinflado por $S_x$ otra vez para volver a convertirlo? (¿Y por qué no se vuelven a añadir los valores medios?)

Entonces, ¿alguien puede explicar cómo hacer esto para un caso multivariante, idealmente con una derivación para que pueda entender el resultado?

Answer 1

Para el modelo de regresión que utiliza las variables estandarizadas, asumimos la siguiente forma para la recta de regresión

$$ \mathbb E[Y] =\beta_{0}+\sum_{j=1}^{k}\beta_{j}z_{j}, $$

donde $z_{j}$ es el j-ésimo regresor (estandarizado), generado a partir de $x_j$ restando la media muestral $\bar x_j$ y dividiendo por la desviación típica de la muestra $S_j$ : $$ z_j = \frac{x_j - \bar{x}_j}{S_j} $$

Realizando la regresión con los regresores estandarizados, obtenemos la recta de regresión ajustada:

$$ \hat Y = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}z_{j} $$

Ahora queremos encontrar los coeficientes de regresión para los predictores no estandarizados. Tenemos

$$ \hat Y = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{x_j - \bar{x}_j}{S_j}\right) $$

Reordenando, esta expresión puede escribirse como

$$ \hat Y = \left( \hat \beta_0 - \sum_{j=1}^k \hat \beta_j \frac{\bar x_j}{S_j} \right) + \sum_{j=1}^k \left(\frac{\hat \beta_j}{S_j}\right) x_j $$

Como podemos ver, el intercepto para la regresión utilizando las variables no transformadas viene dado por $ \hat \beta_0 - \sum_{j=1}^k \hat \beta_j \frac{\bar x_j}{S_j}$ . El coeficiente de regresión del $j$ -ésimo predictor es $\frac{\hat \beta_j}{S_j}$ .

En el caso presentado, he supuesto que sólo se habían estandarizado los predictores. Si también se estandariza la variable de respuesta, la transformación de los coeficientes de las covariables de nuevo a la escala original se hace utilizando la fórmula de la referencia que has dado. Tenemos:

$$ \frac{\mathbb E[Y] - \hat y}{S_y} =\beta_{0}+\sum_{j=1}^{k}\beta_{j}z_{j} $$

Realizando la regresión, obtenemos la ecuación de regresión ajustada

$$ \hat Y_{scaled} = \frac{\hat Y_{unscaled} - \bar y}{S_y} = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{x_j - \bar{x}_j}{S_j}\right), $$

donde los valores ajustados están en la escala de la respuesta normalizada. Para desescalarlos y recuperar las estimaciones de los coeficientes del modelo sin transformar, multiplicamos la ecuación por $S_y$ y traer la media muestral del $y$ al otro lado:

$$ \hat Y_{unscaled} = \hat \beta_0 S_y + \bar y +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{S_y}{S_j}\right) (x_j - \bar{x}_j). $$

El intercepto correspondiente al modelo en el que no se han estandarizado ni la respuesta ni los predictores viene dado, en consecuencia, por $ \hat \beta_0 S_y + \bar y - \sum_{j=1}^k \hat \beta_j \frac{S_y}{S_j}\bar x_j$ , mientras que los coeficientes de las covariables para el modelo de interés pueden obtenerse multiplicando cada coeficiente por $S_y / S_j$ .

Answer 2

Si estandariza tanto la matriz regresora como el vector de respuesta, entonces el vector de intercepción es cero. Véase la prueba: https://www.statlect.com/fundamentals-of-statistics/linear-regression-with-standardized-variables

Así que la forma asumida para la recta de regresión es incorrecta para el caso estandarizado.

No obstante, la derivación es correcta. Si establece el vector de intercepción en el resultado final a cero, convertirá los coeficientes de nuevo a la forma no estandarizada.