¿Qué significa "todo lo demás igual" significa, en la regresión múltiple?

Question

Cuando hacemos las regresiones múltiples y dicen que estamos buscando en el cambio promedio en la $y$ variable para un cambio en una $x$ variable, manteniendo todas las otras variables constantes, ¿qué valores estamos manteniendo las otras variables se mantiene constante? Su media? Cero? Cualquier valor?

Estoy inclinado a pensar que en cualquier valor; sólo en busca de una aclaración. Si alguien tenía una prueba, que sería demasiado grande.

Answer 1

Estás en lo correcto. Técnicamente, es de ningún valor. Sin embargo, cuando enseño este que les digo a las personas que usted está consiguiendo el efecto de un cambio de unidad en $X_j$ cuando todas las otras variables se llevan a cabo en sus respectivos medios. Creo que esta es una forma común de explicar que no es específico para mí.

Normalmente voy a mencionar que si usted no tiene ningún interacciones medicamentosas, $\beta_j$ será el efecto de un cambio de unidad en $X_j$, no importa lo que los valores de las otras variables. Pero me gustaría comenzar con la media de la formulación. La razón es que hay dos efectos de la inclusión de múltiples variables en un modelo de regresión. En primer lugar, el efecto de $X_j$ el control de las otras variables (véase mi respuesta aquí). La segunda es que la presencia de las otras variables (normalmente) se reduce la varianza residual del modelo, haciendo las variables (incluyendo $X_j$) 'más importantes'. Es difícil para la gente a entender cómo funciona esto, si el resto de variables tienen valores que están por todo el lugar. Que parece que sería aumentar la variabilidad de alguna manera. Si usted piensa de ajuste de los datos de cada punto hacia arriba o hacia abajo el valor de la otra variable hasta que todo el resto de la $X$ variables han sido trasladados a sus respectivos medios, es fácil ver que el residual de la variabilidad se ha reducido.

No entiendo a las interacciones hasta una clase o dos después de que haya introducido los conceptos básicos de la regresión múltiple. Sin embargo, cuando me pongo a ellos, yo regreso a este material. Lo anterior se aplica cuando no son las interacciones. Cuando hay interacciones, es más complicado. En ese caso, la interacción de la variable[s] se mantiene constante (muy particular) en $0$, y en ningún otro valor.

Si quieres ver cómo esto se desempeña de manera algebraica, es bastante sencillo. Se puede empezar con la no-interacción caso. Vamos a determinar el cambio en $\hat Y$ cuando todas las otras variables se mantiene constante en sus respectivos medios. Sin pérdida de generalidad, supongamos que hay tres $X$ variables y estamos interesados en la comprensión de cómo el cambio en $\hat Y$ está asociado con una unidad de cambio en $X_3$, manteniendo $X_1$ $X_2$ constante en sus respectivos medios:

$$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$$

Ahora es obvio que le podría haber puesto cualquier valor en $X_1$ $X_2$ en las dos primeras ecuaciones, siempre ponemos el mismo valor para $X_1$ ($X_2$) en dos de ellos. Es decir, mientras estamos sosteniendo $X_1$ $X_2$ constante.

Por otro lado, no funciona de esta manera si usted tiene una interacción. Aquí os muestro el caso donde hay un $X_1X_3$ término de interacción:

$$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$$

En este caso, no es posible mantener todo lo demás constante. Debido a que el término de interacción es una función de $X_1$$X_3$, no es posible el cambio de $X_3$ sin el término de interacción cambiando también. Por lo tanto, $\hat\beta_3$ es igual a la variación en $\hat Y$ asociado con una unidad de cambio en $X_3$ sólo cuando la interacción de la variable ($X_1$) se mantiene en $0$ en lugar de $\bar X_1$ (o cualquier otro valor, sino $0$), en cuyo caso el último término en la parte inferior de la ecuación de gotas.

En esta discusión, me he centrado en las interacciones, pero más en general, el problema es cuando hay alguna variable que está en función de otra que no es posible cambiar el valor de la primera sin cambiar el valor correspondiente de la otra variable. En tales casos, el significado de $\hat\beta_j$ se vuelve más complicado. Por ejemplo, si usted tenía un modelo con $X_j$$X_j^2$, $\hat\beta_j$ es el derivado $\frac{dY}{dX_j}$ manteniendo todo lo demás igual, y la celebración de $X_j=0$ (ver mi respuesta aquí). Otros, todavía más complicadas fórmulas también son posibles.

Answer 2

La matemática es simple, solo hay que tomar la diferencia entre los 2 modelos con una de las variables x cambiado por 1 y verás que no importa lo que el resto de variables son (dado que no hay interacciones medicamentosas, polinomio, o de otras complicaciones términos).

Un ejemplo:

$y_{[1]} = b_0 + b_1 \times x_1 + b_2 \times x_2$

$y_{[2]} = b_0 + b_1 \times (x_1 + 1) + b_2 \times x_2$

$y_{[2]} - y_{[1]} = b_0 - b_0 + b_1\times x_1 - b_1\times x_1 + b_1 \times 1 + b_2 \times x_2 - b_2 \times x_2 = b_1$

Answer 3

Creo que usted se refiere a la dependencia en el covariables ($X_i$). Así que si el modelo es $$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$$ el efecto de la $X_i$ $Y$ a igualdad de otras circunstancias serían $\frac{\Delta{Y}}{\Delta{X_i}}$ cualquier $\Delta{X_i}$ con todos los otros $X_j$ mantiene constante en cualquier valor.

Tenga en cuenta que es posible que $X_1$ $X_2$ son dependientes (por ejemplo, las funciones de cada uno de los otros), sin que necesariamente muestran una interacción significativa en el modelo lineal ( $\beta_{12}=0$ $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$ ).

Así como una interesante tangente he aquí un ejemplo: Deje $X_1\sim N(0,\sigma_1^2)$$X_2=X_1^{2}+N(0,\sigma_2^2)$, es evidente que cualquier cambio en $X_1$ afectarán $X_2$. Sin embargo, la covarianza entre los dos es cero. $$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$$ $$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$$ $$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$$

Así que, en realidad un cambio en $X_1$ estaría asociado con un cambio en $X_2$ y $\frac{\Delta{Y}}{\Delta{X_i}}$ no cubriría lo que realmente ocurriría si se altera $X_1$. Pero $\frac{\Delta{Y}}{\Delta{X_i}}$ todavía sería descrito como el efecto de la $X_i$ $Y$ todas las cosas en igualdad de condiciones.

Esto es comparable a la diferencia entre un derivado y un parcial de derivados (el análogo de la $\frac{\Delta{Y}}{\Delta{X_i}}$) en una ecuación diferencial.