Cómo leer el efecto de la Interacción en la regresión lineal múltiple con el continuo regresores?

Question

Si la interacción que ocurre entre un continuous y discrete variable es (si no me equivoco) de forma relativamente sencilla. La expresión matemática es:

$Y=β_0+β_1X_1+β_2X_2+β_3X_1∗X_2+\epsilon$

Así que si tomamos mi favorito dataset mtcars{datasets} en R, y llevamos a cabo la siguiente regresión:

(fit <- lm(mpg ~ wt * am, mtcars))

Call:
lm(formula = mpg ~ wt * am, data = mtcars)

Coefficients:
(Intercept)           wt           am        wt:am  
     31.416       -3.786       14.878       -5.298  

am, que ficticio-códigos para el tipo de transmisión en el coche, am Transmission (0 = automatic, 1 = manual) nos dará una intercepción de 31.416 para manual (0), y 31.416 + 14.878 = 46.294 para automatic (1). La pendiente de peso es -3.786. Y para la interacción, cuando am es 1 (automático), la regresión de la expresión se ha añadido plazo, $-5.298*1*\text {weight}$, que se sumarán a $-3.786*\text {weight}$, lo que resulta en una pendiente de $-9.084*\text {weight}$. Así que estamos cambiando la pendiente con la interacción.

Pero cuando se trata de dos continuous variables que interactúan, son realmente podemos crear un número infinito de pistas? ¿Cómo expresar la salida sin cursi frases como "la pendiente se obtendría con los coches que peso $0\,\text{lbs.}$ o $1\,\text{lb.}$? Por ejemplo, tomar las variables explicativas wt (peso) y hp (caballos de fuerza) y el regressand mpg (millas por galón):

(fit <- lm(mpg ~ wt * hp, mtcars))

Call:
lm(formula = mpg ~ wt * hp, data = mtcars)

Coefficients:
(Intercept)           wt           hp        wt:hp  
   49.80842     -8.21662     -0.12010      0.02785

¿Cómo podemos leer la salida? No parece haber una sola intercepción 49.80842, mientras que tendría sentido tener dos diferentes interceptos para dar flexibilidad para el ajuste, como en el anterior escenario (¿qué me estoy perdiendo?). Tenemos una pendiente para wt y una pendiente para hp (-8.21662 -0.12010 = -8.33672, ¿es esto correcto?). Y, finalmente, la más intrigante 0.02785. Así que, sí, estamos limitados a la expresión de este absurdo escenarios, como si tuviéramos coches con $1\text{hp}$ tendríamos una modificación de la pendiente para el peso igual a $(-8.21662 + 0.02785)*1*\text{weight}$? O hay forma más sensata de mirar este término?

SOLUCIÓN:

[Nota rápida, segura para saltar: le agradezco mucho las respuestas y la ayuda que prestan, y que se acepte - es bastante difícil con tales Respuestas pendientes, aunque. Así que por favor no tome esta edición como algo más que una manera de compartir lo que he estado haciendo por un rato esta mañana: básicamente a cortar lejos en el R coeficientes hasta que conseguí lo que quería, porque a pesar de la generosa ayuda prestada todavía no podía "ver" cómo uno de los coef trabajado. Además, todo esto preferente serán borrados a la brevedad.]

Podemos "demostrar" cómo estos coeficientes "trabajo" simplemente tomando el primero de los valores de mpg, wt y hp, lo que viene a ser para el glamoroso Mazda RX4:

crédito aquí

Estos son:

          mpg cyl disp  hp drat   wt  qsec vs am gear carb
Mazda RX4  21   6  160 110  3.9 2.62 16.46  0  1    4    4

Y simplemente ejecute predict(fit)[1] Mazda RX4, que devuelve un $\hat y$ valor de $23.09547$. No importa qué, tengo que reorganizar el coeficiente para obtener este número - todas las permutaciones posibles si es necesario! No es broma. Aquí está:

coef(fit)[1] + (coef(fit)[2] * mtcars$wt[1]) + (coef(fit)[3] * mtcars$hp[1]) + (coef(fit)[4] * mtcars$wt[1] * mtcars$hp[1]) $= 23.09547$.

La expresión matemática es:

$\small \hat Y=\hat β_0 (=1^{st}\,\text{coef})\,+\,\hatβ_1 (=2^{nd}\,\text{coef})\,*wt \,+\, \hatβ_2 (=3^{rd}\,\text{coef})\,*hp \,+\, [\hatβ_3(=4^{th}\,\text{coef})\, *wt\,∗\,hp]$

Así que, como se señala en las respuestas, sólo hay una intersección (el primer coeficiente), pero hay dos "privado" pistas: una para cada variable explicativa, además de una "compartida" de la pendiente. Esta inclinación permite la obtención de uncountably infinito pendientes si nos "zip" a través de $\mathbb{R}$ para todos los teóricamente posibles realizaciones de una de las variables, y en cualquier momento los podemos combinar ($+$) "compartida" coeficiente de veces que el resto de variable aleatoria (por ejemplo, para hp = 100, sería 0.02785 * 100 * wt) con su "privado" pendiente (-8.21662 * wt). Me pregunto si me puede llamar a un convolución...

También podemos ver que esta es la correcta interpretación ejecutando:

y <- coef(fit)[1] + (coef(fit)[2] * mtcars$wt[1]) + (coef(fit)[3] * mtcars$hp[1]) + (coef(fit)[4] * mtcars$wt[1] * mtcars$hp[1])
identical(as.numeric(predict(fit)[1]), as.numeric(y)) TRUE

Haber redescubierto la rueda vemos que el "compartir" coeficiente es positivo (0.02785), dejando un cabo suelto, ahora, cuál es la explicación de por qué el peso del vehículo, como un predictor de "gas-guzzliness" se almacenan en la memoria para mayores de caballos de los coches de motor... podemos ver este efecto (gracias @Glen_b por la punta) con el $3\,D$ trama de los valores previstos en este modelo de regresión, la cual cumple con las siguientes parabólico hyperboloid:

Answer 1

No parece haber una sola intercepción 49.80842, mientras que tendría sentido tener dos diferentes interceptos

No, por lo general no tendría sentido tener dos intercepciones; que sólo tiene sentido cuando se tiene un factor con dos niveles (y aún entonces, sólo si consideramos que la relación de la celebración de los niveles del factor constante).

La población interceptar, estrictamente hablando, es $E(Y)$ para la población de modelo cuando todos los predictores son 0, y la estimación de que es lo que nuestros armarios valor es cuando todos los predictores son cero.

En ese sentido, si se tiene el factor de variables o variables numéricas - sólo hay una intersección de la ecuación general.

A menos que usted está considerando diferentes partes del modelo como independientes de las ecuaciones.

Imagine que disponemos de un factor con tres niveles, y una variable continua - por ahora sin la interacción:

Para la ecuación como un todo, hay una intercepción, pero si usted piensa en ello como una relación diferente dentro de cada subgrupo (nivel del factor), hay tres, uno para cada nivel del factor ($a$) -- mediante la consideración de un valor específico de $a$, obtenemos una específica línea recta que se desplaza por el efecto de la $a$, dando una intersección diferente para cada grupo.

Pero ahora vamos a considerar la relación con $a$. Ahora, para cada nivel de $a$ si $x$ no tuvo impacto, no iba a ser muy simple relación de $E(Y|a=j)=\mu_j$. Hay una intercepción, la línea base (o si concebirlo de esa manera, tres, uno para cada subgrupo -- donde la intersección sería el valor promedio en ese subgrupo).

(nota: puede ser difícil ver aquí, pero los medios no están igualmente espaciados; no ser tentado por esta parcela de pensar de $y$ lineal en $a$ considera como una variable numérica.)

Pero ahora, si tenemos en cuenta $x$ tiene un impacto y de ver la relación en un específico valor de $x$ ($x=x_0$), como una función de $a$, $E(Y|a=j)=\mu_j(x_0)$ -- cada grupo tiene un medio diferente, pero los medios se desplazan por el efecto de la $x$$x_0$.

Así que esa sería una de intersección (el punto negro si es el grupo de referencia) ... en cada valor de $x$.

Para cada uno de infinito número de valores diferentes que $x$ podría tomar, hay una nueva intersección.

Así que dependiendo de cómo se mire, hay una intersección, o tres, o un número infinito... pero no dos.

Ahora bien, si se introduce un $x:a$ interacción, nada cambia, pero las pistas! Todavía podemos concebir esto como una intersección, o tal vez tres, o tal vez un número infinito.

---

Entonces, ¿cómo todo esto se relacionan dos variables numéricas?

A pesar de que no tienen en este caso, imagino que los niveles de $a$ fueron numérico y que el modelo ajustado fue lineal en $a$ (quizás $a$ es discreto, como el número de teléfonos de la propiedad colectiva de un hogar). [es decir, ahora estamos haciendo lo que he dicho anteriormente de no hacerlo, teniendo la $a$ a ser numérico y (condicional) relacionadas linealmente $y$]

A continuación, nos gustaría tener una intercepción en el sentido estricto, el valor que toma el modelo al $x=a=0$ (aunque ni de la variable es 0 en nuestro ejemplo), o uno para cada posible valor que toma la $a$ (en nuestra muestra, los tres valores diferentes ocurrido, pero quizá 0, 4, 5 ... también son posibles), o uno para cada valor que toma la $x$ (a una infinidad de posibles valores desde $x$ es discreta). No importa si nuestro modelo tiene una interacción, no cambia que la consideración acerca de cómo contamos intercepta.

---

Entonces, ¿cómo podemos interpretar el término de interacción cuando ambas variables son numéricas?

Se puede considerar como una diferente de la pendiente en la relación entre el$y$$x$, en cada una de las $a$ (tres pendientes diferentes en todo, uno para la línea de base y dos más a través de la interacción), o se puede considerar como una pendiente distinta entre el $y$ e (el ahora numérico) $a$ a cada valor de $x$.

Ahora si reemplazamos esta ahora numérico pero discretos $a$ con un continuo de la variable aleatoria, que tendría un número infinito de pistas para los de uno-a-uno, las relaciones, uno a cada valor de la tercera variable.

De hecho dicen que como mucho en tu pregunta, por supuesto.

estamos limitados a la expresión de este absurdo escenarios, como si tuviéramos coches con 1hp tendríamos una modificación de la pendiente para que el peso es igual a (-8.21662+0.02785)∗1∗peso? O hay forma más sensata de mirar este término?

Seguro que no es, considerar los valores más parecido a la media. Así que para una relación típica entre el mpg y wt, mantenga caballos de potencia a un valor cercano a la media. A ver cuánto la pendiente de los cambios, considerar dos valores de potencia, uno por debajo de la media y por encima.

Donde la variable los valores no son especialmente significativos en sí mismos (como resultado en algunos de Likert escala de un instrumento basado en el decir) usted puede ir hacia arriba o hacia abajo por una desviación estándar en la tercera variable, o de la recogida de la inferior y el cuartil superior.

Donde son significativos (como hp) usted puede escoger dos más o menos los valores típicos (100 y 200 parecer sensato opciones de hp para el mtcars de datos, y si usted también quiere mirar algo cerca de la media, 150 servirá bastante bien, pero usted puede elegir un valor típico para un determinado tipo de coche para cada elección en su lugar)

Así que usted podría dibujar una cocina equipada mpg-vs-wt línea para un coche de 100 cv y 150 cv coche y un 200 hp coche. Usted puede también dibujar un mpg-vs-hp línea para un coche que pesa 2.0 (que es de 2,0 mil libras) y 4.0 o (o 2,5 y 3,5 si quieres algo más cerca de cuartiles).

Answer 2

Salida

Coefficients:
(Intercept)           wt           hp        wt:hp  
   49.80842     -8.21662     -0.12010      0.02785  

¿Cómo podemos leer esta salida? ... Tenemos un pendiente para el peso y una pendiente para hp (-8.21662 -0.12010 = -8.33672, ¿es esto correcto?).

Nope. Algunos cálculos debe confirmar que la derivada de la mpg con respecto a wt, que es el único tipo de pendiente, usted debe estar interesado en, es

-8.21662 + 0.02785 x hp

Que toda la expresión es el aumento esperado en mpg de aumento wt por uno. Igualmente, el derivado de la mpg con respecto a hp es

-8.21662 + 0.02785 x wt

debido a que las interacciones son simétricas.

Así que, sí, estamos limitados a la expresión de este absurdo escenarios, como si tuviéramos coches con 1hp tendríamos una modificación de la pendiente para que el peso es igual a (-8.21662+0.02785) * 1 * peso? O hay forma más sensata de mirar este término?

No estoy seguro de lo que quieres decir aquí. Si usted está preocupado acerca de hablar sobre los coches con cero hp o wt o lo que sea, entonces es probablemente más fácil para redefinir las variables a tener un cero que es más significativo.

Por ejemplo, restar el Mazda RX4 de cada fila. Ahora usted tiene un rotativo con motor de principios de los años setenta punto cero para comparar. Es decir, que no están teniendo en cuenta los coches con un hp de uno, sino de turismos hp mayor que la de un Mazda RX4.

Answer 3

La forma más fácil es echar un vistazo a los diferentes cuantiles de una de las variables de interés, dependiendo de la pregunta de investigación. Suponiendo que se desea conocer el efecto de una unidad adicional de caballos de potencia en las millas por galón de un coche de usa, nos fijamos en la distribución del peso y la use, por ejemplo, los percentiles 1, 10, 25, 50, 75, 90 y 99. Para cada uno de estos percentiles de calcular el efecto de hp en mpg.

Sobre los términos de interacción y de los padres de variables (variables de las que se interactuó) Chipman poner el principio de la Herencia (http://arxiv.org/abs/bayes-an/9510001). Básicamente se distingue entre fuertes y débiles de la herencia, dependiendo mucho de los padres de las variables incluidas en la regresión. Desde un punto de vista estadístico también sería correcto solo agregue el término de interacción, sin que las propias variables. Pero esto hace que los resultados de difícil (o imposible) para interpretar.