Coeficiente inestable en la regresión sin alta correlación entre las variables

Question

Estoy estimando una regresión lineal: $Y=f(X_1,X_2,X_3,X_4,X_5)$ . Mi prueba muestra que cuando la ecuación incluye $X_4$ y $X_5$ sólo, $X_4$ no es estadísticamente significativo ( $t$ -valor=1,26). Sin embargo, cuando $X_1$ , $X_2$ y $X_3$ su importancia aumenta hasta el nivel significativo ( $t$ -valor =2,36). En otras palabras, la importancia de $X_4$ depende de la presencia de $X_1$ , $X_2$ y $X_3$ en el modelo.

He comprobado la correlación entre $X_4$ y $X_1$ , $X_2$ y $X_3$ . Las correlaciones bivariadas entre ellas son todas inferiores a 0,5. Si lo entiendo bien, la multicolinealidad no debería ser un problema con ese nivel de correlación.

Mi pregunta es: ¿Debo eliminar X4 de mi modelo final? Si no, ¿cómo debo explicar su importancia?

Answer 1

Hay varias cosas que podrían estar pasando aquí:

En primer lugar, la multicolinealidad no puede evaluarse basándose únicamente en las correlaciones bivariadas. Consideremos el caso en el que x1, x2 y x3 se generan como vanriables aleatorias normales independientes y x4 es la suma de x1, x2 y x3. Hay una colinealidad definida con x4, pero las colineidades bivariadas no son fuertes (hice un ejemplo rápido y las correlaciones oscilaron entre 0,55 y 0,63). Así que debería utilizar una medida de colinealidad mejor que las correlaciones bivariadas.

Dos, puede ser que x1, x2 y x3 expliquen bastante la variación de la variable de respuesta y sean independientes de x4, de modo que sin x1-x3 el tamaño del efecto de x4 es pequeño en comparación con la variación residual, pero cuando se incluye x1-x3 la variación residual es mucho menor y el tamaño del efecto de x4 se mantiene más o menos igual, pero ahora es grande en relación con la variación residual y, por tanto, significativo.

Probablemente también haya otras explicaciones. Deberías explorar realmente tus datos y todas las relaciones, y luego también considerar la ciencia que hay detrás de los datos, el modelo a utilizar debería ser el que tenga más sentido científicamente.