¿Existe una explicación intuitiva de por qué la multicolinealidad es un problema en la regresión lineal?

Question

El wiki discute los problemas que surgen cuando multicolinealidad es un problema en la regresión lineal. El problema básico es que la multicolinealidad resulta en estimaciones de parámetros inestables, lo que hace muy difícil evaluar el efecto de las variables independientes sobre las variables dependientes.

Entiendo las razones técnicas detrás de los problemas (puede que no se pueda invertir $X' X$, $X' X$ mal condicionada, etc.) pero estoy buscando una explicación más intuitiva (¿quizás geométrica?) para este problema.

¿Existe una explicación geométrica o tal vez algún otro tipo de explicación fácil de entender sobre por qué la multicolinealidad es problemática en el contexto de la regresión lineal?

Answer 1

Consideremos el caso más simple en el que $Y$ se regresa contra $X$ y $Z$ y donde $X$ y $Z$ están altamente correlacionados positivamente. Entonces, el efecto de $X$ en $Y$ es difícil de distinguir del efecto de $Z$ en $Y porque cualquier aumento en $X tiende a estar asociado con un aumento en $Z.

Otra forma de ver esto es considerar la ecuación. Si escribimos $Y = b_0 + b_1X + b_2Z + e$, entonces el coeficiente $b_1$ es el aumento en $Y$ por cada incremento unitario en $X$ manteniendo $Z$ constante. Pero en la práctica, a menudo es imposible mantener $Z$ constante y la correlación positiva entre $X$ y $Z significa que un incremento unitario en $X por lo general viene acompañado de un aumento en $Z al mismo tiempo.

Una explicación similar pero más complicada se aplica a otras formas de multicolinealidad.

Answer 2

Una vez estaba comiendo sushi y pensé que podría ser una buena demostración intuitiva de problemas mal condicionados. Supongamos que quieres mostrarle a alguien un plano usando dos palos que se tocan en sus bases.

Probablemente sostendrías los palos de manera perpendicular entre sí. El efecto de cualquier tipo de temblor de tus manos en el plano hace que se tambalee un poco alrededor de lo que esperabas mostrar a la gente, pero después de observarte durante un rato, se hacen una buena idea del plano que intentabas demostrar.

Pero digamos que acercas los extremos de los palos y observas el efecto del temblor de tus manos. El plano que formará se inclinará de manera mucho más salvaje. Tu audiencia tendrá que mirar más tiempo para tener una buena idea del plano que estás tratando de demostrar.

Answer 3

El enfoque geométrico consiste en considerar la proyección de mínimos cuadrados de $Y$ sobre el espacio generado por $X$.

Supongamos que tienes un modelo:

$E[Y | X] = \beta_{1} X_{1} + \beta_{2} X_{2}$

Nuestro espacio de estimación es el plano determinado por los vectores $X_{1}$ y $X_{2}$ y el problema es encontrar coordenadas que correspondan a $(\beta_{1}, \beta_{2})$ que describirán al vector $\hat{Y}$, una proyección de mínimos cuadrados de $Y$ en ese plano.

Ahora supongamos que $X_{1} = 2 X_{2}$, es decir, son colineales. Entonces, el subespacio determinado por $X_{1}$ y $X_{2}$ es solo una línea y tenemos solo un grado de libertad. Por lo tanto, no podemos determinar dos valores $\beta_{1}$ y $\beta_{2}$ como se nos pedía.

Answer 4

Dos personas están empujando una roca cuesta arriba. Quieres saber cuán fuerte está empujando cada uno de ellos. Supongamos que los ves empujar juntos durante diez minutos y la roca se mueve 10 pies. ¿Hizo el primer hombre todo el trabajo y el segundo simplemente lo fingió? ¿O viceversa? ¿O 50-50? Dado que ambas fuerzas están trabajando exactamente al mismo tiempo, no puedes separar la fuerza de cada uno por separado. Todo lo que puedes decir es que su fuerza combinada es de 1 pie por minuto.

Ahora imagina que el primer hombre empuja durante un minuto solo, luego nueve minutos con el segundo hombre, y un minuto final solo el segundo hombre empujando. Ahora puedes usar estimaciones de fuerzas en los primeros y últimos minutos para averiguar la fuerza de cada persona por separado. Aunque todavía están trabajando en gran medida al mismo tiempo, el hecho de que haya una pequeña diferencia te permite obtener estimaciones de la fuerza para cada uno.

Si vieras a cada hombre empujando independientemente durante diez minutos completos, eso te daría estimaciones más precisas de las fuerzas que si hubiera una gran superposición en las fuerzas.

Dejo como ejercicio para el lector extender este caso a un hombre empujando cuesta arriba y el otro cuesta abajo (todavía funciona).

La multicolinealidad perfecta te impide estimar las fuerzas por separado; la multicolinealidad cercana te da mayores errores estándar.

Answer 5

La forma en que pienso en esto realmente es en términos de información. Digamos que cada uno de $X_{1}$ y $X_{2}$ tiene cierta información sobre $Y$. Cuanto más correlacionados estén $X_{1}$ y $X_{2}$ entre sí, más se superponen la información de $Y$ de $X_{1}$ y $X_{2}$, hasta el punto de que para $X_{1}$ y $X_{2}$ perfectamente correlacionados, realmente es la misma información. Si ahora colocamos $X_{1}$ y $X_{2}$ en el mismo modelo (de regresión) para explicar $Y$, el modelo intenta "distribuir" la información que ($X_{1}$,$X_{2}$) contiene sobre $Y$ a cada uno de $X_{1}$ y $X_{2}$, de una manera algo arbitraria. No hay una forma realmente buena de distribuir esto, ya que cualquier división de la información aún conlleva a mantener la información total de ($X_{1}$,$X_{2}$) en el modelo (para $X$'s perfectamente correlacionados, esto realmente es un caso de no identificabilidad). Esto conduce a estimaciones individuales inestables para los coeficientes individuales de $X_{1}$ y $X_{2}$, aunque si se observan los valores predichos $b_{1}X_{1}+b_{2}X_{2}$ en muchas ejecuciones y estimaciones de $b_{1}$ y $b_{2}$, estos serán bastante estables.