¿Existe una explicación intuitiva de por qué la multicolinealidad es un problema en la regresión lineal?

Question

El wiki discute los problemas que surgen cuando multicolinealidad es un problema en la regresión lineal. El problema básico es que la multicolinealidad resulta en estimaciones de parámetros inestables, lo que hace muy difícil evaluar el efecto de las variables independientes sobre las variables dependientes.

Entiendo las razones técnicas detrás de los problemas (puede que no se pueda invertir $X' X$, $X' X$ mal condicionada, etc.) pero estoy buscando una explicación más intuitiva (¿quizás geométrica?) para este problema.

¿Existe una explicación geométrica o tal vez algún otro tipo de explicación fácil de entender sobre por qué la multicolinealidad es problemática en el contexto de la regresión lineal?

Answer 1

Mi intuición (muy) amateur para esto es que el modelo OLS necesita un cierto nivel de "señal" en la variable X para detectar que proporciona una predicción "buena" para Y. Si la misma "señal" se distribuye en muchas X's (porque están correlacionadas), entonces ninguna de las X's correlacionadas puede proporcionar suficiente "prueba" (significación estadística) de que es un predictor real.

Las respuestas anteriores (maravillosas) hacen un gran trabajo explicando por qué ese es el caso.

Answer 2

Si dos regresores están perfectamente correlacionados, sus coeficientes serán imposibles de calcular; es útil considerar por qué sería difícil interpretar si pudiéramos calcularlos. De hecho, esto explica por qué es difícil interpretar variables que no están perfectamente correlacionadas pero que tampoco son verdaderamente independientes.

Supongamos que nuestra variable dependiente es el suministro diario de pescado en Nueva York, y nuestras variables independientes incluyen una para si llueve ese día y otra para la cantidad de cebo comprada ese día. Lo que no nos damos cuenta cuando recopilamos nuestros datos es que cada vez que llueve, los pescadores no compran cebo, y cada vez que no llueve, compran una cantidad constante de cebo. Por lo tanto, Cebo y Lluvia están perfectamente correlacionados, y cuando ejecutamos nuestra regresión, no podemos calcular sus coeficientes. En realidad, Cebo y Lluvia probablemente no están perfectamente correlacionados, pero no querríamos incluirlos a ambos como regresores sin limpiarlos de su endogeneidad de alguna manera.

Answer 3

Supongamos que dos personas colaboraron y lograron un descubrimiento científico. Es fácil identificar sus contribuciones únicas (quién hizo qué) cuando los dos son personas totalmente diferentes (uno es teórico y el otro es bueno en experimentos), mientras que es difícil distinguir sus influencias únicas (coeficientes en la regresión) cuando son gemelos que actúan de manera similar.

Answer 4

Creo que la trampa de la variable ficticia proporciona otra posibilidad útil para ilustrar por qué la multicolinealidad es un problema. Recordemos que surge cuando tenemos una constante y un conjunto completo de variables ficticias en el modelo. Entonces, la suma de las variables ficticias suma uno, la constante, por lo tanto, hay multicolinealidad.

Por ejemplo, una variable ficticia para hombres y otra para mujeres:

$$y_i=\beta_0+\beta_1Hombre_i+\beta_2Mujer_i+u_i$$

La interpretación estándar de $\beta_1$ es el cambio esperado en $Y$ que surge al cambiar $Hombre_i$ de 0 a 1. De manera similar, $\beta_2$ es el cambio esperado en $Y$ que surge al cambiar $Mujer_i$ de 0 a 1.

Pero, ¿qué se supone que representa entonces $\beta_0$? Es $E(y_i|Hombre_i=0,Mujer_i=0)$, por lo tanto, el resultado esperado para personas que no son ni hombres ni mujeres. Por lo tanto, si todos en el conjunto de datos se identifican como hombres o mujeres, $\beta_0$ representa a nadie.

Answer 5

Si dos variables explicativas están altamente correlacionadas, es difícil determinar cuál tiene un efecto sobre la variable dependiente.

¿Demasiado intuitivo?