Regresión lineal: ¿Consecuencias de violar los supuestos?

Question

He estado leyendo más sobre la regresión lineal y las suposiciones que hace. ¿Cuáles son las consecuencias de violar algunas de las suposiciones implicadas?

Por ejemplo, necesita que el conjunto de datos presente poca o ninguna multicolinealidad. ¿Qué ocurre si ignoro esto?

Por ejemplo, supongamos que tengo un conjunto de datos en el que x_3 y x_4 son simplemente duplicados uno del otro (y por lo tanto perfectamente correlacionados). La única diferencia que veo es que, en lugar de tener una línea de mejor ajuste, ahora puedo tener infinitas:

Por ejemplo, si la línea de mejor ajuste sin x_4 tenía Bx_3 en él, entonces puedo simplemente distribuir B en x_3 y x_4 . Así que si B = 5 Podría hacer 4x_3 + x_4 o 3.5x_3 + 1.5x_4 etc.

Así que, parece que:

1) ¿Tal vez no sea desastroso violar el supuesto de multicolinealidad?

2) ¿Es mucho peor violar a los demás / si es así, cuáles son las consecuencias de hacerlo?

Gracias.

Answer 1

En primer lugar, me alegro de que pienses críticamente en esto. A menudo encuentro que estos supuestos se mantienen como un conjunto sagrado de "reglas para la regresión lineal" y se regurgitan sin pausa. Es mucho más importante pensar para qué están ahí y cuándo se necesitan.

Su segunda pregunta está respondida en detalle aquí en la respuesta de mpiktas, así que me limitaré a comentar la primera.

Su aritmética es correcta. Cuando hay una estricta dependencia lienal en sus datos, la consecuencia es que sus estimaciones de los parámetros no están determinadas únicamente de los datos. Para algunas situaciones, por ejemplo la predicción, esto no es tan preocupante. Vas a hacer la misma predicción independientemente de la elección que hagas en la distribución de los coeficientes, así que no debes preocuparte demasiado por ello.

Por otro lado, hay otras aplicaciones de la regresión lineal. A veces tenemos una teoría científica sobre cómo se relacionan ciertos conceptos o acciones, y queremos estimar la fuerza de las asociaciones. En este caso, podemos recopilar datos sobre nuestros fenómenos y, a continuación, ajustar una regresión. Podemos considerar que nuestros coeficientes estimados nos dan información sobre la fuerza de la asociación entre los distintos componentes de nuestro sistema. Si tenemos una dependencia lineal estricta, esto no funciona, porque la naturaleza debe haber hecho una asignación, y nuestro modelo no tiene el poder matemático de distinguir entre cualquiera de una serie de posibilidades.