¿Cuándo está bien eliminar la intersección en un modelo de regresión lineal?

Question

Estoy ejecutando modelos de regresión lineal y me pregunto cuáles son las condiciones para eliminar el término de intercepción.

Al comparar los resultados de dos regresiones diferentes, una con la intercepción y la otra sin ella, noto que el valor de $R^2$ de la función sin la intercepción es mucho más alto. ¿Existen ciertas condiciones o suposiciones que debería seguir para asegurarme de que la eliminación del término de intercepción es válida?

Answer 1

La respuesta más corta: nunca, a menos que estés seguro de que tu aproximación lineal del proceso generador de datos (modelo de regresión lineal) ya sea por alguna razón teórica u otra, deba pasar por el origen. De lo contrario, los demás parámetros de regresión estarán sesgados incluso si la intersección es estadísticamente insignificante (extraño pero es así, consulta Brooks Introductory Econometrics, por ejemplo). Por último, como suelo explicar a menudo a mis estudiantes, al dejar el término de intersección te aseguras de que el término residual tenga una media cero.

Para tu caso de dos modelos necesitamos más contexto. Puede ser que un modelo lineal no sea adecuado aquí. Por ejemplo, primero necesitas transformar los datos si el modelo es multiplicativo. Al tener procesos de crecimiento exponencial, ocasionalmente puede suceder que el $R^2$ para el modelo sin la intersección sea "mucho" más alto.

Analiza los datos, prueba el modelo con la prueba RESET o cualquier otra prueba de especificación lineal, esto puede ayudar a ver si mi suposición es cierta. Y, construir los modelos con el $R^2$ más alto es una de las últimas propiedades estadísticas por las que realmente me preocupo, pero es agradable presentar a las personas que no están tan familiarizadas con la econometría (hay muchos trucos sucios para hacer que la determinación esté cerca de 1 :)).

Answer 2

Eliminar el intercepto es un modelo diferente, pero hay muchos ejemplos donde es legítimo. Hasta ahora, las respuestas ya han discutido en detalle el ejemplo donde el verdadero intercepto es 0. Me enfocaré en algunos ejemplos donde podríamos estar interesados en una parametrización del modelo atípica.

Ejemplo 1: El Modelo de Estilo ANOVA. Para variables categóricas, típicamente creamos vectores binarios que codifican la membresía del grupo. El modelo de regresión estándar está parametrizado como intercepto + k - 1 vectores ficticios. El intercepto codifica el valor esperado para el grupo "de referencia", o el vector omitido, y los vectores restantes prueban la diferencia entre cada grupo y la referencia. Pero en algunos casos, puede ser útil tener el valor esperado de cada grupo.

dat <- mtcars
dat$vs <- factor(dat$vs)

## modelo de intercepto: el coeficiente de vs se convierte en diferencia
lm(mpg ~ vs + hp, data = dat)

Coefficients:
(Intercepto)          vs1           hp  
   26.96300      2.57622     -0.05453  

## sin intercepto: dos coeficientes de vs, expectativas condicionales para ambos grupos
lm(mpg ~ 0 + vs + hp, data = dat)

Coefficients:
     vs0       vs1        hp  
26.96300  29.53922  -0.05453  

Ejemplo 2: El caso de datos estandarizados. En algunos casos, uno puede estar trabajando con datos estandarizados. En este caso, el intercepto es 0 por diseño. Creo que un ejemplo clásico de esto era el antiguo estilo de modelos de ecuaciones estructurales o factor, que operaban solo en las matrices de covarianza de los datos. En el caso a continuación, probablemente sea una buena idea estimar el intercepto de todos modos, si solo es para eliminar el grado de libertad adicional (que realmente debería haberse perdido de todos modos porque la media fue estimada), pero hay un puñado de situaciones donde por construcción, las medias pueden ser 0 (por ejemplo, ciertos experimentos donde los participantes asignan calificaciones, pero están obligados a dar igual positivos y negativos).

dat <- as.data.frame(scale(mtcars))

## el intercepto es 0 por diseño
lm(mpg ~ hp + wt, data = dat)

Coefficients:
(Intercepto)           hp           wt  
  3.813e-17   -3.615e-01   -6.296e-01  

## dejando fuera el intercepto
lm(mpg ~ 0 + hp + wt, data = dat)

Coefficients:
     hp       wt  
-0.3615  -0.6296  

Ejemplo 3: Modelos Multivariados e Interceptos Ocultos. Este ejemplo es similar al primero en muchos aspectos. En este caso, los datos se han apilado para que dos variables diferentes estén ahora en un vector largo. Una segunda variable codifica información sobre si el vector de respuesta, y, pertenece a mpg o a disp. En este caso, para obtener los interceptos separados para cada resultado, suprimes el intercepto general e incluyes ambos vectores ficticios para la medida. Esto es una especie de análisis multivariado. No se suele hacer con lm() porque tienes medidas repetidas y probablemente deberías permitir la no independencia. Sin embargo, hay algunos casos interesantes donde esto es necesario. Por ejemplo, al intentar hacer un análisis de mediación con efectos aleatorios, para obtener la matriz completa de varianza covarianza, necesitas estimar ambos modelos simultáneamente, lo cual se puede hacer apilando los datos y usando hábilmente los vectores ficticios.

## apilando datos para análisis multivariado
dat <- reshape(mtcars, varying = c(1, 3), v.names = "y",
  timevar = "measure", times = c("mpg", "disp"), 
             direction = "long")
dat$measure <- factor(dat$measure)

## dos regresiones con solo interceptos
lm(cbind(mpg, disp) ~ 1, data = mtcars)

Coefficients:
             mpg     disp  
(Intercepto)   20.09  230.72

## usando los datos apilados, la medida es la diferencia
## entre las medias de los resultados
lm(y ~ measure, data = dat)

Coefficients:
(Intercepto)   measurempg  
      230.7       -210.6  

## 'intercepto' separado para cada resultado
lm(y ~ 0 + measure, data = dat)

Coefficients:
measuredisp   measurempg  
     230.72        20.09  

No estoy argumentando que los interceptos deberían eliminarse generalmente, pero es bueno ser flexible.

Answer 3

Hay buenas respuestas aquí. Dos cosas pequeñas:

1. Respecto a un $R^2$ más alto cuando se elimina la intersección, deberías leer esta excelente respuesta de @cardinal. (En resumen, a veces el software estadístico utiliza una definición diferente para $R^2$ cuando la intersección se fuerza a 0. Por lo tanto, el $R^2$ reportado para modelos con y sin intersección podría simplemente no ser comparable).
2. Varias personas señalan que debes estar seguro de que la intercepción debe ser 0 (por razones teóricas) antes de eliminarla, y no simplemente que no es 'significativa'. Creo que eso es correcto, pero no es toda la historia. También necesitas saber que la verdadera función generadora de datos es perfectamente lineal en todo el rango de $X$ con el que estás trabajando y hasta llegar a 0. Recuerda que siempre es posible que la función sea aproximadamente lineal dentro de tus datos, pero en realidad esté ligeramente curvada. Puede ser bastante razonable tratar la función como si fuera lineal dentro del rango de tus observaciones, incluso si no lo es perfectamente, pero si no lo es y eliminas la intersección, terminarás con una peor aproximación a la función subyacente incluso si la verdadera intersección es 0.

Answer 4

No debes eliminar la intercepción, independientemente de si es probable o no que alguna vez veas que todas las variables explicativas tengan valores de cero.

Si eliminas la intercepción, entonces todas las demás estimaciones se vuelven sesgadas. Incluso si el valor real de la intercepción es aproximadamente cero (que es todo lo que puedes concluir de tus datos), estarás afectando a las pendientes si la fuerzas a ser exactamente cero.

A MENOS QUE - estés midiendo algo con un modelo físico muy claro y obvio que exija que la intercepción sea cero (por ejemplo, si tienes altura, ancho y longitud de un prisma rectangular como variables explicativas y la variable de respuesta es el volumen con algún error de medición). Si tu variable de respuesta es el valor de la casa, definitivamente necesitas dejar la intercepción.

Answer 5

Bueno, has cambiado la pregunta MUCHO

Puedes omitir la intercepción cuando sabes que es 0. Eso es todo. Y no, no puedes hacerlo porque no es significativamente diferente de 0, debes saber que es 0 o tus residuos estarán sesgados. Y, en ese caso es 0, por lo que no hará ninguna diferencia si lo omites... por lo tanto, nunca lo omitas.

El hallazgo que tienes con $R^2$ sugiere que los datos no son lineales. Y, dado que tenías área como predictor, ese particular probablemente definitivamente no es lineal. Podrías transformar el predictor para arreglar eso.