LAZO con los términos de interacción - ¿está bien si los efectos principales se redujeron a cero?

Question

LAZO de regresión reduce los coeficientes a cero, proporcionando así la eficacia de selección de modelo. Creo que en mis datos hay interacciones significativas entre el valor nominal y continua de las covariables. No necesariamente, sin embargo, son los "efectos principales" de la verdadera modelo significativo (no-cero). Por supuesto, yo no conozco a este ya que el modelo verdadero es desconocido. Mis objetivos son encontrar el verdadero modelo y predecir el resultado tan estrechamente como sea posible.

He aprendido que el enfoque clásico para la construcción de modelos siempre se incluyen un efecto principal antes de una interacción está incluido. Por lo tanto no puede ser un modelo, sin un efecto principal de dos covariables $X$ $Z$ si existe una interacción de las covariables $X*Z$ en el mismo modelo. El step de la función en R , en consecuencia selecciona cuidadosamente el modelo de términos (por ejemplo, basada en adelante o atrás AIC) permaneciendo a esta regla.

LASSO parece funcionar de manera diferente. Puesto que todos los parámetros son penalizados puede, sin duda, ocurre que el principal efecto es reducido a cero, mientras que la interacción de los mejores (por ejemplo, validado por cruz) el modelo es distinto de cero. Este encuentro, en particular, para mi de los datos en R's glmnet paquete.

He recibido críticas basadas en la primera norma antes citada, es decir, mi final validado por cruz Lasso modelo no incluye el correspondiente efecto principal de los términos de algunos no-cero de la interacción. Sin embargo, esta regla parece un poco extraño en este contexto. Lo que se pretende es la cuestión de si el parámetro en el modelo verdadero es cero. Supongamos que es, pero la interacción no es cero, entonces LAZO identificará esto quizás, así, encontrar el modelo correcto. De hecho, parece que las predicciones de este modelo será más precisa debido a que el modelo no contiene el verdadero cero efecto principal, que es, efectivamente, un ruido variable.

Puedo refutar las críticas basadas en esta tierra o debo tomar precauciones de alguna manera que el LAZO no incluye el efecto principal antes de que el término de interacción?

Answer 1

Una de las dificultades en responder a esta pregunta es que es difícil conciliar el LAZO con la idea de un "verdadero" modelo en la mayoría de aplicaciones del mundo real, que por lo general no despreciable de las correlaciones entre las variables predictoras. En ese caso, como con cualquier variable de la técnica de selección, el particular predictores regresó con los no-cero de los coeficientes por el LAZO va a depender de los caprichos de muestreo de la subyacente de la población. Esto se puede verificar mediante la realización de LAZO en múltiples muestras bootstrap a partir del mismo conjunto de datos y la comparación de los conjuntos de variables predictoras que se devuelven.

Además, como @AndrewM señaló en un comentario, el sesgo de las estimaciones proporcionadas por el LAZO significa que usted no será la predicción de resultados "tan estrechamente como sea posible." Por el contrario, se la predicción de los resultados que se basan en una elección particular de la inevitable sesgo de la varianza en equilibrio.

Así que, dado que esas dificultades, espero que usted quiere saber por sí mismo, no sólo para satisfacer un crítico, de la magnitud de los efectos principales de las variables que contribuyen a la interacción. Hay un paquete disponible en R, glinternet, que parece hacer exactamente lo que usted necesita (aunque yo no tengo experiencia con él):

Grupo-Lasso de la Interacción con la RED. Cabe lineal de a pares-modelos de interacción que satisfacer la fuerte jerarquía: si el coeficiente de interacción se estima en un valor distinto de cero, entonces sus dos asociados principales efectos también tienen distinto de cero coeficientes estimados. Acomoda las variables categóricas (factores) con cifras arbitrarias de los niveles, las variables continuas, y combinaciones de los mismos.

Alternativamente, si usted no tiene demasiados factores, usted podría considerar la posibilidad de regresión ridge lugar, que devolverá los coeficientes de todas las variables que pueden ser mucho menos dependiente de los caprichos de su particular muestra de datos.