Cómo deshacerse de un enorme factor categórico en la regresión múltiple

Question

Tengo un gran problema de regresión con muchos casos, pero relativamente pocas variables independientes. Una de ellas es un factor categórico con miles de niveles. La regresión robusta se eterniza. En algunos casos, el gran número de variables ficticias se vuelve demasiado escaso para calcularlo incluso con lm "normal".

Lo que suele tener sentido es calcular de alguna manera la media de cada nivel del factor, luego ajustar la variable dependiente en consecuencia y hacer la regresión sin el factor grande. Un colega mío podría recordar que hay una función de R de dos letras que hace eso automáticamente, pero no puede recordar la combinación de dos letras.

Cualquier ayuda será muy apreciada.

Answer 1

El paquete 'lfe' también se encargará de este problema. Implementa un método para proyectar los factores de las regresiones OLS, el método se describe en este próximo artículo: http://dx.doi.org/10.1016/j.csda.2013.03.024

Answer 2

Yo pensaría que lme4 sería muy apropiado para esto. Trate su enorme factor categórico como un efecto aleatorio práctico. No voy a entrar en las definiciones teóricas. Como alternativa, utilice sparse.model.matrix() de Matrix para construir el marco de diseño y luego pasarlo a glmnet() de glmnet paquete. ( lme4 construye de forma natural la matriz de diseño dispersa, por lo que no es necesario utilizar el sparse.model.matrix() antes de entrar en él).

Si realmente quiere hacer el truco de la "media de cada nivel", asegúrese de calcular la media de cada observación excluyéndose a sí misma e incluya algunas observaciones adicionales con cada nivel de factor en la media de la población. A continuación, utilice esta variable derivada como una característica en sus modelos en lugar de la variable categórica. Si el factor fuera la única característica, este resultado sería idéntico a lme4 o glmnet (suponiendo que hayas resuelto cuántas observaciones medias hay que añadir).

Hay unas cuantas entradas de blog que llaman al truco de la "media de cada nivel impact coding . Además, según mi experiencia, si hay un rasgo muy denso, es posible que desee ajustar un modelo simple en ese rasgo y codificar los residuos por el nivel del enorme factor categórico en lugar de la respuesta pura.

Como ya se ha dicho, se trata de un consejo más práctico. Probablemente otras personas vendrán con algún consejo teórico más fuerte.