Clasificación con un predictor dominante

Question

Tengo una ($k$-clase) problema de clasificación, con los de la orden de los 100 reales-valores de los predictores, uno de los cuales parece tener mucho más poder explicativo que cualquiera de los otros. Me gustaría profundizar en los efectos de las otras variables. Sin embargo, el estándar de la máquina de técnicas de aprendizaje (bosques aleatorios, SVMs, etc) parecen estar inundados por el fuerte predictor y no me dan mucha información interesante acerca de los demás.

Si esto fuera un problema de regresión, yo simplemente retroceder en contra de la fuerte predictor y, a continuación, utilizar los residuos como insumos para otros algoritmos. Yo no veo cómo este enfoque puede ser traducido a una clasificación de contexto, aunque.

Mi instinto es que este problema debe ser razonablemente común: existe una técnica estándar para lidiar con ella?

Answer 1

Para 2-clase de problemas, puede utilizar el GBM paquete en R, que se ajuste de forma iterativa los árboles de clasificación para los residuos de la función de pérdida. Lamentablemente todavía no soporte multi-clase de problemas.

Esto parece un problema que es muy adecuada para impulsar, pero no sé de ningún impulsar paquetes de soporte de k-clase de problemas. Creo que el problema es la escritura de una adecuada función de pérdida para las varias clases. El glmnet paquetes tiene un multinomial función de pérdida, tal vez usted puede mirar a través de código fuente para algunos indicadores.

Usted podría intentar escribir su propia impulsar algoritmo, o usted puede convertir su problema en k binario problemas de clasificación (una clase frente a todas las otras clases), el ajuste de un modelo de gbm para cada problema, y el promedio de la clase de las probabilidades de cada modelo.