Utilización de la información mutua para la selección de variables de regresión logística binaria

Question

Además de proc varclus , randomForest En lugar de utilizar métodos paso a paso para construir modelos de regresión logística binaria más parsimoniosos a partir de una amplia gama de posibles variables predictoras, estoy buscando otros métodos de selección de variables. He investigado otros métodos como Información mutua (MI), y tengo dos preguntas con respecto a su uso:

1) ¿Ha utilizado alguien el IM para la selección de variables de regresión logística binaria? En caso afirmativo, ¿qué opina de su aplicación?

2) ¿Alguien sabe cómo calcular el IM utilizando SAS Base o R para variables predictoras potenciales en referencia al resultado de interés? Cualquier ayuda o referencia en este ámbito será muy apreciada.

Gracias.

Answer 1

Como esperaba, probablemente nadie utilice el IM para realizar la selección de variables, por lo que me ceñiré a otros métodos como la agrupación de variables, el bosque aleatorio, el ACP, la evaluación de la correlación entre posibles variables predictoras y otros métodos en lugar de utilizar el IM para tratar la alta dimensionalidad.

Además, es probable que el IM no sea tan útil para las variables continuas, que abarcan un gran porcentaje de las variables predictoras candidatas en un conjunto de datos típico con el que trabajo, por lo que es probable que esté mucho mejor sin hacer uso del IM como otra técnica de selección de variables, aunque sea un enfoque que merezca la pena hacerlo con variables predictoras potenciales continuas.

Por favor, corríjanme si me equivoco, ya que me gustaría explorar una nueva técnica (al menos para mí) para evitar el uso de técnicas por pasos para reducir el número de variables candidatas en mis modelos de regresión logística.