eliminar las características que tienen una importancia nula en el bosque aleatorio

Question

Tenemos 10 características preseleccionadas a partir del conocimiento del dominio. Una de las características tiene una importancia nula. Mi pregunta es:

1. Para aquellas características que tienen una importancia nula en el modelo de bosque aleatorio, ¿debo eliminarlas y volver a ejecutar el modelo?
2. Lo he intentado. Cuando quito la característica y vuelvo a ejecutar el bosque aleatorio, la importancia de la séptima característica importante se convirtió en cero, ¿qué debo hacer? Muchas gracias por la opinión de los expertos...

Answer 1

Una forma más rigurosa de abordar esta cuestión es aplicar el algoritmo de Boruta.

Boruta mide repetidamente la importancia de las características a partir de un bosque aleatorio (o un método similar) y, a continuación, realiza pruebas estadísticas para descartar las características que son irrelevantes. El procedimiento termina cuando todas las características son decisivamente relevantes o decisivamente irrelevantes.

Hay varios documentos sobre este tema. Aquí hay uno. " Selección de todas las características relevantes mediante Random Forest "por Miron B. Kursa, Witold R. Rudnicki