¿En qué condiciones las máquinas de refuerzo de gradiente superan a los bosques aleatorios?

Question

Puede La máquina de aumento de gradiente de Friedman lograr un mejor rendimiento que Bosque aleatorio de Breiman ? Si es así, ¿en qué condiciones o qué tipo de conjunto de datos puede mejorar el gbm?

Answer 1

A continuación se explica por qué Boosting suele superar a Random Forest en la práctica, pero me interesaría mucho saber qué otros factores diferentes pueden explicar la ventaja de Boosting sobre RF en escenarios específicos.

Básicamente, dentro del $error=bias+variance$ la RF sólo puede reducir el error mediante la reducción de la varianza ( Hastie et al. 2009 p. 588). El sesgo es fijo e igual al sesgo de un solo árbol en el bosque (de ahí la necesidad de cultivar árboles muy grandes, que tienen un sesgo muy bajo).

Por otro lado, el Boosting reduce el sesgo (al añadir cada nuevo árbol en la secuencia de manera que se captura lo que se perdió por el árbol anterior), pero también varianza (mediante la combinación de muchos modelos).

Por lo tanto, el refuerzo reduce el error en ambos frentes, mientras que la RF sólo puede reducir el error mediante la reducción de la varianza. Por supuesto, como he dicho, puede haber otras explicaciones para el mejor rendimiento de Boosting observado en la práctica. Por ejemplo, en la página 591 del libro mencionado, se dice que Boosting supera a RF en el problema de la esfera anidada porque en ese caso particular el el verdadero límite de decisión es aditivo . ( ) También informan de que Boosting lo hace mejor que RF para el spam y los datos de vivienda de California.

Otra referencia que ha encontrado que el Boosting supera a la RF es Caruana y Niculescu-Mizil 2006 . Desgraciadamente, informan de los resultados pero no intentan explicar las causas. Compararon los dos clasificadores (y muchos más) en 11 problemas de clasificación binaria para 8 métricas de rendimiento diferentes.

Answer 2

Como dijo bayerj, ¡no hay forma de saberlo a priori!

Bosques aleatorios son relativamente fáciles de calibrar: los parámetros por defecto de la mayoría de las implementaciones (R o Python, por ejemplo) consiguen grandes resultados.

Por otro lado, GBMs son difíciles de ajustar (un número demasiado grande de árboles conduce a un sobreajuste, la profundidad máxima es crítica, la tasa de aprendizaje y el número de árboles actúan conjuntamente...) y más largos de entrenar (las implementaciones multihilo son escasas). Un ajuste poco preciso puede dar lugar a un bajo rendimiento.

Sin embargo, según mi experiencia, si se dedica suficiente tiempo a los GBM, es probable que se consiga un mejor rendimiento que con los bosques aleatorios.

Editar. ¿Por qué los GBM superan a los Bosques Aleatorios? La respuesta de Antoine es mucho más rigurosa, ésta es sólo una explicación intuitiva. T $m$ el número de variables en las que se cultivan los árboles. Pero también puede calibrar la tasa de aprendizaje y la profundidad máxima. Al observar más modelos diferentes que con un bosque aleatorio, es más probable que encuentre algo mejor.