¿En qué se diferencia el bosque aleatorio extremo del bosque aleatorio?

Question

¿Es la implementación de ER más eficiente (algo así como Extreme Gradient Boosting es al gradient boosting)-- ¿es importante la diferencia desde el punto de vista práctico? Hay un paquete de R que los implementa. ¿Es un nuevo algoritmo que supera la implementación "genérica" (paquete RandomForest de R) no sólo en términos de eficiencia o también en algunas otras áreas?

Bosque aleatorio extremo http://link.springer.com/article/10.1007%2Fs10994-006-6226-1

Answer 1

Esto es bastante sencillo: RF optimiza las divisiones en los árboles (es decir, selecciona las que dan la mejor ganancia de información con respecto a la decisión) y ERF las hace al azar. Ahora bien,

• costes de optimización (no mucho, pero aún así), por lo que la ERF suele ser más rápida.
• La optimización puede contribuir a la correlación de los árboles en el conjunto o al sobreajuste general, por lo que los ERF son probablemente más robustos, especialmente si la señal es débil.

Yendo aún más lejos en esta dirección, se puede ganar velocidad extra igualando las divisiones en cada nivel de árbol, convirtiendo así los árboles en helechos que también son bastante interesantes; está mi Aplicación de la R de tal individuo.