Si un árbol de decisión ya que tiene muy baja entropía, qué necesidad tenemos de un bosque aleatorio

Question

Necesito un poco de ayuda para entender el concepto de bosques aleatorios. Como yo lo entiendo, cuando hago un árbol de decisión, seleccione cuidadosamente cada uno de los nodos con el fin de maximizar la ganancia de información y minimizar la entropía, yo.e cada nodo debería resultar en una mayor ganancia de información de su nodo padre.

Si esto es cierto, entonces el árbol de decisión es la mejor posible alumno. ¿Por qué tengo que combinarlo con otros árboles que no puede ser tan buena y, a continuación, tomar un voto?

Si he creado el árbol para maximizar la ganancia de información, entonces este ya es el 'mejor modelo'.

Yo entiendo la necesidad de un bosque aleatorio si he creado el 10 de árboles de decisión al seleccionar al azar los nodos dividir.

Answer 1

La respuesta corta es la varianza. La respuesta larga es la varianza y también la generalización. Árboles de decisión tienen una alta varianza: un ligero cambio en los datos de entrenamiento puede provocar un gran cambio en cómo se producen las divisiones, y por lo tanto, las predicciones no son muy estables. Antes de RF, hubo una gran cantidad de atención que se presta a la poda de árboles de decisión y así sucesivamente para obtener una mejor generalización. Pero al tomar el promedio de los muchos que.yo.d. árboles de decisión (un bosque aleatorio), que la variación es un promedio, y llegamos a tener nuestro pastel y comérselo por tener un bajo bais, baja varianza clasificador con un excelente ejemplo de generalización.

Esto se explica en más detalle en los Elementos de Aprendizaje Estadístico.