Cuestiones prácticas sobre el ajuste de Bosques Aleatorios

Question

Mis preguntas son acerca de los Bosques Aleatorios. El concepto de este hermoso clasificador es claro para mí, pero todavía hay un montón de práctica preguntas de uso. Por desgracia, no pude encontrar ninguna guía práctica para RF (he estado buscando algo como "Una Guía Práctica para la Formación Restringido Boltzman Máquinas" de Geoffrey Hinton, pero para los Bosques Aleatorios! :) )

Así que... ¿Cómo puede una melodía de RF en la práctica?

Es cierto que el mayor número de árboles es siempre mejor? Hay un límite de lo razonable (excepto comp. capacidad de curso) en el aumento de número de árboles y cómo se estima que para el conjunto de datos?

¿Qué acerca de la profundidad de los árboles?.. Cómo elegir la razonable? Hay un sentido en la experimentación con árboles de diferente longitud en un bosque y lo que es la guía para que?

Hay otros parámetros que vale la pena mirar cuando la formación de RF? Algos para la construcción de árboles individuales puede ser?..

Cuando dicen RF son resistentes a sobreajuste, ¿qué tan cierto es eso?..

Apreciaré cualquier respuestas y/o enlaces a guías o artículos que yo podría haber perdido mientras mi búsqueda.

Gracias!

Answer 1

Yo no soy una figura de autoridad, por lo que considerar estas breves practicante de notas:

Más árboles, siempre es mejor con la disminución de los rendimientos. Más profundo de los árboles son casi siempre mejores sujeto a que requieren más árboles para un rendimiento similar.

Estos dos puntos son directamente el resultado de que el sesgo de la varianza en equilibrio. Más profundo de los árboles reduce el sesgo; más árboles reduce la varianza.

El más importante de hyper-parámetro es cómo muchas de las características de la prueba para cada división. La más inútil de las características que hay, la más de las características que deben tratar. Esto necesita ser sintonizado. Usted puede ordenar de sintonizar a través de OOB estimaciones si usted simplemente desea saber su rendimiento en tu entrenamiento y no hay hermanamiento (~de medidas repetidas). Aunque este es el parámetro más importante, es óptimo es generalmente bastante cerca de la original sugieren valores predeterminados (sqrt(p) o (p/3) para la clasificación/regresión).

Bastante reciente investigación muestra que usted incluso no necesita hacer exhaustiva dividir las búsquedas dentro de una función para obtener un buen rendimiento. Acabo de probar un par de puntos de corte para cada función seleccionada y seguir adelante. Esto hace que el entrenamiento aún más rápido. (~Extremadamente Aleatorio Bosques, Árboles).

Answer 2

• Número de árboles: el más grande es el mejor: sí. Una forma de evaluar y saber cuándo parar es para monitorear su tasa de error, mientras que la construcción de su bosque (o cualquier otro criterio de evaluación que usted podría utilizar) y detectar cuando se converge. Usted podría hacer que el aprendizaje conjunto en sí misma o, si está disponible, en una prueba independiente de conjunto. También, se ha de señalar que el número de nodos de pruebas en sus árboles es superior limitada por el número de objetos, por lo que si usted tiene un montón de variables y no tantos de formación de los objetos, mayor bosque será muy recomendable con el fin de aumentar las posibilidades de evaluación de todos los descriptores de, al menos, una vez en el bosque.

• Árbol de profundidad: hay varias maneras de controlar la profundidad de su árboles (límite de la profundidad máxima, límite en el número de nodos, limitar el número de objetos necesarios para dividir, deje de dividir, si la división no suficientemente mejora el ajuste,...). La mayoría de las veces, se recomienda la poda (límite de la profundidad de) los árboles, si se trata de datos ruidosos. Finalmente, usted puede utilizar su completamente desarrollado árboles para calcular el rendimiento de la corta de árboles, ya que estos son un "subconjunto" de la totalmente desarrollados.

• Cómo muchas de las características a prueba en cada nodo: validación cruzada de sus experiencias con una amplia gama de valores (incluyendo los recomendados), usted debe obtener una curva de rendimiento y ser capaz de identificar un máximo de señalar lo que es el mejor valor para este parámetro + Shea Parkes respuesta.

• Shea Parkes figura de la Extra-Árboles, aquí está el original del documento que describe en detalle el método: http://orbi.ulg.ac.be/bitstream/2268/9357/1/geurts-mlj-advance.pdf