¿Por qué tomamos el promedio de las predicciones de bosque aleatorio de la regresión?

Question

En todos los (regresión) bosque aleatorio papeles que he leído, cuando viene el tiempo para reunir las predicciones de todos los árboles, tomamos el valor promedio como la predicción.

Mi pregunta es ¿por qué hacemos eso?

Es que hay una justificación estadística para la toma de la media?

EDIT: Para aclarar la pregunta, sé que es posible utilizar otras funciones de agregación (usamos el modo de clasificación), estoy interesada en saber si hay alguna justificación teórica detrás de la elección de la función promedio.

Answer 1

Cuando se utiliza el promedio, usted está diciendo dos cosas:

1. Los valores atípicos no son un gran problema (de lo contrario el uso de la mediana o al menos filtran algunos valores atípicos antes de tomar el promedio)
2. Cada predicción tiene el mismo peso (de lo contrario es un factor en pesos)

Usted no debe esperar a que haya enormes valores atípicos ya que puede hacer que el tamaño de muestra lo suficientemente grande para que importan menos en la media, y ya que usted esperaría de un mínimo de estabilidad a partir de las predicciones de los árboles individuales.

No hay ninguna razón para pensar que algunos de los árboles deben tener más de predicción de peso que otros, ni una forma de determinar estos pesos.

Realmente no se puede usar el modo ya que las predicciones son en una escala continua. Por ejemplo, si usted tenía las predicciones 80 80 100 101 99 98 97 102 103 104 96, modo de predecir el 80. Que puede ser lo que usted desea. Si todos los valores tienen distintas decimales, de modo de no saber cómo decidir.

Otro de los promedios de la media aritmética existen, como la media geométrica y la media armónica. Están diseñados para tirar de la media hacia abajo, si hay algunos valores bajos en la serie de datos. Eso no es lo que usted quiere aquí.

Answer 2

Yo siempre he pensado que el promedio en términos del sesgo y la varianza de equilibrio. Si recuerdo correctamente Leo Breiman alusión a esto en el randomForest de papel con su declaración "... son más robustos con respecto al ruido."

La explicación es como sigue: básicamente, usted está tomando un montón de árboles que se cultivan con el fin de longitud completa-no poda-así que usted sabe que cada uno esté sesgado por sí mismos. Sin embargo, el muestreo aleatorio que induce a cada uno de los árboles en el bosque debe inducir bajo el prejuicio tan a menudo como más de sesgo. Así, tomando un promedio de usted, a continuación, eliminar el sesgo de cada uno de los árboles-los más de+bajo los sesgos de la cancelación. Esperemos que en el proceso también se puede reducir la varianza en cada uno de los árboles y así la varianza global debe ser reducida así.

Como se indica por las otras respuestas a los post, esto podría no ser la única razón para un promedio de.

Answer 3

Por supuesto puede utilizar cualquier función de agregación que es útil en su situación particular. La mediana es una buena manera de hacer una pequeña muestra robusta contra outliers. En los bosques de regresión generalmente puede influir en el tamaño de la muestra para evitar que el problema de los tamaños de muestra pequeños. Así la media parece sensata en una fracción muy grande de casos de uso.

Answer 4

¿Sería posible también tomar la mediana, modo o alguna otra función agregada?

Clasificación del bosque al azar (es decir, no probabilidad estimación) se basa en el modo de las predicciones (mayoría cualificada), así que sí, usted puede Agregar los resultados como quieras.

Answer 5

Lo primero es lo primero. Como muchas otras personas han dicho, puedes usar otras métricas, pero el promedio es la opción "predeterminado".

Como opción predeterminada, uno podría establecer una función que trabaja bajo algunas condiciones suaves

Ahora, Si usted piensa acerca de ello, un bosque aleatorio es una colección de árboles y cada uno de estos árboles tiene como objetivo la estimación de su numéricos de la variable de respuesta.

Además, como @David Ernst correctamente menciona:

No hay ninguna razón para pensar que algunos de los árboles deberían tener más predictivo de los pesos de los otros, ni una forma de determinar estos pesos.

Además, no hay ninguna razón para pensar que estos árboles tienen diferentes desviaciones estándar. Una vez más, bajo condiciones suaves!

Dicho esto, el promedio debe de funcionar debido a las Débiles ley de los grandes números