Bosque aleatorio en datos con una sola característica

Question

Estoy aplicando la regresión Random forest de la biblioteca sklearn a un conjunto de datos que tiene una sola característica y estoy obteniendo una muy buena puntuación. Las etiquetas de salida son continuas.

El problema es que no entiendo muy bien cómo se construyen aquí los árboles de decisión. Al construir un árbol de decisión dividimos en cada nodo basado en una característica. Dado que aquí sólo tenemos una característica, ¿los árboles de decisión tendrán sólo un nodo? ¿En qué se diferencian los árboles de decisión?

Answer 1

Los árboles tendrán varios nodos ya que la línea real se divide recursivamente. El modelo es libre de realizar múltiples divisiones sobre la misma variable. Dependiendo de los parámetros del estimador, su estimador:

1. Haz un bootstrap de un nuevo conjunto de datos a partir de tus datos de entrenamiento
2. Determinar aleatoriamente el criterio de división basado en una muestra aleatoria de características. Como sólo tiene una característica, su modelo siempre se dividirá en base a esa característica. Por lo tanto, su modelo es realmente una bolsa de árboles.

Answer 2

Los bosques aleatorios utilizan varios tipos de aleatorización.

• En cada división, sólo consideran un pequeño subconjunto de características posibles. Si sólo se tiene una característica, ésta se utilizará siempre, por supuesto. Por lo tanto, la aleatorización en este sentido no tiene ningún impacto, como usted escribe.

• Sin embargo, los Bosques Aleatorios también hacen bootstrap: cada árbol de decisión se cultiva en una muestra de los datos originales. Este tipo de aleatoriedad se aplica, por supuesto, a su situación.

  La ventaja del bootstrap es que cada árbol se dividirá en el predictor en diferentes valores. Por tanto, el bosque aleatorio puede modelar las no linealidades en la relación característica-respuesta (suponiendo que haya suficientes datos).