¿Cómo deben implementarse las divisiones de los árboles de decisión cuando se predicen variables continuas?

Question

En realidad estoy escribiendo una implementación de Bosques Aleatorios, pero creo que la pregunta es específica de los árboles de decisión (independiente de los RF).

El contexto es que estoy creando un nodo en un árbol de decisión y tanto la predicción como las variables objetivo son continuas. El nodo tiene un umbral de división para dividir los datos en dos conjuntos, y creo una nueva predicción para cada subconjunto basada en el valor medio del objetivo en cada conjunto. ¿Es éste el enfoque correcto?

La razón por la que pregunto es que al predecir binario Creo que el enfoque típico (¿correcto?) es dividir los datos en subconjuntos de 0 y 1 sin tomar un promedio sobre las filas de datos en cada subconjunto. Las divisiones posteriores se dividirán en subconjuntos de grano más fino y al tomar un promedio en cada división, las divisiones posteriores (más abajo en el árbol de decisión) operan en lo que ahora son variables continuas en lugar de binarias (porque estamos operando en los valores de error residual en lugar de los objetivos originales).

Pregunta al margen: ¿Es significativa la distinción entre los dos enfoques (binario frente a continuo) o en realidad darán resultados idénticos para un árbol de decisión completo?

Answer 1

$u_n = f_n - f_{n-1}$ y $u_n(1) = 0$ para n>1. Sin embargo, si $a_n = \sup_{x\in I} |u_n(x)|$ , usted tiene $a_n \geq u_n(n) = 1/n$ sigue siendo una secuencia divergente.

Su idea de "difundir" donde las funciones $u_n$ están añadiendo cosas a lo largo del eje x es bueno : Nunca se agrega demasiado en una x específica para que la suma converja, pero se puede agregar suficientes cosas "grandes" en cada n para que $\Sigma a_n$ no converge.

Puedes utilizar esta idea para hacer un contraejemplo más claro:

Escoge $B(x)$ una función de bache en $\mathbb{R}$ con soporte en [0,1], por ejemplo una función afín a trozos con $B(0)=B(1) = 0$ y $B(1/2) = 1$ .

Entonces defina $u_n(x) = B(x-n)/n$ .

$\Sigma_{n\geq 1} u_n$ converge uniformemente porque en cada x, $\Sigma_{k\geq n} u_k(x) \leq 1/n$ . Sin embargo, $\Sigma_{n\geq 1} \sup_x |u_n(x)| = \Sigma_{n\geq 1} 1/n$ divergirá