Definición formal de un árbol de regresión

Question

Estoy buscando una definición matemática formal de un árbol de regresión. Mi idea actual sería la siguiente:

"Un árbol de regresión es una función $T(X\in\mathbb{R}^n)$ que divide el espacio de características $\mathbb{R}^n$ en $K\in\mathbb{Z}^+$ subconjuntos mutuamente excluyentes y exhaustivos $S_k,\quad S_i\cap S_j=\emptyset,\quad\cup_{k=1}^KS_k=\mathbb{R}^n$ y emite un valor $A_k \in \mathbb{R}$ según el subconjunto $S_k$ el vector de entrada $X$ cae en ( $X\in S_k$ )"

Así que mis preguntas son:

1. ¿Tiene sentido esta definición o tiene algún fallo?

2. ¿Existe ya una definición formal similar (o mejor) para los Árboles de Regresión que destaque el aspecto matemático de los mismos como intenta mi intento?

Answer 1

Llame a $A=(A_i)_i$ el conjunto de hiperplanos (paralelos al eje) que pueden ser candidatos como divisiones para sus datos.

Entonces, se puede definir el conjunto de indicadores overs $A_i$ (llámalo $S_A^1$ ) y su complemento como una familia de vectores (independientes) que generan un espacio funcional (el espacio de los árboles de decisión de profundidad 1).

Básicamente : $F_1=\{{\sum_iy_i1_{A_i}+y_i'1_{A_i^c}|y_i,y_i'\in\mathbb{R}}\}$ .

Entonces, se puede construir : $S_A^2=\sum_{A_i}1_{A_i}S^1_{A\backslash A_i}+1_{A_i^c}S^1_{A\backslash A_i}$ (aunque la notación de la suma es un poco abusiva). Esta familia es, a su vez, la base que genera el espacio de funciones que representan los árboles de profundidad 2.

Este paso se puede iterar para representar árboles de cualquier profundidad.