Pregunta sobre los pesos de papel de Xgboost y las reglas de decisión

Question

Por favor alguien puede explicar lo que el peso de la $w$ está haciendo y cómo se trabaja aquí? Yo también no podía entender cómo la $q$ transforma una $m$-dimensiones del vector de $T$.

Editar

Respuesta por user11852 es bastante bueno. También recomiendo a nadie refiriéndose a esta pregunta para referirse a esta explicación detallada. Debería poner un tope a la mayoría de las preguntas sobre el incremento.

Answer 1

La idea básica que está detrás de impulsar con (regresión) de los árboles es que estamos aprendiendo las funciones de $f$ (aquí en forma de árboles de $w_{q(x)}$). Los pesos $w$ a $T$ hojas del árbol representan la predicción de la $k$-ésimo árbol. $q$ es la estructura de árbol (por ejemplo, la de tocón con sólo un nodo raíz, o la de elaborar un árbol de 12 niveles de profundidad); $q$ es independiente de la real impulsar el procedimiento, pero puede afectar a nuestro conjunto del rendimiento (por eso, por ejemplo, el uso de los parámetros como max_depth de control). A través de la estructura definida por $q$ $m$- dimensional $x_i$ se asigna a la hoja que contiene el peso de $w$. Dentro de un árbol $q$, $w$ sí puede tomar $T$ valores diferentes, donde $T$ es el número de hojas en el árbol. La suma de todas las $w_k$ de nuestra $K$ árbol de estudiantes nos proporciona nuestra estimación final $\hat{y}$.

Si ayuda a que podamos continuar expandiendo la Ecuación 1: \begin{align} \hat{y}_i = \sum_{k=1}^K w_{q_k(x_i)}, \quad w_q \in R^{T_k} \end{align}

donde es claro que para obtener nuestra predicción final, estamos sumando los pesos $w_k$ según lo dictado por la estructura de árbol de $q_k$.

Por último, tenga en cuenta que mientras que estamos examinando los árboles de regresión, basado en la función objetivo, tratamos de minimizar somos capaces de utilizar los árboles de regresión para diversas tareas. Por ejemplo, el uso de la logística de la pérdida se presta naturalmente a tareas de clasificación y con descuento ganancia acumulada conduce a la clasificación de las solicitudes.