Necesito explicar tanto XGBoost como GBM en el mismo texto y quiero mantener la notación consistente. Friedman (2002) utiliza $\gamma$ para denotar los valores de salida de las hojas en GBM. Chen y Guestrin (2016) utilizan $w$ para denotar lo que ellos llaman "pesos de hoja". Según entiendo correctamente el texto, eso es solo un sinónimo para los valores de salida, lo que significa que debo usar el mismo símbolo tanto para $\gamma$ como para $w$. ¿Estoy en lo correcto, o entendí algo mal?
Friedman (2002): https://www.researchgate.net/publication/222573328_Stochastic_Gradient_Boosting
Chen y Guestrin (2016): https://arxiv.org/pdf/1603.02754.pdf
1 votos
También tienes que tener en cuenta el hecho de que xgboost tiene "min_child_weight", donde peso significa otra cosa, el hessiano. Esa terminología podría rastrearse hasta adaboost y la 'Regresión Logística Aditiva' de Friedman que conecta adaboost con el aumento de gradiente, pero aún no lo he descifrado por completo.