En la sección 7 del documento Bosques aleatorios (Breiman, 1999), el autor afirma la siguiente conjetura: "Adaboost es un bosque aleatorio".
¿Alguien lo ha demostrado o refutado? ¿Qué se ha hecho para probar o refutar esto después de 1999?
Interesante pregunta. Desde entonces se ha trabajado mucho en la explicación del aumento de ada a través de diferentes tácticas.
Hice una rápida búsqueda bibliográfica y este artículo de impar parece ser el más reciente sobre el tema y también revisa un montón de trabajos intercedentes de Leo Breiman y otros:
http://arxiv.org/pdf/1212.1108.pdf
No tengo ni idea de si sus resultados son válidos, pero afirman que no han demostrado la conjetura de Breiman, sino que han demostrado una versión debilitada de la misma, afirmando que adaboost preserva las medidas, pero no es necesariamente ergódico.
También presentan algunas pruebas empíricas de que adaboost, de hecho, a veces sobreajusta.
Creo que esto sugiere que adaboost puede estar relacionado con un bosque aleatorio, pero no es totalmente (o no siempre) equivalente en el sentido que Breiman conjeturaba
Gracias, así que supongo que esto sigue siendo una pregunta abierta, pero su última declaración es reveladora.
Sí, creo que sigue abierto. También creo que el interés por analizar AdaBoost ha decaído a medida que las máquinas de aumento de gradiente [estocásticas] se han hecho más populares. AdaBoost es una forma de descenso de gradiente ( es.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) y pensar en términos de descenso de gradiente explícitamente aleatorio puede ser más intuitivo y más práctico que la equivalencia propuesta por Brieman. (Es decir, aunque fuera cierto, en la práctica podría ser muy difícil tomar muestras de la distribución necesaria).
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
0 votos
Por favor, lea stats.stackexchange.com/questions/77018/ Tal vez encuentres allí tu respuesta
0 votos
@user75008 ¡Gracias! Entonces, la sección 7 proporciona otra conjetura, tal que si se demuestra, muestra que adaboost es equivalente a random forest. ¿Alguien ha demostrado que esta conjetura es cierta?
0 votos
@user75008 Estoy leyendo tu enlace, stats.stackexchange.com/questions/77018/ ¿cree que esto sugiere que Adaboost no es equivalente a Random Forest?