¿Cuándo se querría usar AdaBoost?

Question

A medida que he escuchado repetidamente sobre el clasificador AdaBoost en el trabajo, quería tener una mejor idea de cómo funciona y cuándo podría ser útil utilizarlo. He leído varios documentos y tutoriales sobre él que encontré en Google, pero hay aspectos del clasificador que todavía me cuesta entender:

1. La mayoría de tutoriales que he visto mencionan a AdaBoost como la mejor combinación ponderada de varios clasificadores. Esto tiene sentido para mí. Lo que no tiene sentido son las implementaciones (por ejemplo, MALLET) en las que AdaBoost parece aceptar solo un clasificador débil. ¿Cómo tiene sentido esto? Si solo se proporciona un clasificador a AdaBoost, ¿no debería devolver ese mismo clasificador con un peso de 1? ¿Cómo produce nuevos clasificadores a partir del primer clasificador?

2. ¿Cuándo sería conveniente utilizar AdaBoost en realidad? He leído que se supone que es uno de los mejores clasificadores listos para usar, pero cuando intento potenciar un clasificador MaxEnt con el que obtenía f-scores de más del 70%, AdaBoost lo destruye y me da f-scores de alrededor del 15% con un recall muy alto y una precisión muy baja. Así que ahora estoy confundido. ¿Cuándo querría utilizar AdaBoost? Estoy buscando más una respuesta intuitiva que estrictamente estadística, si es posible.

Answer 1

Adaboost puede usar múltiples instancias del mismo clasificador con diferentes parámetros. Por lo tanto, un clasificador previamente lineal puede combinarse en clasificadores no lineales. O, como les gusta decir a las personas de AdaBoost, múltiples aprendices débiles pueden hacer un aprendiz fuerte. Se puede encontrar una imagen agradable aquí, en la parte inferior.

Básicamente, funciona como cualquier otro algoritmo de aprendizaje: en algunos conjuntos de datos funciona, en otros no. Seguramente hay conjuntos de datos donde destaca. Y quizás aún no has elegido el aprendiz débil correcto. ¿Has probado la regresión logística? ¿Has visualizado cómo evolucionan los límites de decisión al agregar aprendices? Tal vez puedas decir qué está saliendo mal.