¿Podemos generalizar todos los métodos de conjunto utilizando la votación? ¿Los métodos de refuerzo también utilizan la votación para incluir a los aprendices débiles en el modelo final?
Mi comprensión de la técnica:
En el caso del boosting, uno de sus inventores da una respuesta afirmativa en este introducción a AdaBoost (énfasis mío):
El final o hipótesis combinada $H$ calcula el signo de una combinación ponderada combinación de hipótesis débiles $$F(x) = \sum_{t=1}^T\alpha_th_t(x)$$ Esto equivale a decir que $H$ se calcula como voto mayoritario ponderado de las hipótesis débiles $h_t$ donde a cada uno se le asigna un peso $\alpha_t$ . (En este capítulo, utilizamos los términos "hipótesis" y "clasificador" indistintamente).
Así que sí, el modelo final devuelto es un voto ponderado de todos los aprendices débiles entrenados hasta esa iteración. Asimismo, encontrará este fragmento en Wikipedia sobre el impulso en general:
Si bien el boosting no tiene restricciones algorítmicas, la mayoría de los algoritmos de boosting consisten en aprender iterativamente clasificadores débiles con respecto a una distribución y añadirlos a un clasificador fuerte final. Cuando se añaden, normalmente se ponderan de alguna manera que suele estar relacionada con la precisión de los aprendices débiles.
Obsérvese también la mención que se hace en ella de que los algoritmos originales de boosting utilizaban una "mayoría". La noción de votación está muy arraigada en el boosting: Su principio rector es mejorar un conjunto en cada iteración añadiendo un nuevo votante, y decidiendo entonces qué peso dar a cada voto.
Esta misma intuición es válida para el ejemplo de refuerzo del gradiente : En cada iteración $m$ encontramos un nuevo alumno $h_m$ ajustado a los pseudo-residuos, y luego optimizar $\gamma_m$ para decidir cuánto peso dar $h_m$ "voto".
Tal y como están las cosas, algunos considerarían que incluso la noción de ponderación estira la metáfora de la votación. A la hora de considerar si se extiende esta intuición a todo aprendizaje en conjunto de los métodos, considere este fragmento:
Los conjuntos combinan múltiples hipótesis para formar una hipótesis (con suerte) mejor. El término conjunto suele reservarse para los métodos que generan múltiples hipótesis utilizando el mismo aprendiz base.
Y este otro sobre el método de conjunto de ejemplo de apilamiento :
El apilamiento (a veces llamado generalización apilada) implica el entrenamiento de un algoritmo de aprendizaje para combinar las predicciones de varios otros algoritmos de aprendizaje. En primer lugar, se entrenan todos los demás algoritmos utilizando los datos disponibles y, a continuación, se entrena un algoritmo combinador para realizar una predicción final utilizando todas las predicciones de los demás algoritmos como entradas adicionales. Si se utiliza un algoritmo combinador arbitrario, el apilamiento puede representar teóricamente cualquiera de las técnicas de conjunto descritas en este artículo, aunque en la práctica se suele utilizar un modelo de regresión logística de una sola capa como combinador.
Si se definen métodos de conjunto para incluir métodos de apilamiento con un combinador arbitrario, se pueden construir métodos que, en mi opinión, estiran la noción de votación más allá de su límite. Es difícil ver cómo una colección de aprendices débiles combinados a través de un árbol de decisión o una red neuronal puede ser vista como "votación". (Dejando a un lado la también difícil cuestión de cuándo ese método podría resultar útil en la práctica).
Algunos presentaciones describen los conjuntos y la votación como sinónimos; no estoy lo suficientemente familiarizado con la literatura reciente sobre estos métodos para decir cómo se aplican estos términos en general recientemente, pero espero que esta respuesta dé una idea de hasta dónde se extiende la noción de votación.
El boosting es diferente del bagging (votación). No veo la forma de interpretar el "boosting" como una "votación" (ver mi edición para más detalles).
La votación (especialmente el voto mayoritario) suele significar la decisión combinada de los clasificadores semanales "separados/menos correlacionados".
En el boosting, estamos construyendo un clasificador sobre otro. Por lo tanto, no son "compañeros separados", sino que uno es "menos débil que otro".
Mis respuestas aquí dan un desglose de la potenciación por iteraciones.
El ejemplo consiste en tratar de aproximar una función cuadrática mediante la potenciación en el muñón de decisión.
Después de ver otra respuesta, creo que la respuesta a esta pregunta depende de cómo definamos "votación". ¿Consideramos la suma ponderada como una votación? Si es así, creo que todavía podemos decir que el boosting puede ser generalizado con la votación.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
