¿Cuál es la forma más fácil de entender el refuerzo?
¿Por qué no potencia los clasificadores muy débiles "hasta el infinito" (la perfección)?
Respuestas
¿Demasiados anuncios?
En pocas palabras: Si su clasificador clasifica mal algunos datos, entrene otra copia del mismo principalmente en esta parte mal clasificada con la esperanza de que descubra algo sutil. Y luego, como siempre, iterar. En el camino hay algunos esquemas de votación que permiten combinar todas esas predicciones de los clasificadores de manera sensata.
Porque a veces es imposible (el ruido sólo oculta parte de la información, o ni siquiera está presente en los datos); por otro lado, reforzar demasiado puede llevar a un sobreajuste.
David J. Sokol
Puntos
1730
El refuerzo emplea la contracción a través del parámetro de la tasa de aprendizaje, que, junto con k -La validación cruzada doble, las predicciones "fuera de bolsa" (OOB) o el conjunto de pruebas independiente, determinan el número de árboles que se debe mantener en el conjunto.
Queremos un modelo que aprenda lentamente, de ahí que haya un compromiso en cuanto a la complejidad de cada modelo individual y el número de modelos a incluir. Los consejos que he visto sugieren que hay que establecer la tasa de aprendizaje más baja posible (teniendo en cuenta el tiempo de cálculo y los requisitos de espacio de almacenamiento), mientras que la complejidad de cada árbol debe seleccionarse en función de si se permiten las interacciones, y en qué grado, cuanto más complejo sea el árbol, más complejas serán las interacciones que pueden representarse.
La tasa de aprendizaje se elige en el rango $[0,1]$ . Los valores más pequeños ( $<0.01$ ) preferido. Se trata de una ponderación aplicada a cada árbol para rebajar la contribución de cada modelo a los valores ajustados.
k -El CV doble (o las predicciones OOB o el conjunto de pruebas independientes) se utiliza para decidir cuándo el modelo reforzado ha empezado a sobreajustarse. Esencialmente, esto es lo que nos impide impulsar el modelo perfecto, pero es mejor aprender lentamente para tener un gran conjunto de modelos que contribuyan al modelo ajustado.
MOnsDaR
Puntos
108
"¿Por qué no potencia los clasificadores muy débiles "hasta el infinito" (la perfección)?"
Porque los clasificadores débiles no existen.
Si lo hicieran, la potenciación obtendría siempre resultados perfectos. Como no es así, los clasificadores débiles no existen (es decir, no hay ningún método que, dado un conjunto ponderado de puntos de datos y etiquetas arbitrarias, devuelva siempre un clasificador mejor que el trivial).
