Bagging, boosting y apilado en el aprendizaje de máquina

Question

¿Qué similitudes y diferencias entre estos 3 métodos: bagging, boosting, apilado?

Cual es el mejor? Y ¿por qué?

Me puede dar un ejemplo para cada uno de ellos?

Answer 1

Estos son los diferentes enfoques para mejorar el rendimiento de su modelo (los llamados meta-algoritmos):

1. Embolsado (stands para Bootstrap Aggregation) es la forma de disminuir la varianza de la predicción mediante la generación de datos adicionales para la formación original de su conjunto de datos utilizando combinaciones con repeticiones para producir multisets de la misma cardinalidad/tamaño de los datos originales. Por aumentar el tamaño del conjunto de entrenamiento no se puede mejorar el modelo de predicción de la fuerza, pero sólo disminuir la varianza, indicio de que la afinación de la predicción del resultado esperado.

2. Impulsar es un enfoque para calcular la salida utilizando varios modelos diferentes y, a continuación, en promedio el resultado de un promedio ponderado de enfoque. Mediante la combinación de las ventajas y desventajas de estos enfoques variando su ponderación, la fórmula que usted puede venir para arriba con una buena predicción de la fuerza para una amplia gama de entrada de datos, el uso de diferentes estrecha sintonía modelos.

3. El apilamiento es similar a impulsar: también puede aplicar varios modelos de datos original. La diferencia es que aquí, sin embargo, que usted no tiene solo una fórmula empírica para su función peso, en lugar de introducir un meta-nivel y el uso de otro modelo o un método para la estimación de la entrada junto con las salidas de cada modelo para estimar los pesos o, en otras palabras, para determinar qué modelos funcionan bien y qué mal dados estos datos de entrada.

Como se puede ver, todos estos son enfoques diferentes para combinar varios modelos en uno mejor, y no hay un solo ganador aquí: todo depende de su dominio y lo que vamos a hacer. Usted todavía puede tratar de apilamiento como una especie de más avances impulsar, sin embargo, la dificultad de encontrar un buen enfoque para su meta-nivel dificulta la aplicación de este enfoque en la práctica.

Algunos breves ejemplos de cada uno:

1. Embolsado: datos de Ozono.
2. Impulso: se utiliza para mejorar el reconocimiento óptico de caracteres (OCR) de precisión.
3. Apilamiento: se utiliza en K-fold cross validation algoritmos.