En la "fuerza" de la debilidad de los educandos

Question

Tengo varios estrechamente relacionados con las preguntas con respecto débil alumnos en el conjunto de aprendizaje (por ejemplo, impulsar la).

1. Esto puede sonar tonto, pero ¿cuáles son los beneficios de usar débiles frente a los fuertes de los alumnos? (por ejemplo, ¿por qué no impulsar con "fuerte" de los métodos de aprendizaje?)
2. ¿Hay algún tipo de "óptima" la fuerza de los débiles de los alumnos (por ejemplo, manteniendo todos los demás conjunto de parámetros fijos)? Hay un "sweet spot" cuando se trata de su fuerza?
3. ¿Cómo podemos medir la fuerza de la debilidad del alumno con respecto a la del conjunto resultante método. ¿Cómo podemos medir cuantitativamente los beneficios marginales de la utilización de un conjunto?
4. ¿Cómo podemos comparar varios débil algoritmos de aprendizaje para decidir cuál utilizar para un determinado conjunto de método?
5. Si un determinado conjunto de método ayuda a los débiles de los clasificadores más que fuertes, ¿cómo podemos decirle a un determinado clasificador ya es "demasiado fuerte" para producir ningún beneficio significativo cuando impulsar con él?

Answer 1

Esto puede ser más en el embolsado de espíritu, pero, sin embargo:

• Si usted realmente tiene un fuerte alumno, no hay necesidad de mejorar en cualquier conjunto de cosas.
• Me gustaría decir que... irrelevante. En el mezclado y ensacado trivialmente, en el impulso de hacer una demasiado fuerte clasificador puede llevar a algunos incumplimientos en la convergencia (es decir, una suerte de predicción puede hacer la siguiente iteración para predecir el ruido puro y por lo tanto disminuir el rendimiento), pero esto suele ser reparado en el procedimiento de iteraciones.

• De nuevo, esto no es el verdadero problema. La esencia de los métodos es

  1. la fuerza de la parcial de los clasificadores a mirar más profundamente en el problema.
  2. únete sus predicciones para atenuar el ruido y amplificar la señal.

  1) necesita un poco de atención en el impulso (es decir, buena impulsar el esquema, se portaba bien parcial alumno, pero esto es principalmente para ser juzgado por los experimentos en todo el boost), 2) en el embolsado y la mezcla (sobre todo de cómo garantizar que la falta de correlación entre estudiantes y no overnoise el conjunto). Mientras que esto está bien, la exactitud de parcial clasificador es un tercer orden de problema.

Answer 2

En primer lugar, las nociones de "débil" y "fuerte" son sólo débilmente definidos. Desde mi punto de vista que deben ser definidos en relación a la óptima clasificador de Bayes, que es el objetivo de cualquier algoritmo de entrenamiento. Con esto en mente, mi respuesta a tres de los puntos de la siguiente manera.

1. Computacional como yo lo veo. Más débil de estudiantes que conozco son computacionalmente rápido (y de lo contrario no vale la pena consideración). Un punto importante en el conjunto de aprendizaje es, precisamente, que podemos combinar simple y rápido, pero no tan buenos, los alumnos y mejorar la tasa de error. Si utilizamos más fuerte (y computacionalmente más exigentes de los alumnos, el espacio para las mejoras se vuelven más pequeñas, sin embargo, el coste computacional se hace más grande, lo que hace que el uso del conjunto de métodos menos interesante. Por otra parte, una sola fuertes alumno puede ser más fáciles de interpretar. Sin embargo, lo que es débil y lo fuerte depende del problema y en el óptimo de Bayes tasa que intentamos lograr. Por lo tanto, si un alumno que a menudo se considera fuerte todavía deja espacio para mejoras cuando impulsar y potenciar es computacionalmente factible, a continuación, hacer aumentar ...
2. Esto dependerá de los criterios que se utiliza para medir "óptima". En términos de tasa de error, yo diría que no (doy la bienvenida a cualquier correcciones si otros tienen una experiencia diferente). En términos de velocidad, tal vez, pero me imagino que esto es altamente dependiente del problema. No conozco la literatura frente a esto, lo siento.
3. ?
4. La validación cruzada, de la validación cruzada, la validación cruzada. Como cualquier otra comparación de métodos para el entrenamiento con el objetivo de hacer predicciones necesitamos estimaciones imparciales de la generalización de error para la comparación, lo cual puede lograrse mediante el establecimiento de lado un conjunto de datos de prueba o de la aproximación de este por validación cruzada.