Aprendizaje automático SVM

Question

Si se entrena un modelo mediante una SVM a partir de datos del núcleo, el modelo entrenado resultante contiene vectores de soporte. Ahora consideremos el caso de entrenar un nuevo modelo utilizando los datos antiguos ya presentes más una pequeña cantidad de datos nuevos también. SO:

1. ¿Deben combinarse los nuevos datos con los vectores de soporte del modelo anterior para formar el nuevo conjunto de entrenamiento? (En caso afirmativo, ¿cómo combinar los vectores de soporte con los nuevos datos del gráfico? Estoy trabajando en libsvm .)

   O:

2. ¿Deben combinarse los nuevos datos y los datos antiguos completos y formar el nuevo conjunto de entrenamiento y no sólo los vectores de soporte del antiguo?

¿Qué enfoque es mejor para el reentrenamiento, y/o es más factible y eficiente en términos de precisión y memoria?

Answer 1

Tanto la 1 como la 2 describen técnicas que serían válidas en diversas circunstancias.

En (1), básicamente estás utilizando un modelo parcialmente apilado (manteniendo los "nuevos datos", con lo que supongo que te refieres a variables adicionales no consideradas por el modelo SVM inicial).

En (2), estaría aplicando el modelo SVM a todo el conjunto de datos, incluyendo las nuevas variables.

Es muy difícil decir, sin ningún otro conocimiento contextual, cuál de estos enfoques produciría "mejores" resultados para su modelo; como siempre, lo mejor sería probar ambos enfoques (con la debida validación cruzada) para determinar el "mejor" en función de sus objetivos.

Suponiendo que ya tiene los vectores de soporte para el entrenamiento inicial del modelo, (1) será mucho más barato (proporcionalmente al número de variables independientes en el modelo inicial) en términos de memoria que (2), ya que el número de dimensiones (variables) pasadas al algoritmo es comparativamente menor en (1).