¿Cada miembro de un conjunto tiene que estar compuesto por el mismo tipo de modelo?

Question

Me interesa el modelado de conjuntos y he investigado mucho sobre cómo la gente crea su modelo de conjuntos.

Pero hay diferentes maneras en que la gente lo crea y estoy confundido sobre cuál es la correcta.

Voy a enumerar los tipos y, por favor, dígame cuál es la forma correcta de crear un modelo de clasificación de conjunto.

Tipo 1. Crea 10 modelos con el mismo algoritmo pero con diferentes parámetros.

Por ejemplo, KNN(k=1),KNN(k=2),KNN(k=3),...KNN(k=10).

Tipo 2. Crea 10 modelos con 10 algoritmos diferentes.

Por ejemplo, SVC, NuSVC, Naive Bayes, Bernoulli Naive Bayes, Gaussian Naive Bayes,...

p.d. He aprendido que SVC y NuSVC es SVM pero se implementa de manera diferente. ¿Deben tratarse estos dos como algoritmos diferentes porque hacen lo mismo? Lo mismo sobre los diferentes algoritmos de Naive Bayes

Answer 1

En realidad, ambas formas son válidas y la selección del enfoque se basa en el rendimiento en un conjunto de datos concreto.

Para las competiciones en Kaggle, los ganadores han utilizado ambos juntos también para conseguir pequeños saltos en la tabla de clasificación.

Consulte la siguiente guía práctica sobre el conjunto de modelos - http://mlwave.com/kaggle-ensembling-guide/

La eficacia del método variará de un problema a otro, pero en la mayoría de los casos he visto que el método 2 es más eficaz que el 1.