Multi-clase de la clasificación a través de todos los pares de las clasificaciones LDA

Question

He entrenado el análisis discriminante lineal (LDA) clasificadores por tres clases de el IRIS de datos y luchando con cómo hacer la clasificación. Aquí es el procedimiento:

Para que el Iris de datos, tengo 3 combinaciones es decir, (0,1), (0,2) y (1,2). Así que, he entrenado a un simple binario LDA clasificador para cada combinación, y terminó con tres clasificadores:

Classifier(0,1)
Classifier(0,2)
Classifier(1,2)

Ahora bien, decir que necesita para clasificar una entrada, dicen k = [1.2, 2.3, 5.0]. Lo que yo estoy haciendo es aprobar esta entrada a través de todos los clasificadores de forma individual, que me están dando sus respectivos puntajes, como:

Classifier(0,1)[k] = {0: some score, 1: some score}
Classifier(0,2)[k] = {0: some score, 2: some score}
Classifier(1,2)[k] = {1: some score, 2: some score}

En un simple binario caso de las dos clases, lo que se nos enseña a hacer es tomar la clase con la máxima puntuación, como el resultado. Mi pregunta es, ¿qué hacer en un escenario, donde tengo tres resultados de tres diferentes clasificadores, y quiero clasificar la salida. Por favor, tenga en cuenta que no estoy utilizando un multiclase LDA. Yo estoy utilizando un binario LDA para todas las combinaciones posibles, una técnica en la que se indica aquí:

http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

citando el último párrafo de esta sección: "Otro método común es el de a pares clasificación, donde un nuevo clasificador es creado para cada par de clases (dando C(C − 1)/2 clasificadores en total), con el individuo clasificadores se combinan para producir una clasificación final."

Puede alguien por favor me ilumine sobre lo que se necesita hacer en este caso para la clasificación? Gracias.

Answer 1

Esta pregunta no está restringido a la LDA, pero se puede preguntar sobre cualquier clasificador binario que se utiliza en un multi-configuración de la clase, haciendo todas las comparaciones por pares. La pregunta es cómo combinar todos los pares de clasificaciones en una clasificación final.

El enfoque más simple es la siguiente. Cada una de las $\frac{K(K-1)}{2}$ pares de los clasificadores de los resultados en un "ganador" de la clase (entre los dos). Contar el número de triunfos para cada una de las clases (con el límite superior $K-1$), y asignar la observación a la clase con más victorias. Tenga en cuenta que este simple "votar" enfoque funciona incluso si el clasificador de no devolver una probabilidad de pertenecer a cada una de las dos clases, sino que simplemente los informes de pares de decisiones.

Cuando cada uno de los pares de los clasificadores de los informes no sólo por pares decisiones, sino también de la probabilidad de pertenencia a cada una de las dos clases, más sofisticados algoritmos de ser posible. No puedo dar una reseña o un consejo, pero hay una popularidad masiva de 2004 en papel (más de 1k citas según Google Scholar), que revisa exactamente esta pregunta, y ofrece algunas novela métodos:

• Wu, T. F., Lin, C. J., & Weng, R. C. (2004). Estimaciones de la probabilidad de multi-clase de la clasificación por pares de acoplamiento. El Diario de Aprendizaje de la Máquina de la Investigación, 5, 975-1005.

Me imagino, sin embargo, que en muchas situaciones reales que el simple método de votación ya dan resultados razonables.

Actualización: En el PNA versión de este mismo trabajo, los autores del informe de rendimiento de varios métodos, incluyendo el "voto" a uno, a varios conjuntos de datos reales con el número de clases que van de los 6 a los 26, consulte la Tabla 1. El método de votación parece ser muy competitivo en cada caso. En algunos conjuntos de datos, incluso parece superar a todos los demás, mucho más sofisticado, métodos.