kNN y clases desequilibradas

Question

¿Cree que las clases desequilibradas son un gran problema para el vecino más cercano? Si es así, ¿conoces alguna forma inteligente de solucionarlo?

Answer 1

Creo que la respuesta de Peter Smit más arriba confunde K nearest neighbor (KNN) y K-means, que son muy diferentes.

KNN es susceptible al desequilibrio de clases, como se describe bien aquí: https://www.quora.com/Why-does-knn-get-effected-by-the-class-imbalance

Answer 2

El desequilibrio en el tamaño de las clases es un problema tanto teórico como práctico con KNN que se ha caracterizado en la literatura de aprendizaje automático desde al menos 2003. Esto es especialmente molesto cuando algunas clases tienen una baja ocurrencia en su conjunto de datos primario (por ejemplo: detección de fraude, detección de enfermedades, filtrado de spam).

Una búsqueda en Google Scholar 1 muestra varios artículos que describen el problema y las estrategias para mitigarlo mediante la personalización del algoritmo KNN:

• la ponderación de los vecinos por la inversa de su tamaño de clase convierte los recuentos de vecinos en la fracción de cada clase que cae en sus K vecinos más cercanos
• ponderación de los vecinos por sus distancias
• utilizar una regla basada en el radio para reunir a los vecinos en lugar de los K más cercanos (a menudo implementada en los paquetes KNN)

También me han resultado útiles estos dos blogs para obtener información general sobre el desequilibrio en el tamaño de las clases.

• https://machinelearningmastery.com/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/
• https://elitedatascience.com/imbalanced-classes

Answer 3

Me gustaría añadir una observación - knn es sensible a digamos el número de observaciones en el límite de la clase dada al número total de observaciones en esa clase. Si tienes tres clases con el mismo número de observaciones de la misma distribución pero con diferentes medias y la segunda clase está visiblemente nublada entre otras dos - su valor esperado está entre otras dos, entonces hay más errores de clasificación en la clase número dos. Pero algo así ocurre con todos los clasificadores.

Answer 4

En principio, las clases desequilibradas no suponen ningún problema para el algoritmo k-próximo.

Dado que el algoritmo no está influenciado de ninguna manera por el tamaño de la clase, no favorecerá a ninguna en función del tamaño. Intente ejecutar k-means con un valor atípico obvio y k+1 y verá que la mayoría de las veces el valor atípico tendrá su propia clase.

Por supuesto, con conjuntos de datos difíciles siempre es recomendable ejecutar el algoritmo varias veces. Esto es para evitar problemas debido a una mala inicialización.