¿La máquina de vectores de apoyo puede manejar un conjunto de datos desequilibrado?

Question

¿Supera la SVM los conjuntos de datos desequilibrados? ¿Hay algún parámetro (como C, o el coste de la clasificación errónea) que maneje el conjunto de datos desequilibrados?

Answer 1

Para los conjuntos de datos desequilibrados, solemos cambiar la penalización por clasificación errónea por clase. Esto se llama SVM ponderado por clase, que minimiza lo siguiente:

$$ \begin{align} \min_{\mathbf{w},b,\xi} &\quad \sum_{i=1}^N\sum_{j=1}^N \alpha_i \alpha_j y_i y_j \kappa(\mathbf{x}_i,\mathbf{x}_j) + C_{pos}\sum_{i\in \mathcal{P}} \xi_i + C_{neg}\sum_{i\in \mathcal{N}}\xi_i, \\ s.t. &\quad y_i\big(\sum_{j=1}^N \alpha_j y_j \kappa(\mathbf{x}_i, \mathbf{x}_j) + b\big) \geq 1-\xi_i,& i=1\ldots N \\ &\quad \xi_i \geq 0, & i=1\ldots N \end{align}$$

donde $\mathcal{P}$ y $\mathcal{N}$ representan las instancias de entrenamiento positivas/negativas. En la SVM estándar sólo tenemos una única $C$ mientras que ahora tenemos 2. La penalización por clasificación errónea de la clase minoritaria se elige para que sea mayor que la de la clase mayoritaria.

Este enfoque se introdujo bastante pronto, se menciona por ejemplo en un documento de 1997:

Edgar Osuna, Robert Freund y Federico Girosi. Máquinas de vectores de apoyo: Entrenamiento y aplicaciones. Informe técnico AIM-1602, 1997. ( pdf )

En esencia, esto equivale a un sobremuestreo de la clase minoritaria: por ejemplo, si $C_{pos} = 2 C_{neg}$ esto es totalmente equivalente a entrenar una SVM estándar con $C=C_{neg}$ después de incluir cada positivo dos veces en el conjunto de entrenamiento.

Answer 2

Las SVM son capaces de manejar conjuntos de datos con frecuencias de clase desequilibradas. Muchas implementaciones le permiten tener un valor diferente para la penalización de holgura (C) para las clases positivas y negativas (que es asintóticamente equivalente a cambiar las frecuencias de clase). Yo recomendaría establecer los valores de estos parámetros para maximizar el rendimiento de la generalización en un conjunto de pruebas en el que las frecuencias de clase sean las que usted espera ver en el uso operativo.

Yo fui una de las muchas personas que escribieron artículos sobre esto, aquí está mina Veré si puedo encontrar algo más reciente/mejor. Prueba con Veropoulos, Campbell y Cristianini (1999).