¿Cuál es la influencia de C en las SVM con núcleo lineal?

Question

Actualmente estoy utilizando una SVM con un núcleo lineal para clasificar mis datos. No hay ningún error en el conjunto de entrenamiento. He probado varios valores para el parámetro $C$ ( $10^{-5}, \dots, 10^2$ ). Esto no cambió el error en el conjunto de pruebas.

Ahora me me pregunto: ¿es un error causada por las fijaciones de rubí para libsvm Estoy usando ( rb-libsvm ) o se trata de teóricamente explicable ?

En caso de que el parámetro $C$ ¿se modifica siempre el rendimiento del clasificador?

Answer 1

En una SVM se buscan dos cosas: un hiperplano con el mayor margen mínimo y un hiperplano que separe correctamente el mayor número posible de instancias. El problema es que no siempre podrá conseguir ambas cosas. El parámetro c determina cómo de grande es tu deseo de conseguir esto último. He dibujado un pequeño ejemplo a continuación para ilustrar esto. A la izquierda tienes un c bajo que te da un margen mínimo bastante grande (morado). Sin embargo, esto requiere que despreciemos el círculo azul atípico que no hemos clasificado correctamente. A la derecha tiene una c alta. Ahora no descuidará el valor atípico y, por lo tanto, terminará con un margen mucho menor.

Entonces, ¿cuáles de estos clasificadores son los mejores? Eso depende de cómo sean los datos futuros que se van a predecir, y la mayoría de las veces no se sabe, por supuesto. Si los datos futuros se parecen a esto:

entonces el clasificador aprendido utilizando un valor c grande es el mejor.

Por otro lado, si los datos futuros son así:

entonces el clasificador aprendido utilizando un valor c bajo es el mejor.

Dependiendo de su conjunto de datos, el cambio de c puede o no producir un hiperplano diferente. Si se hace producir un hiperplano diferente, eso no implica que su clasificador produzca clases diferentes para los datos particulares que ha utilizado para clasificar. Weka es una buena herramienta para visualizar los datos y jugar con diferentes ajustes para una SVM. Puede ayudarle a tener una mejor idea de cómo se ven sus datos y por qué cambiar el valor c no cambia el error de clasificación. En general, al tener pocas instancias de entrenamiento y muchos atributos es más fácil hacer una separación lineal de los datos. También el hecho de que usted está evaluando en sus datos de entrenamiento y no nuevos datos no vistos hace que la separación sea más fácil.

¿De qué tipo de datos está tratando de aprender un modelo? ¿Cuántos datos? ¿Podemos verlos?

Answer 2

El parámetro C indica a la optimización de la SVM cuánto quiere evitar la clasificación errónea de cada ejemplo de entrenamiento. Para valores grandes de C, la optimización elegirá un hiperplano de margen más pequeño si ese hiperplano hace un mejor trabajo para conseguir que todos los puntos de entrenamiento se clasifiquen correctamente. Por el contrario, un valor muy pequeño de C hará que el optimizador busque un hiperplano de separación de mayor margen, incluso si ese hiperplano clasifica mal más puntos. Para valores muy pequeños de C, debería obtener ejemplos mal clasificados, a menudo incluso si sus datos de entrenamiento son linealmente separables.

Answer 3

C es esencialmente un parámetro de regularización, que controla el compromiso entre lograr un bajo error en los datos de entrenamiento y minimizar la norma de los pesos. Es análogo al parámetro de cresta en la regresión de cresta (de hecho, en la práctica hay poca diferencia en el rendimiento o la teoría entre SVM lineal y la regresión de cresta, por lo que generalmente uso esta última - o la regresión de cresta de núcleo si hay más atributos que observaciones).

Ajustar C correctamente es un paso vital en la mejor práctica en el uso de SVM, ya que la minimización del riesgo estructural (el principio clave detrás del enfoque básico) se implementa a través del ajuste de C. El parámetro C impone un límite superior en la norma de los pesos, lo que significa que hay un conjunto anidado de clases de hipótesis indexadas por C. A medida que aumentamos C, aumentamos la complejidad de la clase de hipótesis (si aumentamos ligeramente C, todavía podemos formar todos los modelos lineales que podíamos antes y también algunos que no podíamos antes de aumentar el límite superior de la norma permitida de los pesos). Por lo tanto, además de implementar SRM a través de la clasificación de margen máximo, también se implementa mediante la limitación de la complejidad de la clase de hipótesis a través del control de C.

Lamentablemente, la teoría para determinar cómo establecer C no está muy bien desarrollada por el momento, por lo que la mayoría de la gente tiende a utilizar la validación cruzada (si es que hacen algo).

Answer 4

C es un parámetro de regularización que controla la compensación entre el logro de un bajo error de entrenamiento y un bajo error de prueba, que es la capacidad de generalizar su clasificador a los datos no vistos.

Considere la función objetivo de una SVM lineal : min |w|^2+C∑ξ. Si su C es demasiado grande, el algoritmo de optimización tratará de reducir |w| tanto como sea posible conduciendo a un hiperplano que trata de clasificar cada ejemplo de entrenamiento correctamente. Al hacer esto, se perderán las propiedades de generalización del clasificador. Por otro lado, si su C es demasiado pequeño, le da a su función objetivo cierta libertad para aumentar mucho |w|, lo que llevará a un gran error de entrenamiento.

Las imágenes siguientes pueden ayudarle a visualizarlo.

Answer 5

La mayoría de las respuestas anteriores son bastante buenas, pero permítanme aclarar algo para alguien como yo que tuvo que pasar 3 días en la comprensión de la función de parámetro C en SVM debido a diferentes fuentes.

En el libro ISLR( http://faculty.marshall.usc.edu/gareth-james/ISL/ ) Un C más grande significa que se permite una clasificación errónea mayor, lo que hace que el margen sea más amplio, y un C más pequeño significa que se permite una clasificación errónea menor, lo que lleva a un margen pequeño. Mientras que en todos los recursos que he leído y en la documentación de Python es justo lo contrario.

En realidad es ISLR C se define como el límite superior de la suma de todas las variables de holgura.

Pero en python y otras fuentes( https://shuzhanfan.github.io/2018/05/understanding-mathematics-behind-support-vector-machines/#:~:text=En%20términos%20del%20SVM,%2Bb )%E2%88%921%5D.) Si establecemos C en infinito positivo, obtendremos el mismo resultado que la SVM de margen duro. Por el contrario, si establecemos C a 0, no habrá ninguna restricción más, y terminaremos con un hiperplano que no clasifica nada. Las reglas generales son: los valores pequeños de C darán como resultado un margen más amplio, a costa de algunas clasificaciones erróneas; los valores grandes de C nos darán el clasificador de Margen Duro y toleran la violación de la restricción cero