Cálculo del límite de decisión de un modelo SVM lineal

Question

Dados los vectores de soporte de una SVM lineal, ¿cómo puedo calcular la ecuación de la frontera de decisión?

Answer 1

El Elementos de aprendizaje estadístico de Hastie et al., tiene un capítulo completo sobre los clasificadores de vectores de soporte y los SVM (en su caso, empiece por la página 418 de la 2ª edición). Otro buen tutorial es Máquinas de vectores soporte en R por David Meyer.

A menos que haya entendido mal su pregunta, el límite de decisión (o hiperplano) está definido por $x^T\beta + \beta_0=0$ (con $\|\beta\|=1$ y $\beta_0$ el término de intercepción), o como dijo @ebony una combinación lineal de los vectores de soporte. El margen es entonces $2/\|\beta\|$ siguiendo las anotaciones de Hastie et al.

Desde la ayuda en línea de ksvm() en el kernlab R, pero véase también kernlab - Un paquete S4 para métodos kernel en R Aquí tienes un ejemplo de juguete:

set.seed(101)
x <- rbind(matrix(rnorm(120),,2),matrix(rnorm(120,mean=3),,2))
y <- matrix(c(rep(1,60),rep(-1,60)))
svp <- ksvm(x,y,type="C-svc")
plot(svp,data=x)

Tenga en cuenta que, en aras de la claridad, no consideramos las muestras de entrenamiento y de prueba. Los resultados se muestran a continuación, donde el sombreado de color ayuda a visualizar los valores de decisión ajustados; los valores alrededor de 0 están en el límite de decisión.

Llamando a attributes(svp) le da atributos a los que puede acceder, por ejemplo

alpha(svp)  # support vectors whose indices may be 
            # found with alphaindex(svp)
b(svp)      # (negative) intercept 

Así pues, para mostrar la frontera de decisión, con su correspondiente margen, probemos lo siguiente (en el espacio reescalado), que se inspira en gran medida en un tutorial sobre SVM realizado hace tiempo por Jean-Philippe Vert :

plot(scale(x), col=y+2, pch=y+2, xlab="", ylab="")
w <- colSums(coef(svp)[[1]] * x[unlist(alphaindex(svp)),])
b <- b(svp)
abline(b/w[1],-w[2]/w[1])
abline((b+1)/w[1],-w[2]/w[1],lty=2)
abline((b-1)/w[1],-w[2]/w[1],lty=2)

Y aquí está:

Answer 2

Es una combinación lineal de los vectores soporte donde los coeficientes vienen dados por los multiplicadores de Lagrange correspondientes a estos vectores soporte.