Máquina de vectores soporte: una simple pregunta

Question

Creo que una formulación de SVM para puntos x con etiqueta y es:

$$\begin{align} \arg\min{\substack{u,w,b}} \frac{1}{2} \cdot |w|^2 + C \cdot \sum{i} u_i \ s.t.\ \ y_i\cdot (w \cdot x_i + b) &\geq 1-u_i \\ u_i \geq 0 \ \end {Alinee el} $$

¿En esa formulación, si tomamos C = 0, lo que impide que $u_i$ ir hasta el infinito, por lo que las dos restricciones se cumplen siempre?

Answer 1

No creo que el $u_i$s va a ir hasta el infinito. Si $C$ se establece a cero, esto deshabilita de manera eficaz las restricciones de la desigualdad, por lo que el problema de optimización es sólo para minimizar el cuadrado de la norma de pesos, que tiene una solución trivial en $w = 0$. Sustituyendo esto en $y_i(w \cdot x_i + b) \geq 1 - u_i$ da $y_i b \geq 1 - u_i$ que está satisfecho por $u_i = 1 - y_i b$. Esto significa que habrá una solución en la que el $u_i$ son finitos, siempre una elección sensata está hecho para $b$. Si el software se encuentra realmente a esta solución, es otro asunto; sin embargo, como el establecimiento de C=0 es, efectivamente, diciendo la SVM ignorar por completo los datos de entrenamiento, tal vez no demasiado sorprendente que el programador no tuvo en cuenta este!

Answer 2

En realidad, la variable % parafina $u_i$significa la tolerancia del etiquetado incompatibles con la función lineal $y_i$ $(wx_i +b)$. El factor $C$ "ajusta" el peso de la tolerancia total. Por lo tanto, podría ser problemático en el caso de que el conjunto de $C$ ajuste del ${x_i,y_i}$ a cero no linealmente separables.