SVM con pesos no negativos

Question

Un clasificador SVM puede obtenerse resolviendo la siguiente,

$\arg\min \frac{1}{2}\|W\|_2^2 + C\sum_i \max(0, 1-y_i (W^T\mathbf{x}_i + b))$

donde $W$ es el hyperplane (o pesos), $b$ es el sesgo, $y_i$ es la etiqueta y la $\mathbf{x}_i$ es la característica de una instancia $i$.

Por alguna razón necesito constaint todos los elementos en $W$ debe ser no negativo, es decir,$w_j \geq 0, \forall j$. El sesgo puede tomar cualquier valor.

1. Es esto razonable?
2. Si es así, ¿hay alguna pakages (por ejemplo, liblinear) puedo utilizar directamente para esto?
3. ¿Cómo puedo optimizar $W$ con un valor no negativo limitaciones?

Answer 1

Inicialmente, creo que el modelo está bien, pero no sé si algún paquete puede resolver este modelo directamente.

Un método es que puede intentar escribir la forma dual de este problema. Creo que será un problema de QP con restricciones no negativas adicionales.

Alternativamente, también puede intentar encontrar algunos algoritmos que actualicen$w_{i}$ por separado para que pueda reescribir ligeramente las fórmulas de iteración con$w_i^* = max(w_i, 0)$.

Answer 2

Como @Ben Dai sugiere, este parece que va a ser un problema de programación cuadrática con restricciones de desigualdad. Hay diversas general de programación cuadrática paquetes disponibles que pueden ser utilizados para resolver el problema, tales como la quadprog de la rutina en MATLAB optimización de la caja de herramientas. Esta es sólo la rutina que he utilizado, pero hay muchos otros paquetes para este tipo de problema.