Que rango de la búsqueda para la determinación de la SVM los parámetros óptimos?

Question

Estoy usando SVM para la clasificación y estoy tratando de determinar los parámetros óptimos para el lineal y el RBF núcleos. Para el lineal del núcleo I utilizar cruz-validar la selección de parámetros para determinar C y para el RBF kernel puedo usar cuadrícula de búsqueda para determinar C y gamma.

Tengo 20 (numérico) características y 70 ejemplos de formación que deben ser clasificadas en 7 clases.

Mi cuestión es que el rango de búsqueda que debo utilizar para determinar los valores óptimos para el C y gamma de parámetros.

Answer 1

Echa un vistazo a Una guía práctica para la SVM Clasificación para algunos indicadores, en particular la página 5.

Recomendamos una "red de búsqueda" en la $C$ $\gamma$ mediante la validación cruzada. Varios pares de $(C,\gamma)$ valores son juzgados y con la mejor precisión de validación cruzada es recogido. Hemos encontrado que tratando de crecimiento exponencial de las secuencias de $C$ $\gamma$ es un método práctico para identificar las buenas parámetros (por ejemplo, $C = 2^{-5},2^{-3},\ldots,2^{15};\gamma = 2^{-15},2^{-13},\ldots,2^{3}$).

Recuerde a normalizar sus datos y, si puede, obtener más datos porque por lo que parece, tu problema podría ser muy indeterminado.

Answer 2

Echa un vistazo a la sección 2.3.2 de este documento por Chapelle y Zien. Tienen un bonito heurística para seleccionar un buen rango de la búsqueda para $\sigma$ de la RBF kernel y $C$ de la SVM. Cito

Para determinar los valores de los restantes parámetros libres (por ejemplo, por la CV), es importante buscar en la escala de la derecha. Por lo tanto, fijar por defecto los valores de $C$ $\sigma$ que tienen el derecho de orden de magnitud. En un $c$-clase de problema utilizamos el $1/c$ cuantil de los pares distancias $D^\rho_{ij}$ de todos los datos de los puntos como valor predeterminado para $\sigma$. El valor predeterminado para $C$ es la recíproca de la parte empírica de la varianza $s^2$ en características de espacio, que puede ser calculado por $s^2 = \frac{1}{n} \sum_i K_{ii} - \frac{1}{n^2}\sum_{i,j} K_{ij}$ de un $n\times n$ kernel matriz $K$.

Después, se utilizan múltiplos (por ejemplo,$2^k$$k\in \{-2,...,2\}$) del valor por defecto rango de búsqueda en una cuadrícula de búsqueda mediante la validación cruzada. Que siempre ha trabajado muy bien para mí.

Por supuesto, nosotros @ciri, dijo, la normalización de los datos, etc. siempre es una buena idea.