Uso del parámetro Gamma con máquinas vectoriales de soporte

Question

Cuando se utiliza libsvm , el parámetro$\gamma$ es un parámetro para la función kernel. Su valor predeterminado se configura como$\frac{1}{Number Of Features}$

¿Existe alguna guía teórica para configurar este parámetro además de los métodos existentes, por ejemplo, la búsqueda de cuadrícula?

Answer 1

Sugiero los siguientes orientación teórica. Cuando usted está usando Gauss kernel RBF, su separación de la superficie se basa en una combinación de forma de campana superficies centrada en cada uno de los vectores de soporte. El ancho de cada forma de campana de la superficie será inversamente proporcional a $\gamma$. Si este ancho es menor que el mínimo de pares de distancia de sus datos, que tienen esencialmente el sobreajuste. Si este ancho es mayor que el máximo de pares de distancia de sus datos, todos los puntos caen dentro de una clase, y usted no tiene un buen rendimiento. De modo que la anchura óptima debería estar en algún lugar entre estos dos extremos.

Answer 2

No, es esencialmente dependiente de los datos. La búsqueda de cuadrícula (sobre los hiperparámetros log-transformados) es un método muy bueno si sólo tiene un pequeño número de hiperparámetros para sintonizar, pero no haga que la resolución de la cuadrícula sea demasiado fina o es probable que sobrepase la afinación criterio. Para problemas con un mayor número de parámetros del kernel, encuentro que el método simplex de Nelder-Mead funciona bien.