Kernel regresión logística vs SVM

Question

Es conocido por todos, SVM puede utilizar método kernel para puntos de datos de proyecto en mayores espacios para que los puntos pueden ser separados por un espacio lineal. Pero también podemos utilizar regresión logística para elegir este límite en el espacio del núcleo, ¿cuál es las ventajas de la SVM? ¿SVM utiliza un modelo escaso en el que sólo los apoyan vectores hacer contribuciones al predecir, esto hace más rápido de la SVM en predicción?

Answer 1

KLRs y SVMs

1. Rendimiento de la clasificación es casi idéntico en ambos casos.
2. KLR puede dar clase de probabilidades, mientras que la SVM es un determinista clasificador.
3. KLR tiene una extensión natural de multi-clase de la clasificación mientras que en SVM, hay varias maneras de extender a multi-clase de la clasificación (y todavía es un área de investigación si hay una versión que tiene seguramente cualidades superiores sobre los demás).
4. Sorprendentemente o no es de sorprender, KLR también tiene margen óptimo de las propiedades que las SVMs disfrutar (bien en el límite, al menos)!

Mirando por encima de la que casi se siente como núcleo de la regresión logística es lo que usted debe utilizar. Sin embargo, hay ciertas ventajas que SVMs disfrutar

1. KLR es computacionalmente más costoso que el SVM - $O(N^3)$ vs $O(N^2k)$ donde $k$ es el número de vectores de soporte.
2. El clasificador en SVM está diseñado de tal forma que se define sólo en términos de los vectores de soporte, mientras que en la KLR, el clasificador se define sobre todos los puntos y no sólo el apoyo de los vectores. Esto permite SVMs para disfrutar de algunos de los naturales de speed-ups (en términos de código eficiente-escritura) que es difícil de lograr para la KLR.

Answer 2

Aquí está mi opinión sobre el tema:

SVMs son una manera elegante de hacer la clasificación. Hay algunos teoría es buena, algunos hermosos matemáticas, generalizan bien, y no están demasiado lento. Intenta utilizarlos para la regresión, y consigue sucio.

• He aquí un recurso en SVM de regresión. Observe los parámetros adicionales para juguetear y el debate en profundidad acerca de los algoritmos de optimización.

Gauss Proceso de Regresión tiene una gran cantidad de la misma kernelly de matemáticas, y funciona muy bien para la regresión. De nuevo, la muy elegante, y no es demasiado lento. Intenta utilizarlos para la clasificación, y se comienza a sentirse bastante desacoplados.

• He aquí un capítulo de la GP libro en la regresión.

• Aquí está un capítulo sobre clasificación, para la comparación. Aviso de que usted termina con un complicado aproximaciones o un método iterativo.

Una cosa buena acerca del uso de GPs para la clasificación, sin embargo, es que te da una predicción de la distribución, en lugar de un simple sí/no clasificación.

Answer 3

por favor visite http://www.stanford.edu/~hastie/Papers/svmtalk.pdf

Algunas conclusiones: el rendimiento de la clasificación es muy similar. Tiene propiedades de margen óptimo de limitación. Proporciona estimaciones de las probabilidades de la clase. A menudo son más útiles que la classifications. Generaliza naturalmente a la clasificación de clase M a través de la regresión logit multi núcleo.