Comparación de SVM y regresión logística

Question

¿Puede alguien darme alguna intuición sobre cuándo elegir SVM o LR? Quiero entender la intuición detrás de lo que es la diferencia entre los criterios de optimización de aprendizaje del hiperplano de los dos, donde los objetivos respectivos son los siguientes:

• SVM: Intenta maximizar el margen entre los vectores de soporte más cercanos
• LR: Maximizar la probabilidad de clase posterior

Consideremos el espacio de características lineales tanto para SVM como para LR.

Ya conozco algunas diferencias:

1. SVM es determinista (pero podemos utilizar el modelo Platts para la puntuación de probabilidad) mientras que LR es probabilístico.
2. Para el espacio del núcleo, la SVM es más rápida (sólo almacena vectores de soporte)

Answer 1

Las SVM lineales y la regresión logística suelen tener un rendimiento comparable en la práctica. Utilice la SVM con un núcleo no lineal si tiene razones para creer que sus datos no serán linealmente separables (o si necesita ser más robusto a los valores atípicos de lo que normalmente tolera la LR). De lo contrario, pruebe primero con la regresión logística y vea cómo le va con ese modelo más sencillo. Si la regresión logística le falla, pruebe con una SVM con un núcleo no lineal como un RBF.

EDITAR:

Bien, hablemos de dónde vienen las funciones objetivo.

La regresión logística procede de la regresión lineal generalizada. Una buena discusión de la función objetivo de la regresión logística en este contexto se puede encontrar aquí: https://stats.stackexchange.com/a/29326/8451

El algoritmo de las máquinas de vectores de apoyo es mucho más motivado por la geometría . En lugar de asumir un modelo probabilístico, estamos tratando de encontrar un hiperplano de separación óptimo particular, donde definimos "optimalidad" en el contexto de los vectores de soporte. No tenemos nada parecido al modelo estadístico que utilizamos en la regresión logística aquí, a pesar de que el caso lineal nos dará resultados similares: en realidad esto sólo significa que la regresión logística hace un trabajo bastante bueno en la producción de clasificadores de "amplio margen", ya que eso es todo lo que SVM está tratando de hacer (específicamente, SVM está tratando de "maximizar" el margen entre las clases).

Intentaré volver a esto más tarde y profundizar un poco más en la maleza, es que estoy como en medio de algo :p

Answer 2

La imagen señala la diferencia entre SVM y Regresión Logística y dónde utilizar cada método

esta imagen proviene del curso de coursera : "machine learning" por Andrew NG. Se puede encontrar en la semana 7 al final de: "Máquinas de vectores de apoyo - utilizando un SVM"

Answer 3

• LR da probabilidades calibradas que pueden interpretarse como confianza en una decisión.
• LR nos da un objetivo suave y sin restricciones.
• LR puede utilizarse (directamente) en los modelos bayesianos.
• Las SVM no penalizan los ejemplos para los que la decisión correcta es con suficiente confianza. Esto puede ser bueno para la generalización.
• Las SVM tienen una buena forma dual, dando soluciones dispersas cuando usando el truco del kernel (mejor escalabilidad)

Comprueba Máquinas de vectores de apoyo vs Regresión Logística, Universidad de Toronto CSC2515 por Kevin Swersky.

Answer 4

I piense en Otra ventaja de LR es que en realidad está optimizando los pesos de una función interpretable (por ejemplo, Y = B0 + B1X1 +B2X2, donde X1 y X2 son sus variables predictoras/características). Esto significa que podría utilizar el modelo con lápiz, papel y una calculadora científica básica y obtener una salida de probabilidad si lo desea.

Todo lo que hay que hacer es calcular Y con la función optimizada anterior, e introducir Y en la función sigmoidea para obtener una probabilidad de clase entre 0 y 1.

Esto podría ser útil en algunos campos/aplicaciones, aunque cada vez menos a medida que avanzamos y podemos simplemente introducir números en una aplicación y obtener un resultado del modelo.