¿La diferencia entre la regresión logística y máquinas de vectores soporte?

Question

Sé que la regresión logística se encuentra un hyperplane que separa las muestras de formación. También sé que las máquinas de Soporte vectorial encuentra el hyperplane con el margen máximo.

Mi pregunta: es la diferencia entonces entre la regresión logística (RL) y máquinas de soporte vectorial (SVM) es que LR encuentra cualquier hyperplane que separa las muestras de formación, mientras que la SVM encuentra el hyperplane con el margen máximo? O estoy equivocado?

Nota: recordar que en LR al$\theta \cdot x = 0$, entonces la función logística da $0.5$. Si asumimos $0.5$ clasificación umbral, $\theta \cdot x = 0$ es un hyperplane de una decisión de la frontera.

Answer 1

Tienes razón, si usted está hablando acerca de duro SVM y las dos clases son linealmente separables. LR encuentra alguna solución que separa las dos clases. Duro SVM encuentra "la" solución de entre todas las posibles que tiene el margen máximo.

En caso de suave SVM y las clases no linealmente separables, que todavía están a la derecha con una ligera modificación. El error no puede llegar a ser cero. LR encuentra un hyperplane que corresponde a la minimización de algún error. Suave SVM intenta minimizar el error (otro error) y, al mismo tiempo, los oficios que con el margen de error a través de un parámetro de regularización.

Una diferencia entre los dos: SVM es un duro clasificador, pero LR es probabilística. SVM es escasa. Elige el soporte de vectores (a partir de las muestras de formación) que tiene el mayor poder de discriminación entre las dos clases. Ya que no mantiene otros puntos de entrenamiento más allá de que en el tiempo de la prueba, no tenemos ninguna idea acerca de la distribución de cualquiera de las dos clases.

Me han explicado cómo LR solución (utilizando las NIÑAS) se rompe en caso de separabilidad lineal de las dos clases y por qué deja de ser un clasificador probabilístico en tal caso: http://stats.stackexchange.com/a/133292/66491