¿Por qué es equivocado interpretar SVM como probabilidades de clasificación?

Question

Mi comprensión de la SVM es que es muy similar a la de una regresión logística (RL), es decir, una suma ponderada de funciones se pasa a la función sigmoidea para obtener una probabilidad de pertenecer a una clase, pero en lugar de la cruz-entropía (logística) pérdida de la función, la formación se realiza mediante la bisagra de la pérdida. El beneficio del uso de la bisagra de la pérdida, es que uno puede hacer varias numérico trucos para hacer kernelisation más eficiente. Un inconveniente, sin embargo, es que el modelo resultante tiene menos información que la correspondiente LR modelo podría tener. Así, por ejemplo, sin kernelisation (usando un kernel lineal) de la SVM decisión límite estaría todavía en el mismo lugar donde LR sería la salida de una probabilidad de 0.5, PERO uno no puede decir de la rapidez con la probabilidad de pertenecer a una clase desaparezca de la decisión de la frontera.

Mis dos preguntas son:

1. Es mi interpretación sobre la correcta?
2. ¿Cómo el uso de la bisagra de la pérdida no válido para interpretar SVM resultados como probabilidades?

Answer 1

Una SVM no se alimenta de nada en una función sigmoidea. Se adapta a una separación de hyperplane a los datos que trata de poner todos los datos de los puntos de su conjunto de entrenamiento que son de una clase en un lado, y todos los puntos de la otra clase sobre la otra. En consecuencia, se asigna la clase sobre la base de qué lado su función de vector. Más formalmente, si se denota la función de vector como $\mathbf{x}$ y el hyperplane coeficientes como $\mathbf{\beta}$ $\beta_0$ la intersección, entonces la asignación de clase es $y = sign(\beta \cdot \mathbf{x} + \beta_0)$. La solución de una SVM cantidades a la búsqueda de $\beta, \beta_0$ con lo que se minimiza la bisagra de la pérdida de la mayor margen. Por lo tanto, debido a una SVM sólo se preocupa por el lado de la hyperplane usted está en, usted no puede transformar sus trabajos de clase en las probabilidades.

En el caso de una SVM lineal (sin núcleo), la decisión de límite límite será similar a la de un modelo de regresión logística, pero puede variar dependiendo de la regularización de la fuerza que se utiliza para el ajuste de la SVM. Debido a que la SVM y LR resolver los diferentes problemas de optimización, no está garantizado para tener idénticas soluciones para la decisión de la frontera.

Hay muchos recursos que hay sobre la SVM que va a ayudar a aclarar las cosas: aquí es un ejemplo, y otro de uno.