¿Por qué Convolucional Redes Neuronales no utilice una Máquina de Soporte Vectorial para clasificar?

Question

En los últimos años, Convolucional Redes Neuronales (CNNs) se han convertido en el estado-of-the-art para el reconocimiento de objetos en visión por computador. Normalmente, la CNN se compone de varias convolucional capas, seguido por dos totalmente conectado capas. La intuición detrás de esto es que el convolucional capas de aprender una mejor representación de los datos de entrada, y el totalmente conectado capas, a continuación, aprender a clasificar esta representación basada en un conjunto de etiquetas.

Sin embargo, antes de CNNs comenzó a dominar, Máquinas de Soporte Vectorial (SVMs) fueron el estado-of-the-art. Por lo que parece sensato decir que una SVM es aún más fuerte clasificador de dos capas, totalmente conectados a la red neuronal. Por lo tanto, me pregunto por qué el estado-of-the-art CNNs tienden a utilizar plenamente conectado con las capas de la clasificación en lugar de una SVM? De esta manera, usted podría tener lo mejor de ambos mundos: una fuerte característica de la representación, y un fuerte clasificador, en lugar de una fuerte característica de representación, pero sólo una débil clasificador...

Alguna idea? Gracias!

Answer 1

Se puede hacer; un ICML taller de papel, Aprendizaje Profundo Lineal de Máquinas de Soporte Vectorial, Tang (2013), hizo exactamente esto y encontró pequeñas pero constantes mejoras. A veces también se hace para entrenar CNNs en la forma típica, pero, a continuación, tome la salida de un retraso en la capa como "características" y entrenar a un independiente SVM en que.

Nótese, sin embargo, que ellos estaban usando lineal SVMs, y realmente, la diferencia entre un SVM lineal y regresión logística (que es equivalente a un único binario de la capa de salida con la activación sigmoide) es muy pequeño. La capa adicional de la red, asumiendo que tiene suficiente información para saber que, en realidad hace que la ponen dos capas más fuerte que un SVM lineal - aunque, por supuesto, usted puede hacer uno totalmente conectado sigmoide o ReLU de la capa y, a continuación, poner una SVM última capa.

También, para multiclase salidas, softmax activaciones son más naturales que los multiclase SVMs, y creo que la SVM enfoque de que el papel es un poco más intensas. Por lo que la gente usualmente no creo que vale la pena.

Answer 2

Como mucho puedo ver, hay al menos un par de diferencias:

1. CNNs están diseñados para trabajar con los datos de la imagen, mientras que la SVM es más genérico clasificador;
2. CNNs extracto de características, mientras que la SVM simplemente se asigna la entrada a algunas de las grandes dimensiones del espacio donde (esperemos) las diferencias entre las clases pueden ser revelado;
3. Similar a la 2., CNNs son profundas arquitecturas mientras SVMs son poco profundas;
4. Objetivos de aprendizaje son diferentes: SVMs mirar para maximizar el margen, mientras que CNNs no son (encantaría saber más)

Dicho esto, SVMs puede funcionar tan bien como CNNs proporciona buenas características se utilizan con un buen núcleo de la función.