¿Qué MVS = coincidencia de plantillas?

Question

He leído acerca de las SVMs y se enteró de que ellos son la solución de un problema de optimización y max margen idea era muy razonable.

Ahora, el uso de kernels se pueden encontrar incluso los no-lineal de la separación de los límites de lo cual fue genial.

Hasta ahora, yo realmente no tienen ninguna idea de cómo SVMs (un núcleo especial de la máquina) y el kernel máquinas están relacionados con las redes neuronales?

Considerar los comentarios por Yann Lecun => aquí:

kernel methods were a form of glorified template matching

y también aquí:

Por ejemplo, algunas personas fueron deslumbrados por el kernel métodos, debido a la lindo matemáticas que va con ella. Pero, como he dicho en el pasado, en el final, el núcleo de las máquinas son de poca profundidad redes que realizan "glorificado plantilla de correspondencia". No hay nada de malo con que (SVM es un gran el método), pero tiene terribles limitaciones que todos debemos ser conscientes de.

Así que mis preguntas son:

1. ¿Cómo se SVM relacionados con la red neuronal? ¿Cómo es una red superficial?
2. SVM resuelve un problema de optimización con un objetivo bien definido de la función, cómo se está haciendo la plantilla de la coincidencia? ¿Cuál es la plantilla de aquí a que una entrada es correspondido?

Supongo que estos comentarios necesidad de un profundo entendimiento de grandes dimensiones de los espacios, las redes neuronales y el kernel de máquinas, pero hasta ahora he estado intentando y no podía comprender la lógica detrás de él. Pero sin duda es interesante señalar las conexiones entre los dos muy muy diferente ml técnicas.

EDIT: creo que la comprensión de la SVMs de un Neural perspectiva sería genial. Estoy buscando un minucioso de las matemáticas copia de la respuesta a las dos preguntas, así como para realmente entender el vínculo entre la SVMs y las Redes Neuronales, tanto en el caso de SVM lineal y SVMs con el kernel truco.

Answer 1

1. ¿Cómo se SVM relacionados con la red neuronal? ¿Cómo es una red superficial?

La SVM es una sola capa de red neuronal con la bisagra de la pérdida de la función de activación. El concepto ha sido aludido en hilos anteriores, tales como este: de una Sola capa NeuralNetwork con RelU de activación igual a SVM?

2. SVM resuelve un problema de optimización con un objetivo bien definido de la función, cómo se está haciendo la plantilla de la coincidencia? ¿Cuál es la plantilla de aquí a que una entrada es correspondido?

El Gram de la Matriz (Matriz Kernel, si se prefiere) es una medida de similitud. Como la SVM permite a los dispersos de soluciones, la predicción se convierte en una cuestión de la comparación de la muestra con las plantillas, es decir, el apoyo de los vectores.