Es allí cualquier supervisado-problema de aprendizaje que (profundidad) de las redes neuronales, obviamente, no podía superar a otros métodos?

Question

He visto a personas que han puesto un montón de esfuerzos en SVM y los Núcleos, y se ven bastante interesantes, como un motor de arranque en la Máquina de Aprendizaje. Pero si hemos de esperar que casi siempre podemos encontrar superando solución en términos de (profundidad) de la Red Neuronal, ¿cuál es el significado de intentar otros métodos en esta época?

Aquí está mi restricción sobre este tema.

1. Pensamos únicamente en Supervisado y Aprendizaje; de Regresión y Clasificación.
2. La legibilidad de que el Resultado no se cuentan; sólo la Exactitud en la Supervisadas-Problema de Aprendizaje que cuenta.
3. Computacional Costo no está en consideración.
4. No estoy diciendo que los otros métodos son inútiles.

Answer 1

Aquí está uno teórico y dos prácticos razones por las que alguien podría racionalmente prefieren no DNN enfoque.

1. Los Hay Almuerzo Gratis Teorema de Wolpert y Macready dice

   Hemos denominado a los resultados asociados teoremas de la NFL, ya que demuestran que si el algoritmo funciona bien en una cierta clase de problemas, entonces necesariamente se paga para que con bajo rendimiento en el conjunto de todos los problemas restantes.

   En otras palabras, no hay un único algoritmo de reglas de todos ellos; tienes que de referencia.

   La refutación evidente aquí es que por lo general no se preocupan por todos los posibles problemas, y el aprendizaje profundo parece funcionar bien en varias clases de problemas que las personas hacen de atención sobre (por ejemplo, el reconocimiento de objetos), y por lo que es razonable de primera o única opción para otras aplicaciones en esos dominios.

2. Muchos de estos muy profundo redes requieren toneladas de datos, así como toneladas de computación, para que se ajuste. Si usted tiene (decir) 500 ejemplos, un veinte de la capa de red es que nunca va a aprender bien, aunque podría ser posible para adaptarse a una mucho más simple modelo. Hay un sorprendente número de problemas en los que no es factible recoger una tonelada de datos. Por otro lado, uno podría tratar de aprender a resolver un problema relacionado (donde se dispone de más datos), el uso de algo como la transferencia de aprendizaje para adaptarlo a las específicas de baja disponibilidad de datos-tareas.

3. Profundo de las redes neuronales pueden tener también inusual modos de falla. Hay algunos documentos que muestran que apenas-humanos-perceptible cambios pueden causar una red para pasar correctamente la clasificación de una imagen de confianza en misclasificación. (Ver aquí y el acompañamiento de papel por Szegedy et al.) Otros enfoques pueden ser más robusto contra esto: hay ataques de envenenamiento contra SVMs (por ejemplo, este por Biggio, Nelson, y Laskov), pero los que suceden en el tren, en lugar de tiempo de prueba. En el extremo opuesto, no se conocen (pero no mucho), el rendimiento de los límites para el vecino más cercano de algoritmo. En algunas situaciones, usted puede ser más feliz con menor rendimiento general con menos posibilidades de catástrofe.

Answer 2

En algún lugar en esta lista de reproducción de conferencias a cargo de Geoff Hinton (a partir de su Coursera curso sobre redes neuronales), hay un segmento en el que habla de dos clases de problemas:

1. Los problemas en los que el ruido es la característica clave,
2. Los problemas en los que la señal es la característica clave.

Recuerdo la explicación que mientras que las redes neuronales prosperar en este último espacio, los métodos estadísticos tradicionales a menudo se adecuan mejor a la anterior. El análisis de alta resolución de de fotografías digitales de cosas reales en el mundo, un lugar donde profundo convolucional redes de excel, claramente constituye el último.

Por otro lado, cuando el ruido es la característica dominante, por ejemplo, en un caso médico-control de estudio con 50 casos y 50 controles, los métodos estadísticos tradicionales pueden ser más adecuados para el problema.

Si alguien encuentra el video, por favor deje un comentario y voy a actualizar.

Answer 3

Dos linealmente perfeccionado correlación de las variables. Puede profunda de red con 1 millón de capas ocultas y de 2 billones de neutrones vencer a una regresión lineal simple?

EDITADO

En mi experiencia, la recolección de la muestra es más caro que la computación. Quiero decir, podemos contratar a algunas instancias de Amazon, son profundas de formación y aprendizaje y, a continuación, volver un par de días más tarde. El costo en mi campo es de alrededor de $200 USD. El costo es mínimo. Mis colegas ganan más que eso en un día.

Recolección de la muestra en general, requiere el conocimiento de un dominio y de equipos especializados. Aprendizaje profundo sólo es adecuado para problemas con un acceso barato y fácil de conjunto de datos, tales como el procesamiento del lenguaje natural, procesamiento de imágenes y cualquier cosa que usted puede raspar de la Internet.