66 votos

¿Por qué las redes neuronales necesitan tantos ejemplos de entrenamiento para realizar?

Un niño de 2 años necesita alrededor de 5 instancias de un coche para ser capaz de identificar con exactitud razonable, independientemente del color, la marca, etc. Cuando mi hijo tenía 2 años, él fue capaz de identificar los tranvías y los trenes, incluso a pesar de que había visto sólo un par. Desde que se suele confundir uno con el otro, al parecer su red neuronal no estaba entrenado lo suficiente, pero aún así.

¿Qué es lo que las redes neuronales artificiales son falta que les impiden ser capaz de aprender de manera más rápida? Es la transferencia del aprendizaje de una respuesta?

103voto

user777 Puntos 10934

Yo precaución contra esperaba gran parecido entre biológica y redes neuronales artificiales. Creo que el nombre de "redes neuronales" es un poco peligroso, porque engaña a la gente a esperar que los procesos neurológicos y de aprendizaje de la máquina debe ser el mismo. Las diferencias entre biológica y redes neuronales artificiales superan a las similitudes.

Como un ejemplo de cómo esto puede salir mal, también puede activar el razonamiento en el post original en su cabeza. Usted puede entrenar una red neuronal para aprender a reconocer los coches en una tarde, si usted tiene un razonablemente equipo rápido y una cierta cantidad de datos de entrenamiento. Usted puede hacer esto a un binario tarea (coche/no coche) o multi-tareas de clase (coche/tranvía/bicicleta/avión/barco) y de la tranquilidad en un alto nivel de éxito.

Por el contrario, yo no esperaría que un niño sea capaz de recoger un coche el día - o incluso la semana después de haber nacido, incluso después de que se ha visto "muchos ejemplos de formación." Evidentemente algo diferente entre los dos años de edad y un bebé, que representa la diferencia en la capacidad de aprendizaje, mientras que la de vainilla de la clasificación de la imagen de la red neuronal es perfectamente capaz de recoger de clasificación de objetos inmediatamente después de "nacimiento". Creo que hay dos diferencias importantes: (1) la relación de los volúmenes de datos de entrenamiento disponibles y (2) un auto-enseñanza mecanismo que se desarrolla a lo largo del tiempo debido a la abundancia de datos de entrenamiento.


El post original expone dos preguntas. El título y el cuerpo de la pregunta preguntar por qué las redes neuronales de la necesidad de "tantos ejemplos." En relación a la experiencia de un niño, las redes neuronales entrenadas con la imagen de puntos de referencia relativamente pocos datos.

Yo re-frases de la pregunta en el título

"¿Cómo funciona el entrenamiento de una red neuronal para una imagen común de referencia compare y contraste a la experiencia de aprendizaje de un niño?"

Por el bien de la comparación que voy a tener en el CIFAR-10 datos porque es una imagen común de referencia. La parte etiquetada está compuesto de 10 clases de imágenes con 6000 imágenes por clase. Cada imagen es de 32 x 32 píxeles. Si de alguna manera se le amontonan las imágenes marcadas de CIFAR-10 e hizo un estándar de 48 fps de vídeo, que tendría unos 20 minutos de metraje.

Un niño de 2 años que observa el mundo durante 12 horas diarias aproximadamente tiene 263000 minutos (más de 4000 horas) de la observación directa del mundo, incluyendo los comentarios de los adultos (etiquetas). (Estos son sólo cifras aproximadas, no sé cuántos minutos típica de dos años ha pasado de observar el mundo.) Por otra parte, el niño tendrá la exposición a muchos, muchos objetos más allá de las 10 clases que componen CIFAR-10.

Así que hay un par de cosas en el juego. Uno es que el niño tiene la exposición a más de datos en general y una mayor diversidad de origen de datos que el CIFAR-10 modelo. Datos de la diversidad y el volumen de datos son bien reconocidos como pre-requisitos para modelos sólidos en general. En este sentido, no parece sorprendente que una red neuronal es la peor en esta tarea que el niño, debido a que una red neuronal entrenada en CIFAR-10 es positivamente de hambre para los datos de entrenamiento en comparación con los dos años de edad. La resolución de la imagen disponible para un niño es mejor que el de 32 x 32 CIFAR-10 imágenes, por lo que el niño es capaz de aprender información acerca de los detalles finos de los objetos.

El CIFAR-10 a dos años de comparación no es perfecto, porque el CIFAR-10 modelo probablemente serán capacitados con varias pasadas sobre el mismo las imágenes estáticas, mientras que el niño va a ver, el uso de la visión binocular, cómo los objetos están dispuestos en un mundo en tres dimensiones mientras se mueve y con diferentes condiciones de iluminación y perspectivas sobre los mismos objetos.

La anécdota sobre el OP del niño implica una segunda pregunta,

"¿Cómo pueden las redes neuronales auto-enseñanza?"

Un niño está dotado de talento para la auto-enseñanza, de manera que las nuevas categorías de objetos que se pueden añadir con el tiempo, sin tener que empezar desde cero.

  • OP comentario acerca los nombres de un tipo de modelo de adaptación de la máquina en el contexto de aprendizaje.

  • En los comentarios que otros usuarios han señalado que uno - y pocos-shot de aprendizaje* es otra máquina de aprendizaje de la investigación.

  • Además, de las direcciones de auto-modelos de enseñanza desde una perspectiva diferente, lo que permitirá a los robots para realizar el ensayo y error de la experimentación para encontrar las mejores estrategias para la resolución de problemas específicos (por ejemplo, el juego de ajedrez).

Probablemente es cierto que todos los tres de estos máquina paradigmas de aprendizaje son pertinentes para mejorar el funcionamiento de las máquinas de adaptarse a la nueva visión por computador tareas. Rápida adaptación de los modelos de aprendizaje automático para nuevas tareas es un área activa de investigación. Sin embargo, debido a la práctica los objetivos de estos proyectos (identificar nuevas instancias de malware, reconocer a los impostores en fotos de pasaporte, el índice de la internet) y de los criterios para el éxito difieren de los objetivos de aprendizaje del niño sobre el mundo, y el hecho de que uno se hace en un ordenador utilizando las matemáticas y el otro está hecho en material orgánico usando la química, las comparaciones directas entre los dos le siguen cargadas.


Por otro lado, sería interesante estudiar cómo voltear la CIFAR-10 problema de todo y entrenar una red neuronal para reconocer 6000 objetos de 10 ejemplos de cada uno. Pero incluso esto no sería una comparación justa, a la edad de 2 años, porque todavía habría una gran diferencia en el volumen total, la diversidad y la resolución de los datos de entrenamiento.

*No se tienen actualmente una de las etiquetas para el one-shot de aprendizaje o pocos-shot de aprendizaje.

48voto

Dipstick Puntos 4869

Primero de todo, en los dos años de edad, un niño que sabe mucho sobre el mundo y activamente se aplica este conocimiento. Un niño hace un montón de "transferencia del aprendizaje" mediante la aplicación de este conocimiento a nuevos conceptos.

Segundo, antes de ver los cinco "etiqueta" ejemplos de coches, un niño ve a un montón de coches aparcados en la calle, en la TELEVISIÓN, coches de juguete, etc., así también una gran cantidad de "supervisión de aprendizaje" que pasa de antemano.

Por último, las redes neuronales tienen casi nada en común con el cerebro humano, así que no hay mucho punto de comparación entre ellas. También aviso de que hay algoritmos para el one-shot de aprendizaje, y bastante de investigación en la que actualmente sucede.

39voto

pokstad Puntos 123

Un aspecto importante que no veo en las respuestas actuales es la evolución.

El cerebro de un niño no aprende desde cero. Es similar a la pregunta de cómo los ciervos y jirafas bebés puede caminar un par de minutos después del nacimiento. Porque nacen con el cerebro ya cableada para esta tarea. Hay algunos ajustes necesarios, por supuesto, pero el bebé de los ciervos no aprender a caminar de "random inicialización".

Del mismo modo, el hecho de que los grandes objetos en movimiento existen y son importantes para mantener la pista de que es algo que nace con.

Así que creo que el presupuesto de esta pregunta es simplemente falsa. Humano, las redes neuronales tenido la oportunidad de ver toneladas de - tal vez no a los coches, pero - el movimiento, la rotación de objetos 3D con difícil texturas y formas, etc., pero esto sucedió a través de muchas generaciones y el aprendizaje tuvo lugar mediante algoritmos evolutivos, es decir, aquellas cuyo cerebro era mejor estructurado para esta tarea, podría vivir a reproducir, con mayor probabilidad, dejando a la próxima generación con más y mejor el cableado del cerebro desde el principio.

22voto

Zizzencs Puntos 1358

Yo no sé mucho acerca de las redes neuronales, pero sé un poco acerca de los bebés.

Muchos de los niños de 2 años tienen un montón de problemas con la forma general de las palabras debe ser. Por ejemplo, es muy común que a esa edad para los niños a usar el "perro" para cualquier animal de cuatro patas. Eso es más difícil la distinción de "coche" - basta pensar en lo diferente que es un caniche parece de un gran Danés, por ejemplo, y sin embargo son un "perro", mientras que un gato no es.

Y un hijo de 2 ha visto muchas, muchas más de 5 ejemplos de "coche". Un niño ve a docenas o incluso cientos de ejemplos de coches en cualquier momento la familia se va de una unidad. Y muchos de los padres de comentar la "mirada en el coche", mucho más de 5 veces. Pero los niños también pueden pensar en maneras que ellos no te han dicho sobre. Por ejemplo, en la calle, el niño ve un montón de cosas alineadas. Su papá dice (de uno) "mira el carro brillante!" y el niño piensa "tal vez todas esas otras cosas que se alinearon también están los coches?"

10voto

Jamie W Puntos 27

Esta es una pregunta fascinante que he meditado durante mucho también, y puede venir para arriba con un par de explicaciones de por qué.

  • Las redes neuronales trabajo nada como el cerebro. Retropropagación es único a las redes neuronales, y no sucede en el cerebro. En ese sentido, simplemente no sabemos el general algoritmo de aprendizaje en nuestros cerebros. Podría ser eléctrica, podría ser químicas, incluso podría ser una combinación de los dos. Las redes neuronales podría ser considerado inferior forma de aprendizaje, en comparación con nuestros cerebros debido a la forma simplificada son.
  • Si las redes neuronales son, de hecho, como nuestro cerebro, a continuación, los bebés humanos se someten a exhaustivas "formación" de las primeras capas, como la extracción de características, en sus primeros días. Por lo que sus redes neuronales no son realmente capacitados a partir de cero, sino que la última capa es la formación para añadir más y más clases y etiquetas.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X