Ya hemos trabajado en la predicción de actividad compuesto químico utilizando redes neuronales "clásicas". Ahora hay todo este bombo sobre el aprendizaje profundo. Me pregunto si usted conoce casos en los que la capacidad predictiva ha aumentado dramáticamente desde la clásica hasta las profundas redes neuronales.
Respuestas
¿Demasiados anuncios?
matt
Puntos
11
"Dramática" es subjetivo.
Un ejemplo de que la profundidad de las redes de hacer mejor es el MNIST escrito a mano dígitos conjunto. Yann LeCun mantiene una página web de los progresos realizados por diversas técnicas con muchos enlaces útiles. Este es un método relativamente simple problema de clasificación en comparación con reconocimiento de voz y de reconocimiento de imagen, y en el fondo de las redes se espera que superen sola capa oculta las redes neuronales (con el mismo número de parámetros) más aún en las tareas más complicadas.
lmjohns3
Puntos
579
En mi opinión, algunos de los más convincentes resultados de la profunda comunidad de aprendizaje en los últimos años ha venido de la zona de reconocimiento automático de voz (ASR).
En este punto, el sistema ASR se ha visto que cerca de cuatro décadas de excelente trabajo de un número de personas realmente inteligentes, de modo que el campo ha sido una especie de meseta en los últimos 10 años o así. Por ejemplo, es generalmente considerado publicable en este campo, si el resultado que se obtiene con uno y medio por ciento de disminución en la palabra de la tasa de error sobre el estado de la técnica.
Sin embargo, los resultados usando una profunda modelos han registrado notables progresos en el campo en los últimos años. En particular, en lo profundo de los modelos se han traducido en una disminución del 5% en word error rate para algunos sistemas. Además, en lo profundo de los modelos parecen ser capaces de aprender apropiado característica de las representaciones más simples codificaciones de discurso ; es decir, en lugar de utilizar un típico mano el código de canalización discurso de la transformación de las formas de onda en mel-frequency cepstral coeficientes (MFCCs), en lo profundo de los modelos parecen ser capaces de aprender de las representaciones de los datos de voz únicamente a partir de los datos, eliminando así la necesidad de codificar estos cepstral (u otros) de las representaciones. Estos resultados son notables, dado el progreso histórico en el campo.
Ejemplo de referencias
L Deng et al. "Los recientes Avances en el Aprendizaje Profundo se Habla de Investigación de Microsoft." ICASSP de 2013.
A-R Mohamed et al. "La profunda creencia de redes utilizando características discriminatorias para el teléfono de reconocimiento." ICASSP de 2011.
G Dahl, T Sainath, G Hinton. "La mejora de la Profundidad de Redes Neuronales para el LVCSR mediante Rectificado Unidades Lineales y la Deserción escolar." ICASSP de 2013.
