Redes neuronales multicapa para datos temporales multivariantes

Question

Estoy buscando una manera de modelar y extraer características de los datos temporales multivariados (por ejemplo, grabaciones de audio multicanal).

Me interesan específicamente los métodos de aprendizaje profundo como RBM, autocodificadores dispersos y demás.

La mayoría de los métodos que encontré consideran sólo una dimensión de los datos, o tal vez un "bloque" 2D en los datos (normalmente imágenes).

No pude encontrar un documento sobre cómo tomar en consideración el aspecto temporal y también el aspecto multivariado. Por ejemplo, si estoy grabando audio de múltiples canales, entonces sé que los canales están probablemente correlacionados en algún grado. Además, como se trata de una señal temporal en evolución, también hay cierta correlación de cada muestra con las anteriores.

¿Hay alguna manera de incorporar estas restricciones temporales multivariantes en una red?

Estoy buscando documentos específicos sobre métodos para el temporal multivariado donde se utiliza la estructura multicanal.

Gracias.

Answer 1

Hay varios trabajos de Hinton et al. que tratan de datos temporales y también de audio ( http://www.cs.toronto.edu/~hinton/papers.html ). Por ejemplo:

• Modelado acústico mediante redes de creencia profundas, 2012.
• Aprendizaje de una mejor representación de las ondas sonoras del habla mediante Máquinas de Boltzmann restringidas, 2011.
• Redes de creencia profundas que utilizan características discriminativas para el reconocimiento de teléfonos reconocimiento telefónico, 2011. La red temporal recurrente de Boltzmann restringida Machine, 2009.
• Máquinas de Boltzmann condicionadas y factorizadas para el modelado Motion Style, 2009.

No he leído los artículos más recientes, pero los de 2009 deberían darte una buena idea de cómo se pueden modelar los datos temporales utilizando RBMs y DBNs.

Answer 2

También estoy de acuerdo con Ran, la mayoría de las técnicas de aprendizaje profundo se prueban con conjuntos de datos de imágenes. Por favor, compruebe este trabajo de investigación , habla de la clasificación de audio mediante técnicas de aprendizaje profundo.

Answer 3

Todavía no puedo publicar comentarios, pero tengo la siguiente observación.

Con los datos multivariantes, suelo pensar en diferentes "tipos" de datos, por ejemplo, una mezcla de datos bool, multiselección o de punto flotante ( aquí se denomina de variable mixta). Tal y como yo lo veo, la entrada de diferentes señales de audio no es, por tanto, multivariante, sino multidimensional, porque probablemente tienes el mismo tipo de datos (datos de valor real) para todos los canales.

Creo que la mayoría de las RNN básicas pueden manejar series temporales de alta dimensión, pero. Véase, por ejemplo aquí .

Tal vez una combinación de los dos enlaces anteriores conduzca a un algoritmo razonable.