Soy nuevo en el área de aprendizaje profundo y para mí el primer paso fue leer interesantes artículos de deeplearning.net sitio. En documentos sobre el aprendizaje profundo, Hinton y otros sobre todo hablan de aplicar a los problemas de imagen. Puede alguien intentar responderme pueden aplicarse al problema de la predicción de valores de series de tiempo (financiera, tráfico de internet,...) y ¿qué cosas importantes que debo centrarme si es posible?
Respuestas
¿Demasiados anuncios?
LexVjatkin
Puntos
126
Ha habido algún trabajo sobre la adaptación profunda de los métodos de aprendizaje secuencial de datos. Mucho de este trabajo se ha centrado en el desarrollo de los "módulos" que pueden ser apilados en una forma análoga a la de apilamiento restringido máquinas de boltzmann (Rbm) o autoencoders para formar una profunda red neuronal. Voy a destacar algunos a continuación:
- Condicional Rbm: Probablemente una de las más exitosas aplicaciones de aprendizaje profundo para las series de tiempo. Taylor desarrolla una gestión por resultados como modelo que añade temporal de las interacciones entre visible unidades y aplicarlo para el modelado de datos de captura del movimiento. Esencialmente, usted termina con algo así como un sistema dinámico lineal entre los no-linealidad añadido por las unidades ocultos.
- Temporal Rbm: En su tesis (sección 3) Ilya Sutskever desarrolla diversas de gestión por resultados como los modelos con interacciones temporales entre las unidades. También presenta algunos resultados interesantes que muestran la formación recurrente de redes neuronales con SGD puede realizar igual de bien o mejor que los métodos más complejos, como Martens' de Hesse-libre algoritmo, usando una buena inicialización y ligeramente modificada de la ecuación de momentum.
- Recursiva Autoencoders: por último voy a hablar de la obra de Richard Socher sobre el uso recursivo autoencoders para el análisis. Aunque este no es el tiempo de la serie, es sin duda relacionados.
lejlot
Puntos
1379
Sí, el aprendizaje profundo puede ser aplicado para las series de tiempo de las predicciones. De hecho, se ha hecho ya muchas veces, por ejemplo:
- http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
- http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1
Esto no es realmente un "caso especial", el aprendizaje profundo es principalmente acerca de preprocesamiento método (basado en el modelo generativo), así que usted tiene que centrarse en exactamente las mismas cosas que usted se enfoque en cuando hacer un profundo aprendizaje en "sentido tradicional", por un lado, y las mismas cosas que se centran en, mientras que la realización de series de tiempo de las predicciones sin aprendizaje profundo.
user2429920
Puntos
153
Redes neuronales artificiales se consideran un tipo de aprendizaje profundo (DL). Creo que son la herramienta más popular de la DL para aprendizaje de secuencia a secuencia (1d). Actualmente son la base de la Neural traducción automática (NMT) enfoques (pionero en 2014 en LISA (UdeM), Google y probablemente un par otros que no estoy recordando).
sebnow
Puntos
950
Alex Graves Generación de secuencias con la recurrencia de las Redes Neuronales utiliza redes recurrentes y de Largo a corto plazo de las Células de memoria para predecir texto y escribir la síntesis.
Andrej Karpathy ha escrito un blog sobre la generación de nivel de personaje de secuencias a partir de cero. Él utiliza RNNs en su tutorial.
Para obtener más ejemplos, usted debe mirar- Hochreiter, S., & Schmidhuber, J. (1997). Largo de la memoria a corto plazo. La computación neuronal, 9(8), 1735-1780.
Jim Raden
Puntos
355
Tal vez esto le ayudará a:
- I. Sutskever, O. Vinyals, y P. V. V Le, "Secuencia a secuencia de aprendizaje con redes neuronales", en Avances en Neuronales de Procesamiento de la Información de los Sistemas, 2014, pp 3104-3112.
Si usted tiene definición exacta de tu tiempo en la ventana de datos como frases en este documento o en los párrafos a continuación, usted estará bien usando LSTM, pero no estoy seguro de cómo encontrar la ventana de tiempo que no son evidentes y están más en cuenta el contexto. Un ejemplo de esto puede ser la manera en que muchos de los datos de registro se está viendo que están relacionados y que no es algo obvio.
