Entrenamiento de LSTM una secuencia de un elemento a la vez

Question

Estoy intentando entrenar un lstm con una secuencia y obtener la clasificación de la secuencia completa.

Tengo secuencias de longitud variable por lo que tengo una neurona de entrada y estoy alimentando un elemento a la vez. ¿No es esa la solución adecuada?

Mi problema es que estoy entrenando cada una de estas entradas con una única salida ideal, pero algunas de las secuencias existen en otras secuencias con otras salidas ideales.

Así que cuando entreno 0,74 con 1,0 y 0,83 con 1,0 y 0,32 con 1,0 se entrena con la clase 0, 1. Pero cuando luego entreno con 0,74 0,83 0,32 con 0,1 el entrenamiento diverge al infinito porque asigné dos clases diferentes a la misma entrada.

¿Cómo voy a entrenar un lstm con una secuencia cuando algunos de los elementos tratan a través de secuencias? A menos que haya otra forma de entrenar una red profunda que tenga un lstm cuando las secuencias son de longitudes variables?

Answer 1

Entrénalo un personaje a la vez. No debería divergir a menos que los caracteres sean iguales y tengan diferentes salidas ideales. En ese caso, considere el uso de vectores de un solo punto en lugar de vectores escalares. Es decir, si a, b y c son tus caracteres, entonces si a es el carácter 1, 0, 0 es la entrada.