Verificar el modelo de red neuronal de rendimiento

Question

Estoy haciendo algunos experimentos con redes neuronales y quería pedir un poco de apoyo para verificar mi metodología y los resultados de mi.

Mi configuración: he separado de mis datos en intervalos de tiempo de 5 segundos, es decir, todas las marcas de tiempo están dentro de los 5 segundos. Para cada ranura puedo obtener aprox. 1000 muestras. Además tengo 7 características de cada una de las muestras que son la media normalizada. 4 son numéricos y 3 son booleanos (0,1). A mi la topología de la red 7-15-1, el algoritmo de entrenamiento es resistente retropropagación (Jordania recurrente de la red) con una función de activación sigmoide y atan función de error. Yo uso 5 veces validación cruzada para comprobar la red. La entidad de destino de cada muestra es un valor booleano.

Mi objetivo es entrenar la red con los datos de una ranura de tiempo (time slot n) y lo utilizan para clasificar las muestras de la siguiente (n+1) ranura de tiempo (en una escala de 0 a 1, por lo tanto el único nodo de salida). Estoy usando redes neuronales como quiero comparar su rendimiento con el de otros modelos como el SVM y de regresión logística.

Aquí están mis preguntas acerca de la instalación y los resultados:

1. Soy capaz de recoger todas las muestras con todas las características dentro de la ranura de tiempo. Qué necesito para comprobar la distribución de probabilidad de las características que estoy usando o es la media de normalización suficiente?
2. Es razonable que el uso de los resultados de un único nodo de salida como una función de clasificación?
3. El error en el entrenamiento rápidamente cae por debajo de 0.1 (después de 20 a 50 iteraciones). Con más iteraciones (hasta 10.000) no hay nada mejor, que a menudo empeora (error de hasta 0.4). Es aceptar que las tasas de error cae tan rápidamente o debería ser escéptico?
4. Son las redes neuronales, en general, sólo es realmente útil después de, por ejemplo, 50.000 iteraciones?
5. Es razonable aceptar una tasa de error de 0.1? Por supuesto, menos el mejor, pero yo no soy capaz de minimizar aún más el error.
6. La cruz de error de validación siempre es de aprox. dos veces el error en el entrenamiento. Es esto demasiado? He leído "cuando el cv de error es mucho mayor que el error en el entrenamiento, usted está sufriendo de varianza alta" Es de 0,2 ya grande o es de 0,4 grande?
7. Como puedo tener un valor objetivo para cada muestra, también hago un f-medida de evaluación para cada clasificador. Siempre es de aprox. 0.75. Elegí 0.3 como la clasificación umbral de error, es decir, cuando la diferencia entre el valor ideal (0 o 1) y el valor de predicción están a menos de 0,3 a continuación, la clasificación está bien. Es este valor es demasiado grande o diría usted que uno siempre debe ir con una clasificación umbral >0.95?

Gracias por su apoyo!

Saludos cordiales,

Andi

Answer 1

Sólo para asegurarse de que estamos en la misma página: una secuencia de 1000 muestras con 7 características de cada uno. Hay un patrón secuencial en que es la razón por la que el proceso de ellos con una RNN. En cada paso de tiempo

1. Depende. Se podría mejorar si se utilizan diferentes normalizaciones, difícil de contar.
2. A mí me suena como de clasificación. No estoy seguro de lo que significa la clasificación exactamente.
3. No hay razón para ser escéptico. Normalmente, la formación de error en forma de gotas que--extremadamente rápida para el número de iteraciones, muy lento después.
4. No, absolutamente no. Para algunas tareas, a menos de 100 iteraciones (= pasa sobre el conjunto de entrenamiento) es suficiente.
5. Tú eres el que tiene que decir si el error es lo suficientemente pequeño. :) No podemos decir sin saber lo que están utilizando la red para.
6. Difícil decirlo. Usted debe utilizar la detención temprana en su lugar. Tren de la red hasta que el error en algunos mantuvo conjunto de validación se levanta-que es el momento a partir del cual en sólo overfit. El uso de las pesas, para evaluar en una prueba de conjunto. (Que hace tres conjuntos de entrenamiento, validación, ajuste de prueba).

Aquí hay algunos consejos que te puedo dar:

• asegúrese de sujetar su máxima actualizaciones para algún valor fijo. E. g. al hacer un aprendizaje de paso, no se aplican las actualizaciones mayor que 0.1 (RPROP ya se puede hacer esto),
• trate de Larga Memoria a Corto Plazo,
• trate de Hess libre de optimización (Ilya Sutskever ha de código en su página web).