¿Cómo se abordan los resultados cambiantes de las series temporales de las redes neuronales a la hora de medir su precisión?

Question

He creado previsiones utilizando ARIMA, Perceptrón Multicapa (MLP) y Máquina de Aprendizaje Extremo (ELM) y me gustaría comparar sus precisiones. Con el ARIMA es sencillo. Sin embargo, los resultados de los MLP y los ELM cambian cada vez que los ejecuto. Entonces, ¿cómo puedo hacer frente a esos resultados cambiantes al medir la precisión?

¿Debería usar set.seed() (estoy utilizando R) y me quedo con un resultado concreto o utilizo una media de, por ejemplo, diez previsiones?

Además, a menudo leo sobre previsiones con una "precisión del X %" y no sé cómo calcular esa precisión absoluta para las previsiones. Por el momento, las medidas que utilizo son MAPE, MASE, RMSE, MAE.

Answer 1

Sí, es una muy buena práctica establecer una semilla cuando se trata de algoritmos aleatorios. Si ves que la medición de la precisión es muy fluctuante, puedes ejecutarla varias veces (como diez, si puedes permitirte el tiempo de cálculo) y promediar el resultado.

Tenga en cuenta que debe comparar las precisiones de los modelos basándose en un conjunto de prueba (no utilizado en el entrenamiento) o en un esquema de validación cruzada.

El error MAPE le da una precisión en %, así que si su MAPE es 10, tiene un error del 10% en promedio.

Answer 2

Estoy de acuerdo con @jlesuffleur en que se debe utilizar un conjunto de algoritmos con aleatorización. Sin embargo, hay que tener en cuenta que, idealmente, un MLP debería converger a un conjunto de pesos y la inicialización aleatoria sólo se supone que acelera la llegada a ese punto.

Si los resultados de tu MLP varían mucho entre diferentes inicializaciones de pesos, eso podría ser un indicio de que no aprende mucho sobre los datos. Asegúrate de que el número de muestras de entrenamiento es mayor que el número de parámetros independientes (número de pesos), que pueden ser miles en el caso de los MLP. De lo contrario, hay pocas esperanzas de obtener predicciones significativas del MLP.

En cuanto a las medidas de error, el porcentaje medio de error es fácilmente comprensible para los profanos y, por tanto, muy adecuado para hablar con los clientes, etc. Para la selección de modelos, debería utilizar una medida diferente, como el error medio absoluto o la raíz del error medio cuadrático.

La razón es que el MAPE es más susceptible a los errores en lugares donde el valor original es pequeño. Una desviación de 10 unidades contribuye en un 10% cuando el valor real era 100, pero sólo en un 2% cuando el valor real era 500.

El MAE y el RMSE proporcionan valores difíciles de interpretar, pero son más adecuados para comparar diferentes modelos. El RMSE castiga más las desviaciones grandes que el MAE, pero cuál de los dos enfatizar depende de usted y de los requisitos del proyecto.