Interpretación del error medio absoluto a escala (MASE)

Question

El error medio absoluto a escala (MASE) es una medida de precisión de las previsiones propuesta por Koehler y Hyndman (2006) .

$$MASE=\frac{MAE}{MAE_{in-sample, \, naive}}$$

donde $MAE$ es el error absoluto medio producido por la previsión real;
mientras que $MAE_{in-sample, \, naive}$ es el error absoluto medio producido por una previsión ingenua (por ejemplo, una previsión sin cambios para un $I(1)$ series temporales), calculado sobre los datos de la muestra.

(Verifique el Koehler y Hyndman (2006) para una definición y fórmula precisas).

$MASE>1$ implica que la previsión real no peor fuera de la muestra que una previsión ingenua en la muestra, en términos de error medio absoluto. Por lo tanto, si el error medio absoluto es la medida relevante de la precisión de la previsión (que depende del problema en cuestión), $MASE>1$ sugiere que la previsión real debe descartarse en favor de una previsión ingenua si esperamos que los datos fuera de la muestra sean como los datos dentro de la muestra (porque sólo sabemos el rendimiento de una previsión ingenua en la muestra, no fuera de ella).

Pregunta:

$MASE=1.38$ se utilizó como referencia en un concurso de previsión propuesto en este Entrada del blog de Hyndsight . ¿No debería haber sido un punto de referencia obvio $MASE=1$ ?

Por supuesto, esta pregunta no es específica del concurso de previsión en particular. Me gustaría recibir ayuda para entenderlo en un contexto más general.

Mi suposición:

La única explicación sensata que veo es que se esperaba que una previsión ingenua lo hiciera bastante peor fuera de la muestra que dentro de ella, por ejemplo, debido a un cambio estructural. Entonces, $MASE<1$ podría haber sido demasiado difícil de conseguir.

Referencias:

• Hyndman, Rob J., y Anne B. Koehler. " Otra mirada a las medidas de precisión de las previsiones. " Revista internacional de previsión 22.4 (2006): 679-688.
• Entrada del blog de Hyndsight .

Answer 1

En el entrada del blog enlazada Rob Hyndman convoca un concurso de previsión turística. Básicamente, la entrada del blog sirve para llamar la atención sobre las Artículo de la FIJ , un versión sin comprimir de la cual está vinculado a la entrada del blog.

Los puntos de referencia a los que se refiere - 1,38 para los datos mensuales, 1,43 para los trimestrales y 2,28 para los anuales - se obtuvieron aparentemente de la siguiente manera. Los autores (todos ellos expertos en previsiones y muy activos en el IIF - no hay vendedores de aceite de serpiente aquí) son bastante capaces de aplicar algoritmos de previsión estándar o software de previsión, y probablemente no están interesados en la simple presentación de ARIMA. Así que fueron y aplicaron algunos métodos estándar a sus datos. Para que la presentación ganadora sea invitada a un artículo en el IJF piden que mejore el mejor de estos métodos estándar, medido por el MASE.

Así que su pregunta se reduce esencialmente a:

Dado que un MASE de 1 corresponde a una previsión fuera de la muestra tan buena (por MAD) como la previsión ingenua del paseo aleatorio dentro de la muestra, ¿por qué los métodos de previsión estándar como ARIMA no pueden mejorar el 1,38 para los datos mensuales?

En este caso, el 1,38 de la MASE procede de la tabla 4 en la versión no cerrada. Se trata de la media del ASE sobre las previsiones a 1-24 meses vista de ARIMA. Los demás métodos estándar, como ForecastPro, ETS, etc., obtienen resultados aún peores.

Y aquí, la respuesta es duro . Siempre es muy Es problemático juzgar la precisión de las previsiones sin tener en cuenta los datos. Una posibilidad que se me ocurre en este caso concreto podría ser la aceleración de las tendencias. Supongamos que se trata de pronosticar $\exp(t)$ con métodos estándar. Ninguno de ellos captará la tendencia de aceleración (y esto suele ser algo positivo: si su algoritmo de previsión modela a menudo una tendencia de aceleración, es probable que se pase de la raya), y darán un MASE superior a 1. Otras explicaciones podrían ser, como usted dice, diferentes rupturas estructurales, por ejemplo, cambios de nivel o influencias externas como el SARS o el 11 de septiembre, que no serían captadas por los modelos de referencia no causales, pero que podrían ser modeladas por métodos de previsión turística específicos (aunque utilizando futuro causales en una muestra de retención es una especie de trampa).

Así que yo diría que probablemente no se puede decir mucho sobre esto sin mirar los propios datos. Están disponibles en Kaggle. Su mejor apuesta es probablemente tomar estas 518 series, mantener los últimos 24 meses, ajustar las series ARIMA, calcular los MASE, desenterrar las diez o veinte series de peor previsión de los MASE, conseguir una gran olla de café, mirar estas series y tratar de averiguar qué es lo que hace que los modelos ARIMA sean tan malos en la previsión.

EDIT: otro punto que parece obvio después del hecho pero que me tomó cinco días para ver - recuerde que el denominador del MASE es el un paso adelante en la muestra, mientras que el numerador es la media de las 1-24 pasos por delante pronósticos. No es demasiado sorprendente que las previsiones se deterioren con el aumento de los horizontes, por lo que esta puede ser otra razón para un MASE de 1,38. Obsérvese que la previsión estacional ingenua también se incluyó en la evaluación comparativa y tuvo un MASE aún mayor.

Answer 2

No es una respuesta, sino una trama que sigue la llamada de Stephan Kolassa a "mirar estas series".
Kaggle turismo1 tiene 518 series temporales anuales, para las que queremos predecir los últimos 4 valores:

El gráfico muestra los errores del predictor constante "ingenuo", aquí $5^{th}$ por último:
$\qquad Error4( y ) \equiv {1 \over 4} \sum_ {last\ 4} |y_i - y_{-5}| $
Los números en las esquinas, 81 12 ..., son $Error4(y)$ como % del rango, y $length(y)$ .
Las 3 filas son las 10 peores, las 10 centrales y las 10 mejores de todas las 518 series temporales anuales.

Obviamente, las series muy cortas -- 12 11 7 7 7 ... en la fila superior -- son difíciles de predecir: no es una sorpresa.
(Athanasopoulos, Hyndman, Song y Wu, El concurso de previsión turística (2011, 23p) utilizó 112 de las 518 series anuales, pero no veo cuáles).

¿Hay otras colecciones más recientes de series temporales desde 2010? que valga la pena mirar?