Métrica de la exactitud de las previsiones si las reales son cercanas a cero o tienen grandes valores atípicos

Question

Algunas medidas de precisión de las previsiones, como el error porcentual medio absoluto (MAPE), están "distorsionadas" o no están definidas, ya que la realización real de la variable es cercana a cero, o igual a cero, respectivamente. Esto sucede a menudo con respecto a las tasas de crecimiento, donde, por ejemplo, el crecimiento del PIB o la inflación son cercanos a cero.

Además, algunas métricas, como el RMSE, penalizan tanto a los valores atípicos que para algunos propósitos la métrica se vuelve casi inútil. Tomemos como ejemplo el RMSE sobre las previsiones de 40 trimestres consecutivos a un año vista. Ninguno de los principales pronosticadores encuestados por Bloomberg anticipó la pandemia a finales de 2019 (por una buena razón), y una vez que se incluye 2020 en la muestra, los errores se disparan.

¿Existe alguna métrica en uso que aborde cualquiera de estas cuestiones de forma sistemática, o incluso ambas? Conozco los dos errores medios porcentuales absolutos simétricos (SMAPE1, SMAPE2) y SMASE. ¿Existen otros?

Tenga en cuenta que no me interesa la evaluación de las previsiones basadas en modelos. No es necesario saber cómo se obtienen las previsiones.

Answer 1

Error absoluto total relativo: media de todos los errores absolutos desviada por la media de los reales absolutos.

Esta medida es un MAPE donde la suma se traslada a la fracción. Una ventaja es que el RTAE puede lidiar con los reales cero.

Dicho esto, el SMAPE y el RTAE son útiles cuando hay unos cuantos ceros en la serie temporal. Si hay muchos ceros, cerca del 50% o más, estas medidas no son útiles para evaluar la previsión. En este caso, la mejor previsión sería un cero según estas medidas. Aquí hay una referencia para las medidas de error cuando se tienen series temporales con muchos ceros: https://www.lancaster.ac.uk/pg/waller/pdfs/Intermittent_Demand_Forecasting.pdf .