2 votos

¿Puedo dar la puntuación de probabilidad de rango continuo (CRPS) a la prueba Diebold-Mariano (DM)?

Me gustaría usar la prueba DM para un caso de pronóstico probabilístico. Mi pensamiento inicial era dar CRPS de dos métodos de pronóstico en lugar de errores de pronóstico crudos, donde CRPS se calcula usando un intervalo de predicción construido bajo suposición paramétrica (Gaussiano).

Supongamos que tengo 100 observaciones (y) y 100 pronósticos puntuales del método-1 (f1) y 100 pronósticos puntuales del método-2 (f2). Por lo tanto, tengo CRPS de 100 puntos tanto del método-1 como del método-2, en lugar de errores crudos de 100 puntos (y-f1 y y-f2). En esta configuración, parece que la prueba DM funciona bien cuando uso CRPS, porque obtuve resultados significativos, pero no pude encontrar ningún artículo que respalde el uso de CRPS u cualquier otra métrica de error (error absoluto, error cuadrado, ...) en lugar de errores crudos. Si mi comprensión es correcta, hay algunos artículos que usan CRPS en lugar de errores crudos, pero estos artículos suelen aparecer en arxiv (probablemente aún no publicados en revistas con revisión por pares). También encontré un paquete de R llamado SpecsVerification. La función ScoreDiff parece hacer lo mismo que la definición de la función: Calcular la diferencia (puntuación media del pronóstico de referencia) menos (puntuación media del pronóstico). La incertidumbre se evalúa mediante la prueba de Diebold-Mariano para la igualdad de precisión predictiva.

En resumen, mi pregunta es si puedo usar CRPS en lugar de errores crudos en la prueba DM? ¿O hay alguna alternativa a la prueba DM que permita usar CRPS?

1voto

Tim Puntos 11

Sí, puedes.

La prueba DM solo requiere que la diferencial de pérdida sea estacionaria en covarianza, nada más. No hay nada especial acerca de los errores al cuadrado o errores absolutos o CRPS (en particular, ni siquiera se requiere la propiedad).

Consulta Diebold (2013), "Comparing Predictive Accuracy, Twenty Years Later: A Personal Perspective on the Use and Abuse of Diebold-Mariano Tests", para obtener una explicación detallada de lo que asume la prueba DM y lo que realmente significa, y Gneiting & Katzfuss (2014), "Probabilistic Forecasting", para ver un uso real (publicado, revisado por pares) de la prueba DM en CRPS.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X