Evaluación de la precisión de un modelo matemático determinista

Question

¿Cómo se puede evaluar la precisión de los resultados de un modelo matemático determinista?

Por ejemplo, un modelo climático puede predecir la temperatura media anual (TMA) de un lugar concreto. Puedo utilizar el modelo para predecir treinta años de TMA en la ciudad de Nueva York, $T_\text{model}$ . Ahora digamos que tengo el MAT observado en Nueva York durante los mismos 30 años, $T_\text{obs}$ .

¿Existe una prueba estadística para la hipótesis $T_\text{obs}=T_\text{model}$ ? ¿Puedo evaluar la precisión del modelo matemático?

Answer 1

Un buen primer paso sería calcular la correlación entre las predicciones del modelo ("datos A") y las temperaturas observadas ("datos B"). Las correlaciones van de -1 a +1: 0 indica que no hay relación (lineal) entre los valores predichos y los observados, mientras que los valores más altos sugieren que su modelo concuerda mejor (hasta un factor de escala) con los datos observados. Las correlaciones pueden calcularse fácilmente en R con la función cor función. En cor.test realiza algunas pruebas de asociación entre dos variables.

También deberías trazar los datos y echarles un vistazo. Puede que tu modelo no funcione igual de bien en todas las condiciones (por ejemplo, puede que no funcione a temperaturas bajo cero).

Hay cosas más sofisticadas que podrías intentar, pero creo que éstas son un primer paso razonable.

Answer 2

Su pregunta parece confusa. Cuando dice precisión del modelo, ¿se refiere sólo a lo bien que predice o quiere decir lo bien que simula el comportamiento del tiempo en la ciudad de Nueva York? No creo que se pueda evaluar esto último. En cuanto a lo primero, yo calcularía el error cuadrático medio de predicción. Es decir, utilizaría el modelo para predecir la temperatura media anual de cada uno de los 30 años (presumiblemente basándome en los datos disponibles que el modo necesita para obtener las estimaciones) y calcularía la diferencia cuadrática media entre dicha predicción y las temperaturas medias anuales reales registradas. Esto te da una estimación, pero no la precisión de la estimación. Por lo tanto, es posible que tenga una norma para la precisión y que desee probar la hipótesis de que la precisión es mejor que un determinado nivel. Ahora puedo dar una descripción algo vaga de cómo hacerlo. Es cierto que es vaga porque no sé qué datos se introducen en el modelo para hacer la predicción. La idea sería hacer pequeñas perturbaciones en la entrada y ver cómo estas perturbaciones afectan a la precisión de la predicción. Esto le daría una distribución de errores cuadráticos medios a partir de la cual podría estimar un valor p para su hipótesis. Todo esto supone que se dispone de una forma razonable de perturbar las entradas que caracterizaría la variabilidad de muestreo en las entradas. Las estimaciones resultantes proporcionarían una representación de la variabilidad de las predicciones individuales y, a partir de ahí, la variabilidad del error cuadrático medio estimado de la predicción.

Answer 3

Me gustaría sugerir dos enfoques para evaluar si un modelo matemático determinista está funcionando bien o no, ninguno de los cuales implica realmente una prueba estadística, y que especialmente no implican tratar de reducir el rendimiento del modelo a un valor p.

1. ¿Cómo de bien predice su modelo los parámetros? Si su modelo estima los parámetros a partir de los datos, ¿en qué medida coincide esta estimación con los parámetros observados? a partir de datos distintos de aquellos a los que se ajusta el modelo ?
2. ¿Genera la respuesta correcta cuando se enfrenta a parámetros que dan lugar a un cambio conocido? Por ejemplo, si a su modelo se le dan todos los parámetros que se producen antes de una ola de calor, ¿produce correctamente dicha ola de calor?

Como ya ha sugerido otra persona, también puedes comparar el error entre la salida prevista y la salida real del sistema, aunque esto sólo te da un número que intentas minimizar, no una estimación estadística. El diseño de modelos matemáticos para ser probados estadísticamente es muy difícil de hacer al revés - los elementos que necesita generalmente tienen que ser discutidos en el paso de diseño del modelo, al igual que con los estudios.

Answer 4

Recientemente he ideado un marco de validación para las previsiones deterministas de la irradiancia solar. Se basa en la idea de que el resultado y la predicción de una previsión perfecta deben ser matemáticamente intercambiables. En general, es aplicable a la previsión de variables estocásticas continuas. Véase https://doi.org/10.1016/j.renene.2021.08.032