Puede que el rendimiento de un modelo determinista ser evaluada sin una estimación de la incertidumbre del modelo?

Question

nota: Esta pregunta fue inspirado por la Evaluación de la precisión de un determinista modelo matemático. He tratado de dar un ejemplo tan explícito y específico de que se trate.

---

Un modelo meteorológico que predice el clima es determinista, por lo que para cualquier conjunto de entradas que se va a dar el mismo resultado. Comúnmente, un pronóstico del tiempo será el uso actual de la observó las condiciones meteorológicas para predecir la mañana la temperatura. Vamos a llamar a las condiciones actuales de la $x$, el modelo de $g$, y la estimación de la mañana la temperatura del $\hat{T}$:

$\text{T}_\text{model}=g(x)$

Mañana, observo que la temperatura alta se $\text{T}_\text{obs}$, con una incertidumbre debido a un error de observación de $\epsilon_\text{obs}\sim \text{N}(0,\sigma)$.

No hay estimación de la incertidumbre del modelo, en teoría, podría ser tan bajo como $\pm0.0001$ o $\pm\infty$, pero dada la forma en que se utiliza el modelo fijo de entradas, el modelo sólo puede hacer una discreta cálculo de una variable continua.

Es posible decir que el pronóstico es correcto? Específicamente, se puede probar la hipótesis de que la $\text{T}_\text{model}=\textrm{T}_\text{obs}$?

Quizás $\text{T}_\text{model}$ cae dentro de la IC 95% para $\text{T}_\text{obs}$, pero desde el IC del 95% para $\text{T}_\text{model}$ > > el IC del 95% para $\text{T}_\text{obs}$, entonces es que no está claro que la hipótesis puede ser probada. Así, puede desempeño del modelo se evalúa sin una estimación de la incertidumbre del modelo, o es una estimación de la incertidumbre del modelo requerido?

Answer 1

La exactitud del modelo puede ser definido como la diferencia entre la predicción del modelo y la verdad se expresa en términos de error cuadrático. De modo que la exactitud del modelo de es $E([T_{model}-T]^2)$ sin Embargo no conocen la verdad de la $T$. Pero usted dice que el ha $T_{obs}$ y se conoce su distribución de error. Así que basado en el supuesto de $E([T_{obs}-T]^2)=\sigma^2$.

Ahora $E([T_{model}-T_{obs}]^2)$ es desconocida, pero puede ser estimado a partir del promedio del cuadrado de la diferencia entre la predicción del modelo y el valor observado. Lo que te interesa es $E([T_{model}-T]^2)$. Sumar y restar $T_{obs}$ dentro de los corchetes y se expanda.

Después de un par de álgebra pasos obtendrá $$E([T_{model}-T]^2)= E([T_{model}-T_{obs}]^2)+ E([T_{obs}-T]^2 + E([T_{model}-T_{obs}] [T_{obs}-T]).$$

Tenga en cuenta que el plazo $E([T_{obs}-T]^2) = \sigma^2$ y, desde $T_{model}$ es independiente de $T_{obs}$, $$E([T_{model}-T_{obs}] [T_{obs}-T])= E(T_{model} -T_{obs}) E(T_{obs}-T)$$ and by assuming the error in $T_{obs}$ is $\rm N(0,\sigma^2)$, $E(T_{obs}-T)=0.$

Así que tenemos la descomposición de la varianza $E([T_{model}-T]^2)= E([T_{model}-T_{obs}]^2)+\sigma^2$. Así se puede estimar el error del modelo tomando el cálculo de $E([T_{model}-T_{obs}]^2)$ y agregarlo a la conocida $\sigma^2$ .

Sin embargo, si se desea evaluar la incertidumbre en la estimación de $E([T_{model}-T_{obs}]^2)$ usted todavía necesita para obtener una distribución de muestreo para que bajo la hipótesis nula, lo que equivale a todavía haciendo lo que me recomienda en mi respuesta a Steven de la pregunta anterior.

Answer 2

Dado que no es $N(0, \sigma)$ de error en la observación, entonces la probabilidad de que la observación de la $T_{obs}$ medidas $x$$L(T_{obs}|x) = N(T_{obs}; g(x), \sigma)$. Uno necesitaría varias mediciones de temperatura y observaciones a tener un estimateof $\sigma$, por ejemplo, de máxima verosimilitud. Esta es la esencia de regresión como se señaló en otra respuesta. Una alternativa a la forma paramétrica por el error de los alrededores estimaciones del modelo se denomina semi-paramétrico de regresión. Por ejemplo, uno puede adaptar el modelo a las mediciones y, a continuación, arranque de los residuos. Otro, más sofisticado enfoque implica procesos de Gauss. Generalmente, semi-paramétrico de regresión es útil cuando suposiciones tales como homoscedástica errores son poco realistas. Por ejemplo, el modelo de $g(x)$ podría ser más consistente en la predicción de la pequeña temperaturas y ruido en la estimación de valores grandes.

Answer 3

El estado del arte en previsión Meteorológica es el Conjunto de Previsiones. Esto sólo ha hecho posible en los últimos años debido a los avances en la potencia de cálculo y la correspondiente reducción del costo de la computación.

Conjunto de previsión intenta abordar el problema de cómo conseguir realista probabilidades de modelos deterministas. La idea básica es que el estado de un modelo es inicializado con (todas las presiones, temperaturas, densidades, etc en cada celda de la cuadrícula) no se conoce con certeza. Podemos saber el estado muy bien en los lugares donde la podemos medir, pero todo el perfil vertical en principio debe ser conocido en todas partes. Modernos modelos deterministas, en realidad puede hacer muy bien si todo esto es conocido, pero que es imposible de hacer en la práctica, ya que sólo tenemos mediciones en ciertos lugares y tiempos.

Con esto en mente, las condiciones iniciales son al azar perturbado basado en el mejor conocimiento de la probable distribución de las condiciones iniciales, basados en mediciones disponibles. Para cada uno aleatoriamente perturbado conjunto de condiciones iniciales, el modelo determinista es ejecutar para observar el rango probable de los estados finales dada la incertidumbre en los estados iniciales.

En la práctica no es una obra de arte a este debido a que los modelos no son perfectos, por lo que si el proceso anterior es seguida de la distribución final es demasiado restrictiva en comparación con la realidad y la extra de incertidumbre del modelo se inyecta con una variedad de enfoques diferentes. En general se necesita una buena cantidad de ajustes para calibrar con precisión un conjunto de sistema de previsión con respecto a los datos históricos. Este es todo un campo de estudio en sí mismo que abarca la física, métodos numéricos y estadísticos.

Answer 4

Normalmente, los modelos estadísticos (es decir, los modelos de datos) tiene una componente aleatoria (también a veces llamado un "componente estocástico'). Por ejemplo, un modelo puede ser:
$$ Y=X\beta+\epsilon \\ \text{donde }\epsilon\sim\mathcal{N}(0,\sigma^2) $$
Este ejemplo es un básico modelo de regresión. El $X\beta$ se llama el componente estructural, y el $\epsilon$ es la componente aleatoria. Sin embargo, los modelos son a menudo escrito y discutido en términos del valor predicho o el valor esperado. El mismo modelo se puede poner:
$$ \hat{Y}=X\beta \\ \text{o} \\ E(Y)=X\beta $$
La componente aleatoria todavía existe, pero está implícito.

Se han descrito un determinista del modelo. (Tenga en cuenta que no sé mucho acerca de la meteorología o de previsión del tiempo, así que no puedo decir nada sobre la forma normal o adecuado, que podría ser en el campo.) En cualquier caso, el modelo hace una predicción simple--debe ser bastante simple para evaluar: la predicción coincide con la observación, o no.

Una rareza es que no parece ser un modelo independiente de la intrínseca error de medición de las observaciones. Yo creo que la medición de la temperatura se ha avanzado hasta el punto de esto es intrascendente, pero ciertamente se podría evaluar el desempeño de la modelo a través de las observaciones repetidas, y ver si las predicciones se encuentran dentro de un $(1-\alpha)\% CI$, $(1-\alpha)\%$ de el tiempo. Mi primera conjetura es que el error en la predicción del tiempo se encuentran el error de medición en la observación de la temperatura, y por lo que yo habría esperado que la gente no iba a pasar el tiempo en un modelo determinista, pero incluyen una componente aleatoria directamente en el modelo primario, lo que significaría que podría ser evaluado como normal de cualquier modelo estadístico haría.