No estudian estadísticas sino ingeniería, pero esto es una cuestión de estadísticas, y espero que puede conducirme a lo que necesito para aprender a resolver este problema.
Tengo esta situación donde calcular probabilidades de miles de cosas que suceden en como 30 días. Si en 30 días que veo lo que realmente sucedió, ¿cómo puedo probar para ver la precisión con predijo? Estos cálculos resultan en las probabilidades y en valores reales (ft). ¿Qué es el método para hacerlo? Gracias, CP
Lo que buscas se llama Reglas de Puntuación, que son las formas de evaluación probabilística de los pronósticos. Fueron inventados en la década de 1950 por los pronosticadores del tiempo, y ha habido un poco de trabajo en ellos en las estadísticas de la comunidad, pero no sé de ningún libro sobre el tema.
Una cosa que podría hacer sería bin las previsiones por intervalo de probabilidades (por ejemplo: de 0 a 5%, 5%-10%, etc.) y ver cómo muchos de los eventos predichos en que rango se produjo (si hay 40 eventos en el 0-5%, y el 20 de ocurrir, entonces el podría tener problemas). Si los eventos son independientes, entonces usted podría comparar estos números a una distribución binomial.
En su clásico libro sobre el Federalist papers, Mosteller y Wallace abogan por un registro de la función de penalización: se le penalizará a ti mismo $-\log(p)$ cuando predecir un evento con una probabilidad de $p$ y se produce; la pena para que no ocurra es igual a $-\log(1-p)$. Por lo tanto, la pena es alta cuando lo que sucede es inesperado de acuerdo con su predicción.
Su argumento en favor de esta función se basa en un sencillo y natural, criterio: "la función de penalización debería alentar a la predicción de la correcta probabilidades si se conocen." Suponiendo que el total de la multa se suman a lo largo de todos los pronósticos y habrá tres o más de ellos, M&W afirmación de que el registro de la función de penalización es sólo uno (hasta transformación afín) para que la "sanción prevista es minimizado sobre todas las predicciones" por la correcta probabilidades.
Después de esto, entonces, una buena prueba para que usted use es para seguir su acumulado de registro de sanciones. Si, después de un largo tiempo (o por medio de algunos independientes de oracle), se puede obtener estimaciones precisas de lo que las probabilidades eran realmente, usted puede comparar su pena con el mínimo posible. El promedio de la diferencia de las medidas de su largo plazo el rendimiento predictivo (cuanto más bajo, mejor). Esta es una excelente manera de comparar dos o más compitiendo predictores, demasiado.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
