Determinar la precisión del modelo que estima la probabilidad del acontecimiento

Question

Estoy modelado de un evento con dos resultados, a y b. He creado un modelo que estima la probabilidad de que a o b que va a suceder (es decir, el modelo de calcular que va a pasar con 40% de probabilidad de y b va a pasar con 60% de probabilidad).

Tengo un gran registro de los resultados de los ensayos con las estimaciones del modelo. Me gustaría para cuantificar el grado de precisión del modelo es el uso de estos datos es posible, y si es así ¿cómo?

Answer 1

Supongamos que el modelo en efecto, predecir Una tiene un 40% de probabilidad de y B tiene un 60% de probabilidad. En algunas circunstancias, usted podría querer convertir esto en una clasificación que B va a pasar (ya que es más probable que Una). Una vez convertido en una clasificación, cada predicción es correcta o incorrecta, y hay un número de maneras interesantes para el recuento de esas respuestas correctas e incorrectas. Es recta precisión (el porcentaje de respuestas correctas). Otros incluyen la precisión y el recall o F-measure. Como otros han mencionado, usted puede desear mirar en la curva ROC. Además, el contexto puede suministrar un coste específico de la matriz que premia a los verdaderos positivos diferente de verdaderos negativos y/o penaliza a los falsos positivos de manera diferente de falsos negativos.

Sin embargo, no creo que es lo que realmente estás buscando. Si usted dijo B tiene un 60% de probabilidad de que suceda y me dijo que había un 99% de probabilidades de que suceda, tenemos predicciones muy diferentes aunque ambos se correlacionan con B en un sistema de clasificación simple. Si sucede en su lugar, usted está a solo tipo de mal, mientras yo estoy muy mal, así que me gustaría esperanza de que iba a recibir un agravamiento de la pena de que usted. Cuando el modelo produce realmente las probabilidades, una regla de puntuación es una medida del rendimiento de su probabilidad de predicciones. Específicamente, usted probablemente querrá una adecuada regla de puntuación, lo que significa que la puntuación está optimizado para bien calibrado resultados.

Un ejemplo común de una regla de puntuación es el Brier score: $$BS = \frac{1}{N}\sum\limits _{t=1}^{N}(f_t-o_t)^2$$ where $f_t$ is the forecasted probability of the event happening and $o_t$ es 1 si el evento ocurrió y 0 si no.

Por supuesto, el tipo de regla de puntuación que usted elija puede depender de qué tipo de evento que usted está tratando de predecir. Sin embargo, esto debe darle algunas ideas para seguir investigando.

Voy a agregar una advertencia de que independientemente de lo que hagas, al evaluar el modelo de este modo, yo sugiero que busque en la métrica de los datos de muestra (es decir, los datos no se utilizan para construir su modelo). Esto se puede hacer a través de la validación cruzada. Tal vez de manera más simple que usted puede construir su modelo en un conjunto de datos y, a continuación, evaluar en otro (teniendo cuidado de no dejar inferencias a partir de la hacia fuera-de-derrame de la muestra en el ejemplo de modelado).