¿Qué tan bueno es mi error?

Question

Estoy tratando de calcular cómo de buenos son mis medidas en el aprendizaje de máquina! Digamos que tengo cinco opciones, y que el error es 4, 2, 0.002, 3, 6. Naturalmente, voy a recoger tercera para el éxito, pero quisiera decir lo siguiente:

• Estoy X% seguro de que el golpe es tercera selección
• Estoy Y% seguro de que el golpe es el primer (y último) de recogida

Por supuesto, X>>Y pero me gustaría saber si hay algún tipo de estadísticas métrica para esto. Siempre puedo introducir mi métrica, pero me interesa es que hay algunos que ya se sabe, así que no puedo evitar que mi explicación y sólo se refiere a la métrica en particular?

El más cercano es el 'intervalo de confianza', pero que me da la probabilidad de que mis resultados son en cierto intervalo.

Answer 1

Para el problema anterior, he usado una métrica muy simple. Quería evaluar lo bueno que es mi éxito! Si tengo, por ejemplo, los errores 4, 2, 0.002, 3, 6, entonces elijo h1 = 0.002 como hit, y h2 = 2 como el error más cercano. X / h1 + X / h2 = 100% => X / h1 y X / h2 es%.

Answer 2

Yo recomendaría la validación cruzada; luego, de todas las iteraciones, puede obtener no solo el promedio, sino también una aproximación de la distribución del error, y puede usarlo para estimar el intervalo de confianza.