Si quiere comparar dos algoritmos de aprendizaje, ¿qué métrica es mejor utilizar en general? ¿ROC o precisión? Tengo entendido que en el ROC se obtiene tanto la sensibilidad como la especificidad?
Respuestas
¿Demasiados anuncios?
dan90266
Puntos
609
El aspecto más importante de la precisión suele ser la precisión absoluta de las probabilidades predichas. Esto puede evaluarse utilizando curvas de calibración de alta resolución, por ejemplo, utilizando el suavizador no paramétrico de Loess en la predicción frente a la observación con una desviación adecuada para tener en cuenta el exceso de ajuste. Una vez que se dispone de una calibración precisa, también se puede evaluar la discriminación predictiva utilizando, por ejemplo, el área bajo la curva ROC o $c$ -que no requieren la consideración de ningún punto de corte. Con una calibración precisa también se puede hacer una curva de elevación precisa que puede ser una buena base para la toma de decisiones sin todos los problemas asociados con la categorización por adelantado del riesgo como se utiliza en la clasificación.
Just a lil kid
Puntos
97
Buena pregunta. Las mejores métricas que se pueden utilizar son, de hecho, las que se definen en umbrales únicos, es decir, Precisión, Exactitud, Recall, Uplift (que es Precisión / Prior). La razón por la que debería considerar estas medidas más importantes que, por ejemplo, ROC, AUC o Gini, es que estas medidas se agregan a todos los umbrales posibles. Esto significa que el umbral aún debe ser elegido, algo que será necesario para su producto final.
AUC, ROC y Gini ayudarle a elegir un umbral pero no te dicen lo "bueno" que es tu algoritmo en realidad. Piensa que estas medidas corresponden a "la probabilidad de que tu algoritmo sea bueno si eliges un umbral al azar", pero en realidad no eliges un umbral al azar.
Ahora lo que realmente quiere hacer es relacionar alguna medida de exactitud, como la precisión, con la cosa real del negocio que desea optimizar. Por lo general, se trata de algo que tiene la moneda como unidad.
Así que voy a dar un ejemplo, en Adtech, la medida de negocio importante es el CPA, que es "Coste por Adquisición" - en otras palabras, el coste en $ para conseguir que alguien convierta (comprar un producto). Normalmente esta medida se corresponde directamente con la precisión, pero NO con la exactitud. En este caso, la precisión no tiene sentido, ya que premia a los algoritmos por su capacidad de predecir tanto los resultados negativos como los positivos, pero en el ámbito de la tecnología publicitaria sólo queremos saber si somos capaces de predecir los resultados positivos. Por ejemplo, no nos interesa predecir si alguien NO quiere comprar un coche, sino si quiere comprarlo para poder ofrecerle un anuncio.
En otras empresas pueden ser importantes otras medidas. En la detección de fraudes, tal vez lo más importante sea el Recall, es decir, hasta qué punto nos aseguramos de que los defraudadores no se cuelen en nuestra red.
Así pues, la respuesta real a la pregunta es que la medida de lo "bueno" depende de lo que se intente hacer: hay que tratar de encontrar una relación matemática entre una medida de lo "bueno" y la medida empresarial que se intenta optimizar. Por eso el AUC y el Gini no son tan útiles, porque no puede existir una correspondencia matemática entre medidas empresariales concretas y estos números, porque aún no se ha elegido un umbral, y sin un umbral no se tiene un producto.
Espero que no sea demasiado confuso
