¿Es el umbral de decisión un hiperparámetro en la regresión logística?

Question

Las clases predichas de la regresión logística (binaria) se determinan utilizando un umbral en las probabilidades de pertenencia a la clase generadas por el modelo. Según tengo entendido, normalmente se utiliza 0,5 por defecto.

Pero si se varía el umbral, cambiarán las clasificaciones previstas. ¿Significa esto que el umbral es un hiperparámetro? Si es así, ¿por qué (por ejemplo) no es posible buscar fácilmente en una cuadrícula de umbrales utilizando el sistema de scikit-learn GridSearchCV (como se haría con el parámetro de regularización C ).

Answer 1

El umbral de decisión crea un equilibrio entre el número de positivos que predice y el número de negativos que predice, ya que, tautológicamente, al aumentar el umbral de decisión disminuirá el número de positivos que predice y aumentará el número de negativos que predice.

El umbral de decisión es no un hiperparámetro en el sentido de la sintonía del modelo porque no cambia el flexibilidad del modelo.

La forma en que estás pensando en la palabra "afinar" en el contexto del umbral de decisión es diferente de cómo se afinan los hiperparámetros. Cambiando $C$ y otros hiperparámetros del modelo cambia el modelo (por ejemplo, los coeficientes de regresión logística serán diferentes), mientras que el ajuste del umbral sólo puede hacer dos cosas: cambiar TP por FN, y FP por TN. Sin embargo, el modelo sigue siendo el mismo, porque esto no cambia los coeficientes. (Lo mismo ocurre con los modelos que no tienen coeficientes, como los bosques aleatorios: cambiar el umbral no cambia nada de los árboles). Así que, en un sentido estricto, tienes razón en que encontrar el mejor equilibrio entre los errores es "afinar", pero te equivocas al pensar que cambiar el umbral está vinculado a otros hiperparámetros del modelo de una manera optimizada por GridSearchCV .

Dicho de otro modo, cambiar el umbral de decisión refleja una elección por su parte sobre el número de falsos positivos y falsos negativos que desea tener. Considere la hipótesis de que usted establece el umbral de decisión a un valor completamente inverosímil como -1. Todas las probabilidades son no negativas, por lo que con este umbral usted predecirá "positivo" para cada observación. Desde una cierta perspectiva, esto es genial, porque su tasa de falsos negativos es de 0,0. Sin embargo, su tasa de falsos positivos también está en el extremo de 1,0, así que en ese sentido su elección del umbral en -1 es terrible.

Lo ideal, por supuesto, es tener un TPR de 1,0 y un FPR de 0,0 y un FNR de 0,0. Pero esto suele ser imposible en las aplicaciones del mundo real, así que la pregunta se convierte en "¿cuánta FPR estoy dispuesto a aceptar por cuánta TPR?". Y esta es la motivación de roc curvas.

Answer 2

Pero si se varía el umbral, cambiarán las clasificaciones previstas. ¿Significa esto que el umbral es un hiperparámetro?

Sí, lo hace, más o menos. Es un hiperparámetro de ti regla de decisión pero no la regresión subyacente.

Si es así, ¿por qué (por ejemplo) no es posible buscar fácilmente sobre una cuadrícula de umbrales utilizando el método GridSearchCV de scikit-learn (como se haría para el parámetro de regularización C).

Esto es un error de diseño en sklearn. La mejor práctica para la mayoría de los escenarios de clasificación es ajustar el modelo subyacente (que predice las probabilidades) utilizando alguna medida de la calidad de estas probabilidades (como el log-loss en una regresión logística). Después, debe ajustarse un umbral de decisión sobre estas probabilidades para optimizar algún objetivo empresarial de su regla de clasificación. La biblioteca debería facilitar la optimización del umbral de decisión basado en alguna medida de calidad, pero no creo que lo haga bien.

Creo que este es uno de los puntos en los que sklearn se equivocó. La biblioteca incluye un método, predict en todos los modelos de clasificación que se ajustan a 0.5 . Este método es inútil, y abogo firmemente por no invocarlo nunca. Es lamentable que sklearn no fomente un mejor flujo de trabajo.