¿Cuáles son las motivaciones para el uso de la función logística como modelo de clasificación binaria?

Question

La regresión logística, utilizada en la clasificación binaria, utiliza la función logística como modelo para la probabilidad subyacente de la variable de resultado.

Tiene algunas propiedades útiles e imprescindibles para encajar un modelo de este tipo. Por ejemplo, es monótonamente creciente, tiende a 1 cuando x tiende a infinito, tiende a 0 cuando x tiende a menos infinito, nunca es 0 ni 1 (lo que permite una probabilidad positiva de cualquiera de los resultados independientemente de la entrada). Sin embargo, hay otras opciones de función que satisfacen estas propiedades.

Entonces, ¿se utiliza la función logística simplemente por comodidad, o hay otras motivaciones por las que la función logística es la "correcta" o la única adecuada para utilizar?

Answer 1

Hay varias razones para elegir la función logística como método "por defecto" para estimar probabilidades a partir de una o más variables. He aquí algunas:

1. Histórico, por ejemplo, curvas dosis-respuesta
2. Cuando se utilizan con una especificación de regresión en el lado derecho de un modelo, los efectos de la regresión son interpretables en el sentido de que pueden relacionarse con las odds ratios para los efectos separados de los predictores
3. Si se parte de un supuesto de normalidad multivariante para los predictores como en el análisis discriminante lineal, utilizando la regla de Bayes para invertir el condicionamiento se obtiene el modelo logístico
4. La forma se ajusta a los datos reales una buena parte del tiempo

Tenga en cuenta que la logística no se utiliza para clasificación sino para la estimación directa de la probabilidad.

Answer 2

Una característica técnica de la función de enlace logístico es que cuando se combina con la estimación ML (o modo posterior con prioridad plana) la ecuación del gradiente se convierte en

$$\sum_i x_i (p_i - y_i) = 0 $$

Es decir, sus residuos, $p_i - y_i$ no están correlacionadas con las covariables, $x_i$ (Nota: $y_i $ es binario $0$ o $1$ ). Esto es análogo a la regresión ols. Si tiene una función de enlace diferente, la ecuación se modifica mediante la inclusión de "pesos" que dependen de la diferencia entre la función de enlace y la logística. Una característica práctica de esto es que si se incluye un intercepto en el modelo, las probabilidades ajustadas sumarán el número de "éxitos" (observaciones en las que $y_i=1$ ). Lo mismo ocurre con las variables factoriales.