¿Es necesaria la estandarización antes de ajustar la regresión logística?

Question

Mi pregunta es si necesitamos estandarizar el conjunto de datos para asegurarnos de que todas las variables tienen la misma escala, entre [0,1], antes de ajustar la regresión logística. La fórmula es:

$$ \frac {x_i- \min (x_i)}{ \max (x_i)- \min (x_i)}$$

Mi conjunto de datos tiene 2 variables, describen lo mismo para dos canales, pero el volumen es diferente. Digamos que es el número de visitas de clientes en dos tiendas, y aquí está si un cliente compra. Porque un cliente puede visitar ambas tiendas, o dos veces la primera tienda, una segunda tienda antes de hacer una compra. pero el número total de visitas de clientes para la primera tienda es 10 veces mayor que la segunda tienda. Cuando encajo esta regresión logística, sin estandarización, coef(store1)=37, coef(store2)=13 Si estandarizo los datos, entonces coef(store1)=133, coef(store2)=11 . Algo así. ¿Qué enfoque tiene más sentido?

¿Y si estoy ajustando un modelo de árbol de decisiones? Sé que los modelos de estructura de árbol no necesitan estandarización ya que el propio modelo lo ajustará de alguna manera. Pero comprobando con todos ustedes.

Answer 1

La estandarización no es necesaria para la regresión logística. El objetivo principal de normalizar las características es ayudar a la convergencia de la técnica utilizada para la optimización. Por ejemplo, si utiliza Newton-Raphson para maximizar la probabilidad, la normalización de las características hace que la convergencia sea más rápida. De lo contrario, puede ejecutar su regresión logística sin ningún tratamiento de estandarización en las características.

Answer 2

Si utiliza la regresión logística con LASSO o la regresión ridge (como Weka Logística clase lo hace) deberías. Como Hastie, Tibshirani y Friedman señala (página 82 del pdf o en la página 63 del libro):

Las soluciones de las crestas no son equitativas bajo el escalado de las entradas, y por lo que normalmente se normalizan las entradas antes de resolver.

También este hilo lo hace.

Answer 3

@Aymen tiene razón, no es necesario normalizar los datos para la regresión logística. (Para una información más general, puede ser útil leer este hilo de CV: ¿Cuándo hay que centrar los datos y cuándo hay que estandarizarlos? También puede observar que su transformación es más comúnmente llamada "normalización", véase: ¿Cómo comprobar que una distribución está normalizada? ) Permítanme abordar otros puntos de la pregunta.

Cabe señalar que en la regresión logística los coeficientes indican el efecto de un cambio de una unidad en la variable de predicción sobre las probabilidades logarítmicas de "éxito". El efecto de transformar una variable (por ejemplo, estandarizándola o normalizándola) es cambiar lo que llamamos "unidad" en el contexto de nuestro modelo. Su variable bruta $x$ los datos variaron a través de algún número de unidades en la métrica original. Después de la normalización, los datos variaron entre $0$ a $1$ . Es decir, un cambio de una unidad significa ahora pasar de la observación de menor valor a la de mayor valor. La cantidad de aumento de las probabilidades de éxito del logaritmo no ha cambiado. A partir de estos hechos, sospecho que su primera variable ( store1 ) abarcó $133/37\approx 3.6$ unidades originales, y su segunda variable ( store2 ) sólo abarcaba $11/13\approx 0.85$ unidades originales.