¿Por qué no se enseñan mucho las transformaciones de potencia o logarítmicas en el aprendizaje automático?

Question

El aprendizaje automático (Machine Learning, ML) utiliza en gran medida técnicas de regresión lineal y logística. También se basa en técnicas de ingeniería de características ( feature transform , kernel etc.).

¿Por qué nada acerca de variable transformation (por ejemplo power transformation ) mencionado en ML? (Por ejemplo, nunca oigo hablar de sacar raíces o logaritmos a las características, normalmente sólo usan polinomios o RBFs). Del mismo modo, ¿por qué los expertos en ML no se preocupan por las transformaciones de características para la variable dependiente? (Por ejemplo, nunca oigo hablar de tomar la transformación logarítmica de y; simplemente no transforman y).

Edita: Quizás la pregunta no es definitiva, mi pregunta realmente es "¿la transformación de potencia a variables no es importante en ML?"

Answer 1

El libro Modelización predictiva aplicada de Kuhn y Johnson es un libro práctico de aprendizaje automático muy apreciado, con una amplia sección sobre transformación de variables, incluyendo Box-Cox. Los autores afirman que muchos algoritmos de aprendizaje automático funcionan mejor si las características tienen distribuciones simétricas y unimodales. Transformar las características de este modo es una parte importante de la "ingeniería de características".

Answer 2

Bueno, desde mi propia perspectiva, a menudo me interesa la distribución predictiva de la variable de respuesta, en lugar de sólo la media condicional, y en ese caso es mejor utilizar una probabilidad que represente más correctamente la distribución objetivo. Por ejemplo, me gusta utilizar modelos lineales kernelizados en lugar de (digamos) la regresión por vectores de soporte, porque puedo usar una probabilidad de Poisson si quiero. Como muchas personas que se dedican al aprendizaje automático son bayesianos, sospecho que utilizar una verosimilitud diferente parecerá más elegante que las transformaciones (elegir una verosimilitud adecuada suele ser el primer paso).

Answer 3

He aquí mis reflexiones posteriores.

Creo que es porque ML se ocupa principalmente de la clasificación, y la clasificación no es necesario transformar y (y es categórica). ML suele tratar con grandes variables independientes (por ejemplo, miles en NLP ) y la regresión logística no requiere normalidad; Creo que es por eso que no utilizan Box-Cox transformación de potencia debido a la velocidad de consideración. (nota: no estoy familiarizado con la transformación de potencia).