Métodos para seleccionar la mejor variable en el modelo de regresión

Question

He construido una variable continua utilizando dos métodos diferentes. Ahora quiero saber cuál es la mejor forma de la variable creada y debería ser incluida en el modelo. Algunos resultados preliminares muestran que las variables construidas utilizando ambos métodos pueden predecir significativamente el resultado (p=0.03 vs. p=0.04). El R-cuadrado incremental añadido por la variable construida de ambas formas es el mismo. Los resultados de AIC para el modelo con la variable creada usando el método uno son 8000.2 y 8000.9 para el modelo con la variable construida usando el método dos.

¿Hay algún otro método que pueda utilizar para comparar qué variable es relativamente mejor?

Answer 1

No habrá una forma "impulsada por datos" de seleccionar el método a partir de una sola muestra, ya que el método que es mejor hoy puede que no sea el mejor mañana con una nueva muestra.

Mi consejo sería realizar algún tipo de calibración en tus métodos. Al igual que en el trabajo de laboratorio, deberías tener algún tipo de control para cada método y luego idealmente comparar la estimación del método con la verdad. Entonces, mi consejo sería seleccionar el método con la menor varianza residual porque los errores en las variables pueden atenuar el efecto estimado hacia el nulo.

Si esto no es posible, podrías simplemente tomar el promedio entre los dos métodos y usar eso como la variable en el modelo.

Answer 2

Dado que ambos métodos tienen un rendimiento similar a través del valor p y el AIC, otro aspecto que puedes considerar es su capacidad para generalizar a nuevos datos. La validación cruzada te dará una buena medida de esto, ya que entrenar de forma iterativa en un subconjunto de datos mientras se prueba en el resto emula este proceso y también proporciona una medida de qué tan sensibles son las métricas a los valores atípicos.